Skip to content
View original post on X: Orange AIX· 27/100AI score27/100

A beginner's walkthrough of making a short AI story video from a Song-dynasty cat tale

AISummary

Orange AI (@oran_ge) describes making a short comedy video based on the Song-dynasty tale of the "Qian Red Cat," using the Miora Agent to split the story into framework, outline, script, character cards and storyboards.

The author generated 50 video clips at about 4,000 credits, roughly $40 by official credit value, using Seedance Fast and says character consistency for the red cat still needed repeated regeneration.

The post concludes that current AI video agents reduce rework but full one-sentence story videos remain a long way off.

Post on XView on X
Orange AIVerified on X
@oran_ge

https://x.com/i/article/2109984825960771584

AI 小白入门指南:一站式做 AI 故事短片

在这个产品技术越来越泛滥的时代,讲故事的能力越来越重要了,短视频制作,也是今天每个人的必备技能。

博主作为一个视频创作方面的小白,定期会做一些习作。这次想做一个中国古代关于猫的故事短片,也顺便分享下从小白制作故事短片的过程。

我让 AI 从历史里翻找,找到一个颇有戏剧性的故事:《乾红猫》。

这个故事源自南宋洪迈《夷坚志》中的一则轶闻:卖肉人把白猫染红,冒充稀世珍品,三十万钱卖进宫。半个月后,红色褪尽,骗子早已搬家。买家赔了钱,猫倒是从肉铺一路“升职”进了宫,全程只负责吃鱼和睡觉。

短片并不甚专业,权当自娱自乐,发给朋友们,博其一笑

一、选题,找故事

做短片的第一步是选个故事,让 AI 写故事很容易陷入僵局,因为它不知晓人类的趣味,往往需要人来输入最初的故事基因才行。

还有一个办法是给一个选题让 AI 从历史故事里找,比如古代、猫,这个组合就能找到好几个古代的故事。故事这种东西是写在文化基因里的,古代的在今天看来也饶有趣味,AI 大概也无法理解其妙处。

我把故事找到之后,就开始着手制作故事短片了,现在制作故事短片虽然都可以用 Agent 帮忙了,但还远没有到一句话一个故事短片那么神奇,中间有诸多步骤。

这次用的产品是 Miora 织影 Agent,这个产品有个方便的项目画布功能,AI 自动管理素材很方便。我把故事整理成 Markdown 上传,输入我的制作需求,再用自动润色功能修改提示词,直接发送出去就开始了。

接下来,Agent 把故事拆成故事框架、故事大纲和详细剧本。框架里的一句话是,临安肉贩孙三将白猫染成红色,冒充稀世珍猫,半月后颜色褪尽,骗局败露。

二、建立故事框架

我给的是一个猫的故事和喜剧方向,接下来 Agent 把它扩展成一套全片设定。

它生成的类型是古装轻喜剧,视觉风格是真人实拍,场景落在宋代临安的肉铺和宫廷。色彩也跟着剧情走,肉铺偏暖,宫廷更华丽,红猫褪色之后再慢慢冷下来;镜头平均两三秒,追逐和反应可以快一点,关键表情多留一会儿。

这里先别急着生成视频,毕竟文本便宜,视频昂贵,前置步骤非常重要。。先看一句话能不能说清楚故事,再看故事大纲的起承转合是否合理,最后进详细剧本调整具体动作。

三、创建角色卡

剧本完成后,Agent 根据故事生成了四个主要角色的角色卡,分别是孙三、孙三的妻子、内侍和红猫。

这里有个小坑,就是红猫也需要角色卡,否则一致性很差,像有一群猫出演。第一轮视频生成后,我发现有一个镜头把红猫做成了橘猫,另一个镜头里红猫变白的过程也不理想。于是我把问题反馈给 Agent,补充、调整红猫的角色设定,再让它重生成相关片段。就这么浪费了10条视频。😂

四、把剧本拆解成场景和分镜

有了剧本和角色卡之后,Agent 继续生成场景环境与分镜。每段镜头里会描述发生什么、在哪里发生、哪些角色出现;生成视频时,也有对应的参考图和角色设定可用。

一个故事总共拆成了十段视频分镜,每个都自动关联的角色和场景,确定没问题后,就可以点击批量生成之后,看一下整体感觉。

其实直到这一步,都是很高效的,这次制作总共生成了50个视频片段,到这里才用了10个,后面 40 个都是在调整和抽卡。

五、调整细节

生成第一版的短片之后,我看整体剧情还不错,该有的都有了。同时发现了一个很严重的问题,就是有些场景里红猫变橘猫了。

还有些场景里红猫和白猫的切换太突然了,虽然看起来还蛮搞笑的。

这些其实都是 AI 生成视频的不稳定性导致的,老问题了。

解决方案有两个,一个是用角色卡,我把问题反馈给 Agent,补充红猫角色卡后,让它重生成了三到四段涉及猫的素材。

另一个就是抽卡补充细节了。整个过程里,为了一致性前后大约生成了十段相关视频。调整后有所改善,虽然没有完全达到我理想中的一致性。

六、剪辑视频片段

片段生成好之后,我把它们放进剪辑台,主要做了片段裁剪、调节奏和处理镜头衔接。

因为每段视频是分段生成的,前一段和后一段不会天然接上。剪辑台能把素材放到一起,但最后怎么取舍、怎么让它像一支片子,还是需要人来做判断。

声音倒是比我想象中省心。对白、配音和配乐基本跟着视频一起生成,我很少调整。音乐虽然是分段生成的,放在一起听没有明显违和。有几处我做了声音和画面分离,再稍微调了节奏,其他大体保留。

最后的总结

经过这几部,视频就完成了,这支片子最后是 1 分 18 秒,整个过程生成了 50 段视频,花了约 4000 积分。按官方积分价值折算,大约 40 美元。

视频部分我用的是 Seedance Fast,已经是相对比较便宜的模型了,如果换成 Seedance 2.5 Pro 的话,价格还要乘上三倍,所以在制作的时候要多注意成本。

我觉得 Miora 这种视频 Agent 最有帮助的地方,是 Agent 会把故事继续拆成框架、大纲、剧本、角色卡、分镜和镜头素材。这些基础工作能让整个片子减少很多返工。

在视频的一致性方面,仍然有不少问题需要解决,目前模型侧和 Agent 侧都在努力探索解决方案。

现在要做到一句话一个故事短片,还有一段不小的距离。

如果你想试着把一个故事做成短片,可以把 Miora 当成一套创作工作流来用,而不是按一下就自动交片的机器。

Source: Orange AI · x.comPublished · added here