首页 / 文章 / 扒底裤系列

研究了一下口播视频项目 video-talkcraft

格里灰丝2026.11.21约 4864 字 · 11 分钟Markdown 原文

大家好,我是格里灰丝。

最近研究了一个叫 video-talkcraft 的开源项目。它是 video-shotcraft 作者的另一个作品,前者用代码给产品拍宣传片,这一个专做口播视频:给它一份口播稿和一条配音,它在你电脑上把每个字说出口的时刻算出来,再用代码一帧帧画出字卡、图表、划线圈注、网页"镜头",最后渲染成一条解说视频。


我照例带着老问题去看:主模型已经是 Opus 5.5 了,写动画代码它自己就会,这个项目还有价值吗?

拆完的结论是:有价值,但不在"全自动做口播视频"这件事上。值钱的是三样东西:用户一次次挑毛病换来的审美规则,一批实测出来的数字和坑,以及 108 张动效卡参数表里的"手感值"。这三样 Opus 自己推不出来。

它到底是干嘛的

先把几件容易误会的事说清楚。

输入是稿子 + 配音。 两样都有是默认用法。只有稿子也行,它可以调用 Fish Audio 的接口合成配音(有免费档)。只有录音不行:算每个字的时间必须有稿子当标准答案,因为语音识别出来的字常常错。

画面不是 AI 生成的,也不是从素材库里"匹配"来的。 项目里没有任何视频生成模型。画面有四个来源:

代码画的动效:字卡、数字、图表、划线、转场,这是大头;

自动截的网页:它用 Playwright(一个能自动操作浏览器的工具)打开页面,截一张整页长图,同时量出要标注的元素在哪,后面像拿镜头一样在长图上滚动、放大、划重点;

素材站的实拍空镜:AI 按每一镜的内容写几个英文关键词,去 Pexels、Pixabay 搜索下载。搜索靠的是上传者填的标题和标签,所以只能搜到"城市人流""机房"这类泛泛的画面;

你自己提供的出镜人物视频,它负责抠像、缩到角落。

做完以后,它还会打开一个剪映式的多轨工作台,人可以在里面改文字、颜色、位置,再导出。

每个字在第几毫秒,是怎么算出来的

这是整个项目的地基:所有画面重音都要对准"某个字说出口的那一刻"。

做法分两步。第一步用语音识别模型听配音。模型事先听过海量"录音 + 文字",学会了把声音切成每 40 毫秒左右一小片,判断每一片最可能是哪个字。某个字的可能性在某一片突然冒尖,就说明这个字在那个时刻。第二步拿稿子和识别结果逐字比对,比的时候先转成不带声调的拼音,同音字也算对上;对上的字就把识别出来的时间借给稿子,英文单词这类没对上的,在前后两个对上的字之间按比例估算。

模型是开源的,下载一次以后在自己电脑的 CPU 上跑,不花钱。作者拿 110 秒的中英混合口播对比了四种方案,以 GPU 上的专用对齐模型为标准答案:

方案
一半的字误差在
最差
体积
FireRedASR2(作者推荐)
40 毫秒内
200 毫秒
767MB
faster-whisper small
20 毫秒内
413 毫秒
464MB
Qwen3 识别 + 对齐
20 毫秒内
293 毫秒
约 5GB

作者选的不是平均最准的,而是最差情况最好的。理由是:视频一帧 33 毫秒,平均误差几十毫秒看不出来,真正出事的是那几个偏了半秒的字,动效会挂错字。

第一份精华:和模型默认习惯相反的审美规则

这个项目的规则几乎每条都带日期和触发它的用户原话,读起来像一本返工记录。最有意思的是好几条和 AI 的默认倾向正好相反。

画面不是越动越好。 作者早期要求画面处处在动:元素落定后微微晃、背景呼吸、扫光、闪一下。9 月 4 日全部删掉,每个镜头只留一条几乎察觉不到的缓推(放大 4%~6%,摊在整个镜头里)。理由是:"观众在听人说话、看字幕,画面的活只需一条几乎察觉不到的相机呼吸。"

每镜都对,不等于整片好看。 用户看完一支片说:"后面大部分都是人物在左下角、素材在中间的方块、右边放文字,过于固定。"那支片每个镜头都过了检查,11 个镜头里 8 个用的是同一张卡。于是加了一条规定:相邻三镜,人物的位置形态和素材的摆法至少换一个;同一张卡全片不超过三分之一。

视频要装框,但不装假播放器。 镜头里放一段录屏或引用的视频,不许裸贴满屏,要包一个"有来历的物":复古浏览器窗口、杂志配图、胶片、拍立得、工程图纸等,一支片只用一种。进度条、播放键一律不要,作者的原话是:"不是真播放器就是在撒谎",观众会拿进度条对画面。

底部字幕不加任何动效,也不带标点。 整句出现、整句消失,停顿靠把一句拆成几张字幕卡。关键词弹出全片最多 3 次。

网页要"拍",不要贴。 讲一个网页时不许放一张静态截图,要像手持镜头一样滚到重点、停一下、放大或划线。也不用浏览器录屏,因为帧率不稳,懒加载会穿帮,还对不上字的时间。

库里的卡是中性的,进片要换皮。 讲宋代瓷器的片里出现发丝线白卡加蓝色图表,动作再对也是错片。所以开工第一步是从稿子判断领域,定一套颜色字体,每张卡换皮;但时长、缓动、比例这些"动作"一律不许改。作者还特意写了一条反例:不要"把风格做到运动上",人文片就放慢、娱乐片就加弹跳,都不对。

这些规则全部来自作者一个人的几支片子,没有做过对照,当作有经验的人的判断来看比较合适。

第二份精华:实测出来的数字和坑

这部分是 Opus 训练知识里没有、推理也推不出来的,只能真跑过才知道。挑几条:

FireRed 模型音频超过 210 秒就崩,内存随长度平方涨,193 秒已经要 8GB。解法是按静音切成 75 秒以内的段,结果和整段喂入几乎一样,内存降到 2.4GB。作者还试过把切点对齐到模型内部的 40 毫秒网格,结果反而更差,又撤掉了。

whisper 不要把稿子塞进提示词,前几段会整段幻觉错位。

剪口水词以稿子为准,宁可漏剪不可错剪:只剪识别结果里多出来、稿子里没有的部分;识别把稿子里的字听错了,那一段永远不剪,因为"安全"听成"啊全",那个"啊"不是口水词。过长的停顿保留一小段真实的房间底噪,不补数字静音。

人物视频是 25 帧、成片是 30 帧时,把成片改成 25 帧,动效是代码画的,改帧率零成本;硬插重复帧补到 30,人物每秒卡 5 下,旁边的动效很顺,对比更扎眼。

绿幕抠像去溢色只能用 0.18 左右,0.5 会把白 T 恤染粉。透明视频用 ffprobe 看到 yuv420p 不代表没有透明通道,解码时必须显式指定 VP9 解码器。

响度要做两遍:一遍会压掉音效的瞬间冲击;而且处理时内部会升到 192kHz,不指定输出采样率,96kHz 会漏进成片。

视频分段渲染时,声音要整条单独渲一次,每段各带声音再拼,编码器的前导延迟会让声音逐段错位。

相机推拉的最后一个关键帧要放到片尾之外:缓入缓出曲线终点速度为零,最后一个关键帧压在片尾,最后 0.8 秒画面会停死。

很细的点阵、网格放在缓推的画面里会"爬",整块看起来像画面在抖,要么把点放大,要么挪到不缩放的层。

第三份精华:108 张卡里的手感参数

这是我觉得最值钱、也最容易被忽略的部分。每张卡都有一张参数表,写着典型值和"调过头会怎样",一共 969 行,每张还附了在剪映、AE 里怎么用关键帧做出来。我把它们按类别汇总了一遍,规律非常一致。

先是一张判断表。作者描述"调过头"时,反复用的是同一批说法:

观众的感受
说明什么调过头了
读作硬现、闪出来、看不见过程
入场太快
读作 PPT 飞入、拖沓、观众在等
入场太慢或停太久
读作两个独立动效、观众开始数
依次出现的间隔太大
糊成一块
间隔太小
读作卡通、综艺、廉价
回弹太大
读作程序、进度条
匀速、等距、没有随机

再是几组在十几张卡上反复出现的数字:

入场:小元素弹入、砸入 0.15~0.35 秒;卡片上屏 0.3~0.6 秒;柔和的解糊、逐行淡入 0.5~0.9 秒。快过 0.12~0.2 秒就"看不见过程"。

出场:约为入场的一半到七成,而且不弹。

依次出现的间隔分三档:逐字约 1 帧;想让几行读作"一组"用 0.06~0.15 秒;跟着口播"第一、第二"逐条出用 0.5~0.75 秒。小于 0.05 秒糊成一块,大于 0.2 秒左右就断开了。

停留:每个字给 0.12~0.2 秒阅读时间;金句停 2.2 秒,结论数字 1.8 秒;人名条在场 3~5 秒,少了读不完,超过 8 秒成了牛皮癣。

回弹:柱状图、清单、纠错一律不弹("数据不该弹");要弹时过冲 5% 左右最好,10% 是上限;一张卡只给一个动作弹。

模拟真人操作:中文打字每秒 8.5~11 字,慢了观众会去读输入框,快了像机器代打;打完停 0.33 秒再点发送,0 秒像脚本,超过 0.6 秒像卡住。

这些不是物理定律,是作者一张张调出来的手感。但同一条阈值在十几张卡上数值都很接近,可信度比单条规则高得多。它们也不只能用在口播里,做片头字卡、人物介绍条、手机聊天画面,甚至网页和 PPT 的动画,都能直接拿来当起点。

价值不大的部分

直接说:

剪映式的工作台工程量很大,但和"做好一条视频"关系不大。

规则写得太细。主文档 62KB,硬性规定一条接一条,明显是写给容易忘事的模型看的。Opus 5.5 不需要这么密的约束,照单全收反而容易做死板。

派子代理做评审的那一整套流程(怎么派、怎么判断它干完了、拿不到报告怎么办),对已经在用子代理的人意义不大,而且审片最后还得人来看。

每张卡的"已知坑"多数是推理,我抽了几张看,写的都是"这样会读作什么"的判断,没有实测记录。真正有分量的是参数表。

素材搜索只能搜到泛泛的空镜,原因前面说了。

和 video-shotcraft 放在一起看

两个项目同一个作者,路数一样:用代码画画面,配一套调过的镜头卡,再加一份审美规则。区别在题材,video-shotcraft 拍产品宣传片,讲究节奏和冲击;video-talkcraft 做口播,讲究跟着人声走、不抢人说话。talkcraft 有 18 张卡就是从 shotcraft 移植过来的,按"服务讲述、不炫技"的标准挑过。

多出来的是"声音"这条线:字级时间、剪口水词、音效能不能听见。这一块是 shotcraft 没有的。

用之前要知道的几件事

许可是非商用的(PolyForm Noncommercial)。个人、学习、研究免费,做出的视频归你;但把这个工具用于带货、接单、公司宣传这类商业用途,要先找作者授权。

需要自己去 Pexels、Pixabay 免费注册拿接口密钥;用 Fish Audio 合成配音也要一个密钥。

作者在 Mac 上开发,脚本里有不少 Mac、Linux 的写法,Windows 上能不能直接跑通我没有试。

最后

简单总结一下:video-talkcraft 想做的是"口播视频全自动",这件事本身 Opus 5.5 加上 Remotion 也能做个大概。它真正留下来的,是作者在几支片子里被挑出来的审美规则、一批踩过才知道的数字,以及 108 张卡上调好的手感参数。

如果只想读,最值得看的是这几处:

references/cards/*.md 里每张卡的"参数表":典型值和调过头会怎样;

references/cinematography.md:运动做减法、排版和版式轮换、代码层的坑;

references/design-language.md 第 0 节和第 1.3 节:从稿子定风格、视频怎么装框;

references/host-footage.md:人物视频的帧率、抠像和透明通道;

scripts/timestamps_cpu.py 和 scripts/voice_trim.py 开头的注释:识别方案对比,以及以稿为准剪口水词。

希望这篇对你有帮助。对 AI 做视频感兴趣的朋友,欢迎在留言区一起交流。

项目地址:github.com/Vincentwei1021/video-talkcraft

← 返回「扒底裤系列」回到顶部 ↑