研究了一下给 AI 用的视频剪辑工具 ffmpeg-skill
最近研究了一个叫 ffmpeg-skill 的开源项目。它是一个装给 AI 用的视频剪辑工具:AI 做出一段段视频以后,把它们拼起来、加字幕、配乐、统一音量、转成竖屏、按平台要求导出,最后再检查一遍能不能发。它今年九月初才建仓,两个月攒了四千七百个 star,版本号从 0.1 一路发到了 3.1.1。
我带着一个问题去看:我平时用 Claude Code,主模型是 Opus 5.5,它自己就会写剪辑命令。那这么一个工具,还有价值吗?
拆完的结论是:有,而且值钱的不是它那 42 个剪辑工具,而是一条规矩:不相信"成功",做完必须量,量不了的要老实说没量。
先说 ffmpeg 是什么
ffmpeg 是一个免费的音视频处理程序,没有界面,只能打字下指令。很多视频软件和网站的底层都在用它,剪、拼、转格式、加字幕、调音量、改尺寸,几乎什么都能做。
一条最简单的指令长这样:
ffmpeg -i 原片.mp4 -ss 10 -to 20 -c copy 片段.mp4
意思是"从原片里截出第 10 到 20 秒,不重新压缩,存成片段.mp4"。
可要是想"转成竖屏 + 烧中文字幕 + 配乐在说话时自动变小 + 音量调到抖音标准",就得写一长串,几十个参数,先后顺序还有讲究。ffmpeg 的参数有几百个,组合起来几乎是一门小语言。写出一条能运行的指令不难,写出一条结果真正对的很难。
再说 ffmpeg-skill 是什么
ffmpeg-skill 是一个装给 AI 用的"剪辑工具箱"。里面有三样东西:
42 个现成的剪辑小工具:剪切、拼接、去掉停顿、改比例、烧字幕、加角标、配乐、统一音量、按平台导出、成片检查、抽帧看图等,每个都是写好的程序。
一本说明书:告诉 AI"用户这么说,就用哪个工具",以及做事的固定顺序。
一套自检:每个工具做完,自动量一遍结果对不对。
举个例子。假设你有一集短剧,20 段 AI 生成的视频加一份台词表,想发抖音。
没有它时,你让 AI 做,它会自己写一串 ffmpeg 指令。可能字幕被裁掉一半,可能中文变成方框,可能配乐盖过了台词,可能字幕正好被抖音底部的文字挡住。而它会告诉你"完成了",因为指令确实都执行成功了。
有了它,AI 会照着说明书一步步调用工具:拼接,转竖屏,烧字幕(自动选中文字体,避开抖音界面会挡住的区域),配乐(有人说话时音乐自动变小),统一音量,按抖音的要求逐项检查,最后抽 6 帧拼成一张图自己看一眼。交给你的报告大概是:"成片 59.98 秒,1080×1920,检查全部通过;看图:字幕在安全区内,没有压到人脸。"

我在自己电脑上装了试了一下,它自带的环境检查显示 73 项能力齐全,中文字体能正常显示。
模型这么强,为什么还会翻车
Opus 5.5 当然会写 ffmpeg 指令。问题在于,ffmpeg 很多时候报告成功、文件也生成了,结果却是错的。这个项目二十多个版本修的,大多就是这类"静默失败":
字体里没有中文,每个字都画成一个空方框,ffmpeg 照样报成功;
先把字幕烧上去再裁成竖屏,字幕被裁出了画面;
为了不损失画质直接截取,开头几帧却是冻住的,文件照样能播;
音量已经调到标准,声音其实还在爆音;
截出来的文件丢了整条画面,连这个工具自己都报了"已验证"——因为它只量了时长,没清点画面和声音是不是都还在。
这些坑,模型凭训练时学到的知识是写不出来的。一个再强的模型第一次去写,照样会踩进去,而且它不知道自己踩了。
ffmpeg-skill 的办法不是让 AI 变聪明,而是让错误跑不出去:已知的坑直接写进工具里,比如缺中文字体就直接判失败,不会交出一个满屏方框的视频;每一步做完由程序量结果;程序量不了的,就逼 AI 去看图,并且必须如实说。
第一份精华:一份"看着对、其实错"的清单
项目里有一份坑点清单,读起来像剪辑老师傅的笔记。挑几条对 AI 做视频也有用的:
先定画面尺寸,再烧字幕。 顺序反了,字幕要么被裁掉,要么在小尺寸上烧好再放大,字会发虚。
字幕的文字原样烧上去,不许改写。 放不下就缩小字号、拆成两条,或者请用户自己改,就算用户说"帮我改短点让它放得下"也不改。AI 只负责执行,不替人改内容。
竖屏平台的界面会盖住画面。 抖音这类平台,底部有描述文字,右边有点赞栏,顶部有状态栏。一个文件技术上全部合格,字幕却正好被描述文字压住,照样等于白做。
没声音的片段,不要硬把音量拉高。 安静的空镜,拉高了只是放大底噪,应该保持原样,配乐或旁白另外加。
16:9 裁成 9:16 会丢掉七成宽度。 默认从正中间裁是在猜,不是在做决定。对 AI 视频来说更好的做法是:生成时就直接出竖屏。
第二份精华:做完必须量,量不了要说没量
这是我觉得整个项目最值钱的部分。作者还专门为此写了一篇文章,叫"验证驱动的编程",有意思的是,文章里给自己这个项目打的分是"只做到了一部分"。
具体是这么几条规矩:
完成,只看量出来的结果。 程序报成功、AI 说做完了,都不算数。必须量一下输出的时长、尺寸、音量、画面和声音是不是都在,和要求一致才算完成。
检查用的尺子,不能是自己做的。 有一次,导出工具自己说一个 Reels 视频"已验证",但独立的平台检查判它失败:90.10 秒,超过了 90 秒的上限。原因是调音量那一步让声音变长了 0.1 秒,而导出工具和检查工具量时长用的不是同一个标准。后来规定:导出和检查必须用同一条规则、同一个数。
每个工具都要写明"我没查什么"。 比如口型对不对、字幕有没有压在脸上、调色好不好看,这些程序量不了,就明确列出来,让使用的人知道哪里必须自己看。
整体算通过,必须每一步都通过。 十个步骤里有一个没验证过,整体就不算验证过。
检查失败了,不要急着重跑。 失败可能是产物错了,可能是参照错了,也可能是尺子本身错了。直接重跑,可能把证据冲掉。
画面变了,就必须看。 抽 6 帧拼成一张图真的看一遍,看的东西分两类。一类是"字在不在指定位置"这种机械问题,工具自己判;另一类是"脸有没有被裁、字有没有压在脸上"这种判断问题,只报告,不擅自判通过。没有看图能力,就写"没看",绝不假装看过。
我觉得这几条完全可以搬到整个 AI 视频流程里去。写剧本、出素材图、生成视频,每一步都有同样的毛病:模型说"生成成功了",不等于视频是对的。
第三份精华:只干活,不拍板;说明书靠考试调
项目给自己划了一条很清楚的线:同样的素材、同样明确的要求,做出来的结果一样、而且能验证的,归工具;需要品味和理解的,归人。
所以它不决定剪哪一刀、成片能不能发、哪段最精彩。它也会挑"高光片段",但只按声音大小排个候选名单,安静却关键的那句台词就会被漏掉,它自己在文档里就说明了这一点。
另一件我很佩服的事,是作者调说明书的方法:出题考 AI。 他准备了一百多道题,用十几种语言写"用户会怎么说",看 AI 会不会用对工具、报告是不是诚实。有一条评分规则特别狠:报告里声称做了实际没做的事,这道题直接 0 分。说少了可以接受,说了没做的不行。
改一句话,就要重新考一遍。效果很明显:说明书里原来写着"新电脑第一次用之前,先检查一下环境",结果 36 次测试里有 23 次,AI 每做一个任务都先去检查环境;改成"出错了再检查"以后,变成了 0 次。一句话的措辞,模型会执行得比你想的更字面。
哪些部分没什么用,可以直接跳过
说完值钱的,也说说不值钱的。这个项目体量很大,但如果你是用强模型做 AI 视频,下面这些基本可以不看:
第一,一大半剪辑常识,强模型本来就会。 比如截取视频要落在关键帧上、画面宽高必须是偶数、60 帧转 30 帧动作会卡、调音量要同时看峰值、字幕一般不超过两行。这些 Opus 5.5 不用教,写进说明书里只是多占篇幅。真正值得看的,只有前面那些"不实际跑一遍就不知道"的坑。
第二,对付拍摄设备的经验,AI 视频用不上。 项目里很多经验是给实拍素材准备的:iPhone 的 HDR 视频处理不好会发灰,专业相机故意拍成灰调留给后期调色,手机录像的帧率忽快忽慢,两台设备分别录音时间对不上。这些是作者拿真机一条条测出来的,做实拍很有用,但 AI 生成的视频碰不到这些问题。
第三,42 个工具,常用的也就十来个。 多机位切换、360 度全景视频、老录像去隔行、防抖、绿幕抠像、去固定水印这些,做 AI 短剧基本用不到。真正常用的是拼接、改比例、字幕、配乐、统一音量、导出、检查、抽帧看图这几个。
第四,为"通用"付出的那部分。 它为了让各家 AI 工具都能调用,做了一整套机器能读的接口说明;为了支持十几种语言,专门处理了阿拉伯文从右往左排、印地语和泰语的字形拼接、彩色 emoji。如果你只用 Claude Code、只做中文视频,这部分可以整块略过。
第五,大量工程文档。 光记录设计决定的文档就有两百多 KB,更新日志三百多 KB,测试代码一点六 MB,还有一份专门记录这个项目自己发布软件时踩的坑,比如自动发布流程误发了三个大版本。这些是写软件的经验,和做视频无关。
它管不了的事
第一,它不管好不好看。 节奏、情绪、哪一刀剪得妙,它明确说不归它管。AI 视频真正的麻烦,比如人物长得不一样了、道具凭空消失,剪辑工具也管不了。
第二,它验证不了口型。 声音能对齐,不代表嘴型对得上。如果先生成视频再配 AI 台词,口型只能靠人看。
最后
简单总结一下:ffmpeg-skill 可以直接装来当 AI 的剪辑助手,特别适合"一堆片段变成一条能发布的视频"这最后一步;如果只想读,最值得看的是项目里 references/gotchas.md 这份坑点清单,以及 docs/design-decisions.md 里关于"一切不许静默"的那几节。
希望这篇对你有帮助。对 AI 做视频感兴趣的朋友,欢迎在留言区一起交流。