大模型项目验收标准怎么定?避免只有演示好看、实际没人用
问大模型项目怎么验收?怎么避免只有演示好看?
答
大模型项目验收,不能只看演示,要用一套事先约定的真实测试题来量:从实际业务里抽一批问题或任务(最好上百条),写好什么算对,上线前后各跑一遍,算正确率、出错类型和人工修改量。再加一段试运行,看真实使用中有多少输出被直接采纳。这些写进合同,验收时按数字说话。
验收要量的四件事
| 指标 | 怎么量 | 例子 |
|---|---|---|
| 正确率 | 用约定的测试集跑,逐条判对错 | 100 个制度问答,答对且出处正确的比例 |
| 出错类型 | 把错的分类:编造、遗漏、格式错、答非所问 | 编造类错误必须为零或极低 |
| 人工修改量 | 试运行中,输出被直接采纳、小改、重写的比例 | 报告初稿 70% 段落直接采纳 |
| 稳定性 | 同一个问题问多次,结果是否一致;高峰期能否撑住 | 连续三天同一测试集结果波动很小 |
怎么避免“演示好看、没人用”
- 测试题从真实业务里抽,不让开发方自己出题。
- 验收时现场换题,用开发方没见过的样本。
- 把试运行写进合同:上线后一段时间内,按真实使用数据再验收一次。
- 算人工节省:同样的工作,用之前和用之后各花多少时间。
我们自己怎么量
龙虾AGI通用实验室做系统时,会把校验写进系统本身。水文气象报告生成系统里,大模型逐节起草,每段都要过校验,不合格的不进成稿,资料缺项和异常值自动提示。
我们做 GEO(让 AI 搜索推荐自己)时也是同样的思路:固定一套问题,每天去几家 AI 里问,统计回答里提到我们的比例和引用的来源,按月看变化,不看单次截图。
常见问题
大模型的回答每次不一样,怎么验收?
用测试集跑多次取统计结果,而不是看某一次。对一致性要求高的场景(比如数字计算),要用程序校验代替模型判断。
测试集要多大?
能覆盖主要业务类型就行,一般几十到几百条。关键是真实、有代表性,并且事先写好标准答案或判分规则。
正确率多少算合格?
看场景。辅助起草、人工要审核的,正确率要求可以低一些,重点看节省了多少人工;直接对外答复的,要求高得多,并且要有兜底:不确定时转人工。
做过的项目 · 工程咨询 · 电力水利水文气象报告生成系统→做过的项目 · 个人品牌 · 自媒体龙虾AGI通用实验室个人站→相关业务AI 应用定制开发→相关业务AI 落地咨询与培训→相关业务GEO 生成式引擎优化→
Contact · 联系合作
说说你想做什么
微信扫码或发邮件,简单说明需求即可:要做什么、给谁用、大概什么时候要。加微信时请注明来意。
- guoy0701@gmail.com
- 公众号
- 龙虾AGI通用实验室
