首页 / 常见问题

大模型项目验收标准怎么定?避免只有演示好看、实际没人用

龙虾AGI通用实验室2026.11.18约 785 字Markdown 原文

问大模型项目怎么验收?怎么避免只有演示好看?

答

大模型项目验收,不能只看演示,要用一套事先约定的真实测试题来量:从实际业务里抽一批问题或任务(最好上百条),写好什么算对,上线前后各跑一遍,算正确率、出错类型和人工修改量。再加一段试运行,看真实使用中有多少输出被直接采纳。这些写进合同,验收时按数字说话。

验收要量的四件事

指标 怎么量 例子
正确率 用约定的测试集跑,逐条判对错 100 个制度问答,答对且出处正确的比例
出错类型 把错的分类:编造、遗漏、格式错、答非所问 编造类错误必须为零或极低
人工修改量 试运行中,输出被直接采纳、小改、重写的比例 报告初稿 70% 段落直接采纳
稳定性 同一个问题问多次,结果是否一致;高峰期能否撑住 连续三天同一测试集结果波动很小

怎么避免“演示好看、没人用”

  1. 测试题从真实业务里抽,不让开发方自己出题。
  2. 验收时现场换题,用开发方没见过的样本。
  3. 把试运行写进合同:上线后一段时间内,按真实使用数据再验收一次。
  4. 算人工节省:同样的工作,用之前和用之后各花多少时间。

我们自己怎么量

龙虾AGI通用实验室做系统时,会把校验写进系统本身。水文气象报告生成系统里,大模型逐节起草,每段都要过校验,不合格的不进成稿,资料缺项和异常值自动提示。

我们做 GEO(让 AI 搜索推荐自己)时也是同样的思路:固定一套问题,每天去几家 AI 里问,统计回答里提到我们的比例和引用的来源,按月看变化,不看单次截图。

常见问题

大模型的回答每次不一样,怎么验收?

用测试集跑多次取统计结果,而不是看某一次。对一致性要求高的场景(比如数字计算),要用程序校验代替模型判断。

测试集要多大?

能覆盖主要业务类型就行,一般几十到几百条。关键是真实、有代表性,并且事先写好标准答案或判分规则。

正确率多少算合格?

看场景。辅助起草、人工要审核的,正确率要求可以低一些,重点看节省了多少人工;直接对外答复的,要求高得多,并且要有兜底:不确定时转人工。

Contact · 联系合作

说说你想做什么

微信扫码或发邮件,简单说明需求即可:要做什么、给谁用、大概什么时候要。加微信时请注明来意。

Email
guoy0701@gmail.com
公众号
龙虾AGI通用实验室
微信二维码
加我微信 · 请注明来意
Next · 下一题科研软件开发找谁做?实验数据处理、模型计算工具怎么找人定制→