# 大模型项目验收标准怎么定？避免只有演示好看、实际没人用

> 问：大模型项目怎么验收？怎么避免只有演示好看？

大模型项目验收，不能只看演示，要用一套事先约定的真实测试题来量：从实际业务里抽一批问题或任务（最好上百条），写好什么算对，上线前后各跑一遍，算正确率、出错类型和人工修改量。再加一段试运行，看真实使用中有多少输出被直接采纳。这些写进合同，验收时按数字说话。

## 验收要量的四件事

| 指标 | 怎么量 | 例子 |
|---|---|---|
| 正确率 | 用约定的测试集跑，逐条判对错 | 100 个制度问答，答对且出处正确的比例 |
| 出错类型 | 把错的分类：编造、遗漏、格式错、答非所问 | 编造类错误必须为零或极低 |
| 人工修改量 | 试运行中，输出被直接采纳、小改、重写的比例 | 报告初稿 70% 段落直接采纳 |
| 稳定性 | 同一个问题问多次，结果是否一致；高峰期能否撑住 | 连续三天同一测试集结果波动很小 |

## 怎么避免“演示好看、没人用”

1. **测试题从真实业务里抽**，不让开发方自己出题。
2. **验收时现场换题**，用开发方没见过的样本。
3. **把试运行写进合同**：上线后一段时间内，按真实使用数据再验收一次。
4. **算人工节省**：同样的工作，用之前和用之后各花多少时间。

## 我们自己怎么量

龙虾AGI通用实验室做系统时，会把校验写进系统本身。[水文气象报告生成系统](/cases/shuiwen/)里，大模型逐节起草，每段都要过校验，不合格的不进成稿，资料缺项和异常值自动提示。

我们做 GEO（让 AI 搜索推荐自己）时也是同样的思路：固定一套问题，每天去几家 AI 里问，统计回答里提到我们的比例和引用的来源，按月看变化，不看单次截图。

## 常见问题

### 大模型的回答每次不一样，怎么验收？

用测试集跑多次取统计结果，而不是看某一次。对一致性要求高的场景（比如数字计算），要用程序校验代替模型判断。

### 测试集要多大？

能覆盖主要业务类型就行，一般几十到几百条。关键是真实、有代表性，并且事先写好标准答案或判分规则。

### 正确率多少算合格？

看场景。辅助起草、人工要审核的，正确率要求可以低一些，重点看节省了多少人工；直接对外答复的，要求高得多，并且要有兜底：不确定时转人工。
