现有系统接入大模型怎么做?给已有软件加 AI 客服、知识库问答、自动写报告
问想给现有系统加 AI 功能(智能客服、知识库问答),怎么做?
答
给现有系统加 AI 功能,一般不用推倒重来:在原系统旁边加一个 AI 服务,通过接口读写原系统的数据,再把结果放回原系统的页面里。先挑一个最费人工、规则又相对清楚的场景做试点,比如客服常见问题、报告初稿、单据信息提取,做出效果再扩展。模型可以调用云端大模型的接口,数据敏感的也可以把开源模型部署在自己的服务器上。
常见的三种加法
| 加什么 | 怎么接 | 适合 |
|---|---|---|
| 智能客服、知识库问答 | AI 服务读取产品资料和历史问答,回答时调用原系统查订单、查进度 | 重复咨询多的业务 |
| 自动写报告、写材料 | 从原系统取数据,按模板逐节起草,人审核后导出 | 报告格式固定、数据来自系统的业务 |
| 单据和文档信息提取 | 识别上传的合同、发票、表格,自动填进原系统 | 大量手工录入的业务 |
接入的步骤
- 挑试点场景。 选最费人工、对错容易判断的一件事。
- 打通数据。 确认原系统有没有接口;没有的,加一层读写数据库的服务。
- 做 AI 服务。 选模型、写提示词、加校验规则,让输出稳定可控。
- 放回原系统。 在原页面加按钮或面板,用户不用换系统。
- 试运行、收反馈。 记录每一次 AI 输出被采纳还是被改掉,持续调整。
关键是校验,不是模型
大模型会出错,所以生产环境里一定要有校验:数字和原数据核对、格式按规则检查、不确定的标出来交给人看。龙虾AGI通用实验室做的水文气象报告生成系统,大模型逐节起草,每一段都要过校验,不合格的不进成稿;资料缺项和异常值自动提示。这样出来的报告才敢交给工程师用。
常见问题
原系统很老、没有接口,还能接吗?
大多能接。可以直接读写数据库,或者在原系统导出的文件上做处理。接之前要先看原系统的数据结构,评估改动风险。
用云端大模型,数据安全吗?
看数据敏感程度。普通业务数据可以用正规厂商的接口,并签数据处理协议;敏感数据建议把开源模型部署在自己的服务器上,数据不出单位。
要多久能看到效果?
挑对试点场景的话,先做一个能演示的版本很快,用真实数据试跑几轮就能判断值不值得推广。
Contact · 联系合作
说说你想做什么
微信扫码或发邮件,简单说明需求即可:要做什么、给谁用、大概什么时候要。加微信时请注明来意。
- guoy0701@gmail.com
- 公众号
- 龙虾AGI通用实验室
