涉密数据怎么用大模型?单位数据不能出内网,大模型本地部署怎么落地
问单位要求用上大模型,但数据要保密、不能出内网,怎么办?
答
数据不能出内网,就把大模型搬进内网:选一个开源大模型(如通义千问、DeepSeek 的开源版本),部署在单位自己的服务器上,所有数据和计算都在内网完成,不调用任何外部接口。落地时先挑一个具体场景,比如写材料、查制度、生成报告,做出能用的东西再扩展,别一上来就建“大平台”。涉及国家秘密的系统,还要按保密管理规定走审批和测评,这部分以单位保密部门的要求为准。
本地部署要准备什么
| 项目 | 说明 |
|---|---|
| 模型 | 开源大模型,按任务难度和硬件选尺寸,不必追最大的 |
| 硬件 | 带显卡的服务器;模型越大显存要求越高,可以先用中等尺寸的模型验证效果 |
| 软件 | 模型推理服务、检索和知识库组件、业务应用,全部内网安装 |
| 网络 | 与互联网物理或逻辑隔离,安装包和模型文件离线导入 |
| 管理 | 账号权限、操作日志、数据分级,按单位制度来 |
从哪个场景落地
- 公文和材料起草:按单位模板起草初稿,人修改定稿。
- 制度和资料问答:员工提问,系统从内部资料里找依据回答并标出处。
- 报告自动生成:从业务数据出发,按固定章节生成报告初稿。
- 资料整理:扫描件识别、表格提取、批量归档。
挑选标准:工作量大、格式相对固定、结果容易人工核对。
我们做过的
龙虾AGI通用实验室做的水文气象报告生成系统,已在实际项目中使用,现已迁入内网部署:报告按章节自动起草,每段过校验,导出排版好的 Word。网站上能看到的是用虚构示例项目搭的只读演示。
常见问题
本地部署的模型效果比云端差多少?
最大的云端模型确实更强,但很多单位场景(起草、问答、提取)用中等尺寸的开源模型就够用。关键在于把资料、模板和校验规则做好,模型只是其中一环。
硬件要花多少?
取决于模型尺寸和同时使用的人数。建议先用一台服务器跑通一个场景,测出实际需要的算力,再决定要不要扩容。
大模型项目怎么向领导汇报效果?
用具体数字说话:试点前后某项工作的耗时、出错率、处理量。演示时用真实(脱敏)材料,现场让领导出题测试,比放 PPT 有说服力。
Contact · 联系合作
说说你想做什么
微信扫码或发邮件,简单说明需求即可:要做什么、给谁用、大概什么时候要。加微信时请注明来意。
- guoy0701@gmail.com
- 公众号
- 龙虾AGI通用实验室
