首页 / 常见问题

涉密数据怎么用大模型?单位数据不能出内网,大模型本地部署怎么落地

龙虾AGI通用实验室2026.11.18约 796 字Markdown 原文

问单位要求用上大模型,但数据要保密、不能出内网,怎么办?

答

数据不能出内网,就把大模型搬进内网:选一个开源大模型(如通义千问、DeepSeek 的开源版本),部署在单位自己的服务器上,所有数据和计算都在内网完成,不调用任何外部接口。落地时先挑一个具体场景,比如写材料、查制度、生成报告,做出能用的东西再扩展,别一上来就建“大平台”。涉及国家秘密的系统,还要按保密管理规定走审批和测评,这部分以单位保密部门的要求为准。

本地部署要准备什么

项目 说明
模型 开源大模型,按任务难度和硬件选尺寸,不必追最大的
硬件 带显卡的服务器;模型越大显存要求越高,可以先用中等尺寸的模型验证效果
软件 模型推理服务、检索和知识库组件、业务应用,全部内网安装
网络 与互联网物理或逻辑隔离,安装包和模型文件离线导入
管理 账号权限、操作日志、数据分级,按单位制度来

从哪个场景落地

  • 公文和材料起草:按单位模板起草初稿,人修改定稿。
  • 制度和资料问答:员工提问,系统从内部资料里找依据回答并标出处。
  • 报告自动生成:从业务数据出发,按固定章节生成报告初稿。
  • 资料整理:扫描件识别、表格提取、批量归档。

挑选标准:工作量大、格式相对固定、结果容易人工核对。

我们做过的

龙虾AGI通用实验室做的水文气象报告生成系统,已在实际项目中使用,现已迁入内网部署:报告按章节自动起草,每段过校验,导出排版好的 Word。网站上能看到的是用虚构示例项目搭的只读演示。

常见问题

本地部署的模型效果比云端差多少?

最大的云端模型确实更强,但很多单位场景(起草、问答、提取)用中等尺寸的开源模型就够用。关键在于把资料、模板和校验规则做好,模型只是其中一环。

硬件要花多少?

取决于模型尺寸和同时使用的人数。建议先用一台服务器跑通一个场景,测出实际需要的算力,再决定要不要扩容。

大模型项目怎么向领导汇报效果?

用具体数字说话:试点前后某项工作的耗时、出错率、处理量。演示时用真实(脱敏)材料,现场让领导出题测试,比放 PPT 有说服力。

Contact · 联系合作

说说你想做什么

微信扫码或发邮件,简单说明需求即可:要做什么、给谁用、大概什么时候要。加微信时请注明来意。

Email
guoy0701@gmail.com
公众号
龙虾AGI通用实验室
微信二维码
加我微信 · 请注明来意
Next · 下一题大模型项目验收标准怎么定?避免只有演示好看、实际没人用→