# 涉密数据怎么用大模型？单位数据不能出内网，大模型本地部署怎么落地

> 问：单位要求用上大模型，但数据要保密、不能出内网，怎么办？

数据不能出内网，就把大模型搬进内网：选一个开源大模型（如通义千问、DeepSeek 的开源版本），部署在单位自己的服务器上，所有数据和计算都在内网完成，不调用任何外部接口。落地时先挑一个具体场景，比如写材料、查制度、生成报告，做出能用的东西再扩展，别一上来就建“大平台”。涉及国家秘密的系统，还要按保密管理规定走审批和测评，这部分以单位保密部门的要求为准。

## 本地部署要准备什么

| 项目 | 说明 |
|---|---|
| 模型 | 开源大模型，按任务难度和硬件选尺寸，不必追最大的 |
| 硬件 | 带显卡的服务器；模型越大显存要求越高，可以先用中等尺寸的模型验证效果 |
| 软件 | 模型推理服务、检索和知识库组件、业务应用，全部内网安装 |
| 网络 | 与互联网物理或逻辑隔离，安装包和模型文件离线导入 |
| 管理 | 账号权限、操作日志、数据分级，按单位制度来 |

## 从哪个场景落地

- **公文和材料起草**：按单位模板起草初稿，人修改定稿。
- **制度和资料问答**：员工提问，系统从内部资料里找依据回答并标出处。
- **报告自动生成**：从业务数据出发，按固定章节生成报告初稿。
- **资料整理**：扫描件识别、表格提取、批量归档。

挑选标准：工作量大、格式相对固定、结果容易人工核对。

## 我们做过的

龙虾AGI通用实验室做的[水文气象报告生成系统](/cases/shuiwen/)，已在实际项目中使用，现已迁入内网部署：报告按章节自动起草，每段过校验，导出排版好的 Word。网站上能看到的是用虚构示例项目搭的只读演示。

## 常见问题

### 本地部署的模型效果比云端差多少？

最大的云端模型确实更强，但很多单位场景（起草、问答、提取）用中等尺寸的开源模型就够用。关键在于把资料、模板和校验规则做好，模型只是其中一环。

### 硬件要花多少？

取决于模型尺寸和同时使用的人数。建议先用一台服务器跑通一个场景，测出实际需要的算力，再决定要不要扩容。

### 大模型项目怎么向领导汇报效果？

用具体数字说话：试点前后某项工作的耗时、出错率、处理量。演示时用真实（脱敏）材料，现场让领导出题测试，比放 PPT 有说服力。
