# DeepSeek / 千问私有化部署方案（汇报稿）

**文档用途**：供管理层决策  
**建议结论**：在现有 DeepSeek API 用量较大的前提下，启动私有化推理；**优先采用阿里云 GPU 部署，暂不采购自有服务器**；运行 1～3 个月后根据真实利用率与成本，再评估是否自购硬件。

---

## 一、背景与问题

### 1.1 现状

- 业务侧已接入 **DeepSeek API**，能力可用、上线快。
- 当前用户规模较大，**调用量大、API 费用持续升高**。
- 推理能力完全依赖外部 API，在**成本可控性、容量规划、服务稳定性、数据与调用链路管控**方面，对业务扩张形成压力。

### 1.2 要解决的问题

| 问题 | 说明 |
|------|------|
| 成本 | 大流量下按 Token 计费，费用随业务线性上涨，难以封顶 |
| 可控 | 限流、峰值、模型版本切换不完全由己方掌控 |
| 稳定 | 高峰期依赖外部服务可用性 |
| 合规与管控 | 需进一步强化调用链路、日志审计与内网隔离能力（按公司要求落地） |

### 1.3 本次决策范围

本次方案**只决策「大模型推理层」如何私有化**，不改变现有业务系统与知识库/RAG 的主体架构；通过兼容 OpenAI 风格接口，实现从 API 到私有推理的平滑切换。

---

## 二、建设目标与原则

### 2.1 目标

1. **降本**：在同等业务量下，使推理成本相对纯 API 可测算、可优化、可封顶。  
2. **可控**：推理服务部署在我方可控环境（优先阿里云 VPC），扩缩容与限流自主。  
3. **稳妥**：先小步验证效果与成本，再决定是否加大投入（含自购服务器）。  
4. **可切换**：保留 API 作为备份或高峰溢流，降低单点风险。

### 2.2 原则

- **效果达标优先于上满血大模型**：优先选用可稳定支撑业务的开源模型档位，避免一上来上旗舰 MoE。  
- **先云后机**：先阿里云 GPU 验证，再评估自购。  
- **分阶段投入**：试点 → 放量 → 复盘 → 决定是否买机。  
- **业务与数据自管**：应用、知识库、权限与审计仍由我方掌控。

---

## 三、方案对比（领导决策核心）

| 维度 | 方案 A：继续纯 API | 方案 B：阿里云 GPU 私有化（推荐） | 方案 C：自购服务器私有化 |
|------|-------------------|----------------------------------|-------------------------|
| 成本形态 | 按量，流量越大越贵 | 包月/按量，可规划上限 | 一次性大额 CapEx + 电费运维 |
| 初期投入 | 低 | 中（租用 GPU） | 高（常达百万级） |
| 上线周期 | 已具备 | 快（通常数周级） | 慢（采购+机房+调通） |
| 扩缩容 | 受厂商配额影响 | 灵活 | 受已购容量限制 |
| 运维复杂度 | 低 | 中 | 高 |
| 硬件贬值风险 | 无 | 无（云侧承担） | 高（GPU 迭代快） |
| 数据与网络管控 | 相对弱 | VPC 内可控，满足多数企业要求 | 物理隔离最强 |
| 适合阶段 | 小流量或过渡 | **当前推荐主路径** | 长期打满且有机房与团队后再议 |
| 综合风险 | 成本失控风险上升 | **最低** | 采购与运维风险最高 |

### 推荐意见

> **采用方案 B：阿里云 GPU 私有化部署开源模型（DeepSeek / 千问体系），作为从 API 迁移的主路径。**  
> 方案 A 作为备份与溢流；方案 C 不作为一期选项，纳入二期评估。

---

## 四、推荐实施路径（分阶段）

```text
阶段一（试点，4～6 周）
  阿里云 VPC 内部署推理服务（vLLM 等）
  → 对接现有业务 / RAG
  → 小流量灰度，对比效果与延迟

阶段二（放量，1～2 个月）
  按业务峰值扩容
  → 统计 GPU 利用率、月度费用、与原 API 费用对比
  → API 保留为备份 / 高峰溢流

阶段三（决策复盘）
  若利用率长期偏高且云成本仍有优化空间
  → 评估包年 / 竞价实例 / 是否自购服务器
  若负载波动大
  → 继续云上弹性，不急于买机
```

---

## 五、技术选型建议（精简）

### 5.1 模型选型策略

| 档位 | 适用 | 说明 |
|------|------|------|
| **推荐试点** | Qwen3.8-27B 或同级 14B～32B；或 DeepSeek 蒸馏版 / V4-Flash 级 | 单机或少量 GPU 即可，中文与企业问答场景性价比高 |
| 增强档 | DeepSeek V4-Flash 等同级 MoE | 推理更强，显存与卡数要求更高 |
| 旗舰档 | DeepSeek V4-Pro / 超大规模 MoE | 效果接近顶级，但成本与运维显著上升，**不建议一期上** |

说明：开源方面 DeepSeek 已至 **V4** 系列，千问已至 **Qwen3.8** 等；一期以「够用、稳定、可运维」为准，用业务评测集验收，再决定是否升级档位。

### 5.2 部署形态

- **基础设施**：阿里云 GPU 实例（按业务量选择 1 卡起，不足再扩）。  
- **推理引擎**：vLLM / SGLang 等，对外提供 **OpenAI 兼容 API**。  
- **网络**：部署于公司阿里云 **VPC**，业务内网调用；按需配置安全组、访问密钥、审计日志。  
- **应用侧**：现有调用 DeepSeek API 的代码改为指向私有 Endpoint（改 Base URL / Key 即可），切换成本低。

### 5.3 逻辑架构（示意）

```text
用户 / 业务系统
       │
       ▼
┌──────────────────┐
│  应用 / RAG / 知识库 │  ← 继续自管（权限、语料、审计）
└────────┬─────────┘
         │ 内网调用（OpenAI 兼容）
         ▼
┌──────────────────┐
│ 阿里云 VPC 推理集群  │  ← 开源模型 + vLLM（一期主路径）
│ （可扩缩容）          │
└────────┬─────────┘
         │ 备份 / 溢流（可选）
         ▼
┌──────────────────┐
│ DeepSeek 等公有 API │  ← 保留兜底
└──────────────────┘
```

---

## 六、成本说明（汇报口径）

> 精确数字依赖近 1～3 个月 API 账单与压测结果；以下为**决策用口径**，实施前用真实账单校准。

### 6.1 成本结构对比

| 项目 | 纯 API | 阿里云 GPU 私有化 | 自购服务器 |
|------|--------|-------------------|------------|
| 主要支出 | Token 费用 | GPU 实例费 + 少量云资源 | 整机采购 + 机房电费 + 运维人力 |
| 费用特点 | 随调用量上升 | 相对固定（可包月） | 前期极高，后期边际低 |
| 回本逻辑 | — | 当月费稳定低于 API 即阶段成功 | 需长期高利用率（常见需 18～36 个月视角） |

### 6.2 一期（云上）费用关注点

- GPU 规格与数量（由并发、上下文长度、模型大小决定）。  
- 是否 7×24；闲时可缩容则更能降本。  
- 存储（模型权重）、带宽、监控等占比较小，主成本在 GPU。

### 6.3 与自购的粗算关系（经验法则）

- 负载**波动大、仍在增长**：云更合算。  
- 集群**长期打满（例如利用率持续很高）且已有机房与运维**：再评估自购。  
- **用量大 ≠ 立即买机合算**；用量大只说明应离开「纯 API」，一期落点仍是云上私有化。

### 6.4 建议向财务/领导同步的验收指标

1. 私有化后**单位调用成本** vs 原 API。  
2. GPU **平均 / 高峰利用率**。  
3. 业务侧 **成功率、P95 延迟、用户满意度**（或内部评测分）。  

---

## 七、风险与应对

| 风险 | 影响 | 应对 |
|------|------|------|
| 开源模型效果不及当前 API | 业务体验下降 | 灰度对比评测；不达标则换更强档或保留 API 主路径 |
| 并发评估不足导致排队 | 高峰变慢 | 压测定容；弹性扩容；API 溢流 |
| 运维能力不足 | 故障恢复慢 | 选型托管/标准镜像；监控告警；保留 API 兜底 |
| 过早自购硬件 | 资金沉淀、卡闲置、换代贬值 | **一期明确不买机**；用 1～3 个月数据再决策 |
| 合规与数据要求升级 | 架构需调整 | VPC、加密、审计预留；极端离线需求单独立项 |

---

## 八、实施计划（建议）

| 阶段 | 周期（参考） | 主要工作 | 产出 |
|------|--------------|----------|------|
| 准备 | 1 周 | 梳理 API 用量与峰值；确定试点模型与成功标准 | 用量基线、验收标准 |
| 部署 | 1～2 周 | 阿里云 GPU + 推理服务 + 安全与监控 | 可用 Endpoint |
| 对接 | 1 周 | 业务/RAG 灰度切换 | 小流量跑通 |
| 验证 | 2～4 周 | 效果、性能、成本对比 | 对比报告 |
| 放量 | 持续 | 按比例切流；优化规格 | 稳定运行 |
| 复盘 | 试点后 1 次 | 是否扩容、是否包年、是否启动自购评估 | 二期建议 |

**人员**：业务/产品 1 人（验收）+ 研发 1～2 人（对接与部署）+ 运维/云资源协同；无需一期组建大型机房团队。

---

## 九、请领导决策的事项

1. **同意启动一期**：基于阿里云 GPU 的 DeepSeek/千问开源模型私有化试点。  
2. **同意一期不采购自有 GPU 服务器**；自购纳入二期，依据利用率与成本复盘再议。  
3. **同意保留现有 DeepSeek API 作为备份/溢流**，保证切换期业务连续。  
4. **授权按试点范围申请云资源预算**（具体金额根据选定卡型与并发在立项时详算）。  
5. **明确验收标准**：成本、效果、稳定性三类指标达标后再扩大切流比例。

---

## 十、一句话结论

> **在用户规模与 API 用量已经较大的现实下，私有化有必要；但为控制风险与避免硬件沉没成本，应优先在阿里云上建设可控的私有推理服务，用 1～3 个月真实运行数据证明降本与稳定之后，再决定是否自购服务器。**

---

## 附件（可选，汇报时可口头补充）

- 近 1～3 个月 DeepSeek API 费用与调用量曲线（需业务侧提供）  
- 试点模型评测题集与打分表  
- 阿里云 GPU 规格与报价区间（按当时官网/商务询价更新）  
- 灰度切流与回滚预案  

---

*文档版本：汇报稿 v1 | 策略取向：云上私有化优先，自购二期评估*