219 lines
10 KiB
Markdown
219 lines
10 KiB
Markdown
# DeepSeek / 千问私有化部署方案（汇报稿）
|
||
|
||
**文档用途**：供管理层决策
|
||
**建议结论**：在现有 DeepSeek API 用量较大的前提下，启动私有化推理；**优先采用阿里云 GPU 部署，暂不采购自有服务器**；运行 1～3 个月后根据真实利用率与成本，再评估是否自购硬件。
|
||
|
||
---
|
||
|
||
## 一、背景与问题
|
||
|
||
### 1.1 现状
|
||
|
||
- 业务侧已接入 **DeepSeek API**，能力可用、上线快。
|
||
- 当前用户规模较大，**调用量大、API 费用持续升高**。
|
||
- 推理能力完全依赖外部 API，在**成本可控性、容量规划、服务稳定性、数据与调用链路管控**方面，对业务扩张形成压力。
|
||
|
||
### 1.2 要解决的问题
|
||
|
||
| 问题 | 说明 |
|
||
|------|------|
|
||
| 成本 | 大流量下按 Token 计费，费用随业务线性上涨，难以封顶 |
|
||
| 可控 | 限流、峰值、模型版本切换不完全由己方掌控 |
|
||
| 稳定 | 高峰期依赖外部服务可用性 |
|
||
| 合规与管控 | 需进一步强化调用链路、日志审计与内网隔离能力（按公司要求落地） |
|
||
|
||
### 1.3 本次决策范围
|
||
|
||
本次方案**只决策「大模型推理层」如何私有化**，不改变现有业务系统与知识库/RAG 的主体架构；通过兼容 OpenAI 风格接口，实现从 API 到私有推理的平滑切换。
|
||
|
||
---
|
||
|
||
## 二、建设目标与原则
|
||
|
||
### 2.1 目标
|
||
|
||
1. **降本**：在同等业务量下，使推理成本相对纯 API 可测算、可优化、可封顶。
|
||
2. **可控**：推理服务部署在我方可控环境（优先阿里云 VPC），扩缩容与限流自主。
|
||
3. **稳妥**：先小步验证效果与成本，再决定是否加大投入（含自购服务器）。
|
||
4. **可切换**：保留 API 作为备份或高峰溢流，降低单点风险。
|
||
|
||
### 2.2 原则
|
||
|
||
- **效果达标优先于上满血大模型**：优先选用可稳定支撑业务的开源模型档位，避免一上来上旗舰 MoE。
|
||
- **先云后机**：先阿里云 GPU 验证，再评估自购。
|
||
- **分阶段投入**：试点 → 放量 → 复盘 → 决定是否买机。
|
||
- **业务与数据自管**：应用、知识库、权限与审计仍由我方掌控。
|
||
|
||
---
|
||
|
||
## 三、方案对比（领导决策核心）
|
||
|
||
| 维度 | 方案 A：继续纯 API | 方案 B：阿里云 GPU 私有化（推荐） | 方案 C：自购服务器私有化 |
|
||
|------|-------------------|----------------------------------|-------------------------|
|
||
| 成本形态 | 按量，流量越大越贵 | 包月/按量，可规划上限 | 一次性大额 CapEx + 电费运维 |
|
||
| 初期投入 | 低 | 中（租用 GPU） | 高（常达百万级） |
|
||
| 上线周期 | 已具备 | 快（通常数周级） | 慢（采购+机房+调通） |
|
||
| 扩缩容 | 受厂商配额影响 | 灵活 | 受已购容量限制 |
|
||
| 运维复杂度 | 低 | 中 | 高 |
|
||
| 硬件贬值风险 | 无 | 无（云侧承担） | 高（GPU 迭代快） |
|
||
| 数据与网络管控 | 相对弱 | VPC 内可控，满足多数企业要求 | 物理隔离最强 |
|
||
| 适合阶段 | 小流量或过渡 | **当前推荐主路径** | 长期打满且有机房与团队后再议 |
|
||
| 综合风险 | 成本失控风险上升 | **最低** | 采购与运维风险最高 |
|
||
|
||
### 推荐意见
|
||
|
||
> **采用方案 B：阿里云 GPU 私有化部署开源模型（DeepSeek / 千问体系），作为从 API 迁移的主路径。**
|
||
> 方案 A 作为备份与溢流；方案 C 不作为一期选项，纳入二期评估。
|
||
|
||
---
|
||
|
||
## 四、推荐实施路径（分阶段）
|
||
|
||
```text
|
||
阶段一（试点，4～6 周）
|
||
阿里云 VPC 内部署推理服务（vLLM 等）
|
||
→ 对接现有业务 / RAG
|
||
→ 小流量灰度，对比效果与延迟
|
||
|
||
阶段二（放量，1～2 个月）
|
||
按业务峰值扩容
|
||
→ 统计 GPU 利用率、月度费用、与原 API 费用对比
|
||
→ API 保留为备份 / 高峰溢流
|
||
|
||
阶段三（决策复盘）
|
||
若利用率长期偏高且云成本仍有优化空间
|
||
→ 评估包年 / 竞价实例 / 是否自购服务器
|
||
若负载波动大
|
||
→ 继续云上弹性，不急于买机
|
||
```
|
||
|
||
---
|
||
|
||
## 五、技术选型建议（精简）
|
||
|
||
### 5.1 模型选型策略
|
||
|
||
| 档位 | 适用 | 说明 |
|
||
|------|------|------|
|
||
| **推荐试点** | Qwen3.8-27B 或同级 14B～32B；或 DeepSeek 蒸馏版 / V4-Flash 级 | 单机或少量 GPU 即可，中文与企业问答场景性价比高 |
|
||
| 增强档 | DeepSeek V4-Flash 等同级 MoE | 推理更强，显存与卡数要求更高 |
|
||
| 旗舰档 | DeepSeek V4-Pro / 超大规模 MoE | 效果接近顶级，但成本与运维显著上升，**不建议一期上** |
|
||
|
||
说明：开源方面 DeepSeek 已至 **V4** 系列，千问已至 **Qwen3.8** 等；一期以「够用、稳定、可运维」为准，用业务评测集验收，再决定是否升级档位。
|
||
|
||
### 5.2 部署形态
|
||
|
||
- **基础设施**：阿里云 GPU 实例（按业务量选择 1 卡起，不足再扩）。
|
||
- **推理引擎**：vLLM / SGLang 等，对外提供 **OpenAI 兼容 API**。
|
||
- **网络**：部署于公司阿里云 **VPC**，业务内网调用；按需配置安全组、访问密钥、审计日志。
|
||
- **应用侧**：现有调用 DeepSeek API 的代码改为指向私有 Endpoint（改 Base URL / Key 即可），切换成本低。
|
||
|
||
### 5.3 逻辑架构（示意）
|
||
|
||
```text
|
||
用户 / 业务系统
|
||
│
|
||
▼
|
||
┌──────────────────┐
|
||
│ 应用 / RAG / 知识库 │ ← 继续自管（权限、语料、审计）
|
||
└────────┬─────────┘
|
||
│ 内网调用（OpenAI 兼容）
|
||
▼
|
||
┌──────────────────┐
|
||
│ 阿里云 VPC 推理集群 │ ← 开源模型 + vLLM（一期主路径）
|
||
│ （可扩缩容） │
|
||
└────────┬─────────┘
|
||
│ 备份 / 溢流（可选）
|
||
▼
|
||
┌──────────────────┐
|
||
│ DeepSeek 等公有 API │ ← 保留兜底
|
||
└──────────────────┘
|
||
```
|
||
|
||
---
|
||
|
||
## 六、成本说明（汇报口径）
|
||
|
||
> 精确数字依赖近 1～3 个月 API 账单与压测结果；以下为**决策用口径**，实施前用真实账单校准。
|
||
|
||
### 6.1 成本结构对比
|
||
|
||
| 项目 | 纯 API | 阿里云 GPU 私有化 | 自购服务器 |
|
||
|------|--------|-------------------|------------|
|
||
| 主要支出 | Token 费用 | GPU 实例费 + 少量云资源 | 整机采购 + 机房电费 + 运维人力 |
|
||
| 费用特点 | 随调用量上升 | 相对固定（可包月） | 前期极高，后期边际低 |
|
||
| 回本逻辑 | — | 当月费稳定低于 API 即阶段成功 | 需长期高利用率（常见需 18～36 个月视角） |
|
||
|
||
### 6.2 一期（云上）费用关注点
|
||
|
||
- GPU 规格与数量（由并发、上下文长度、模型大小决定）。
|
||
- 是否 7×24；闲时可缩容则更能降本。
|
||
- 存储（模型权重）、带宽、监控等占比较小，主成本在 GPU。
|
||
|
||
### 6.3 与自购的粗算关系（经验法则）
|
||
|
||
- 负载**波动大、仍在增长**：云更合算。
|
||
- 集群**长期打满（例如利用率持续很高）且已有机房与运维**：再评估自购。
|
||
- **用量大 ≠ 立即买机合算**；用量大只说明应离开「纯 API」，一期落点仍是云上私有化。
|
||
|
||
### 6.4 建议向财务/领导同步的验收指标
|
||
|
||
1. 私有化后**单位调用成本** vs 原 API。
|
||
2. GPU **平均 / 高峰利用率**。
|
||
3. 业务侧 **成功率、P95 延迟、用户满意度**（或内部评测分）。
|
||
|
||
---
|
||
|
||
## 七、风险与应对
|
||
|
||
| 风险 | 影响 | 应对 |
|
||
|------|------|------|
|
||
| 开源模型效果不及当前 API | 业务体验下降 | 灰度对比评测；不达标则换更强档或保留 API 主路径 |
|
||
| 并发评估不足导致排队 | 高峰变慢 | 压测定容；弹性扩容；API 溢流 |
|
||
| 运维能力不足 | 故障恢复慢 | 选型托管/标准镜像；监控告警；保留 API 兜底 |
|
||
| 过早自购硬件 | 资金沉淀、卡闲置、换代贬值 | **一期明确不买机**；用 1～3 个月数据再决策 |
|
||
| 合规与数据要求升级 | 架构需调整 | VPC、加密、审计预留；极端离线需求单独立项 |
|
||
|
||
---
|
||
|
||
## 八、实施计划（建议）
|
||
|
||
| 阶段 | 周期（参考） | 主要工作 | 产出 |
|
||
|------|--------------|----------|------|
|
||
| 准备 | 1 周 | 梳理 API 用量与峰值；确定试点模型与成功标准 | 用量基线、验收标准 |
|
||
| 部署 | 1～2 周 | 阿里云 GPU + 推理服务 + 安全与监控 | 可用 Endpoint |
|
||
| 对接 | 1 周 | 业务/RAG 灰度切换 | 小流量跑通 |
|
||
| 验证 | 2～4 周 | 效果、性能、成本对比 | 对比报告 |
|
||
| 放量 | 持续 | 按比例切流；优化规格 | 稳定运行 |
|
||
| 复盘 | 试点后 1 次 | 是否扩容、是否包年、是否启动自购评估 | 二期建议 |
|
||
|
||
**人员**：业务/产品 1 人（验收）+ 研发 1～2 人（对接与部署）+ 运维/云资源协同；无需一期组建大型机房团队。
|
||
|
||
---
|
||
|
||
## 九、请领导决策的事项
|
||
|
||
1. **同意启动一期**：基于阿里云 GPU 的 DeepSeek/千问开源模型私有化试点。
|
||
2. **同意一期不采购自有 GPU 服务器**；自购纳入二期，依据利用率与成本复盘再议。
|
||
3. **同意保留现有 DeepSeek API 作为备份/溢流**，保证切换期业务连续。
|
||
4. **授权按试点范围申请云资源预算**（具体金额根据选定卡型与并发在立项时详算）。
|
||
5. **明确验收标准**：成本、效果、稳定性三类指标达标后再扩大切流比例。
|
||
|
||
---
|
||
|
||
## 十、一句话结论
|
||
|
||
> **在用户规模与 API 用量已经较大的现实下，私有化有必要；但为控制风险与避免硬件沉没成本，应优先在阿里云上建设可控的私有推理服务，用 1～3 个月真实运行数据证明降本与稳定之后，再决定是否自购服务器。**
|
||
|
||
---
|
||
|
||
## 附件（可选，汇报时可口头补充）
|
||
|
||
- 近 1～3 个月 DeepSeek API 费用与调用量曲线（需业务侧提供）
|
||
- 试点模型评测题集与打分表
|
||
- 阿里云 GPU 规格与报价区间（按当时官网/商务询价更新）
|
||
- 灰度切流与回滚预案
|
||
|
||
---
|
||
|
||
*文档版本：汇报稿 v1 | 策略取向：云上私有化优先，自购二期评估* |