332 lines
14 KiB
Markdown
332 lines
14 KiB
Markdown
# DeepSeek / 千问私有化部署方案（汇报稿 · 完整版）
|
||
|
||
**建议结论**：在现有 DeepSeek API 用量较大的前提下，启动私有化推理；**一期采用阿里云 GPU + 开源模型（vLLM）部署**；**购买方式优先「包月 / 按量」租用，不采购自有服务器**；运行 1～3 个月后，按利用率与成本复盘，再决定是否包年或自购硬件。
|
||
|
||
> 文中云价格为阿里云公开参考价（约 2026 年口径，含活动价波动），**立项前以官网/商务询价为准**；API 价格以 DeepSeek 官方现行价为准。
|
||
|
||
---
|
||
|
||
## 一、背景与问题
|
||
|
||
### 1.1 现状
|
||
|
||
- 业务已接入 **DeepSeek API**，能力可用、上线快。
|
||
- 用户规模大、调用量大，**API 费用高**；且 DeepSeek 已实行**峰谷定价**并整体上调，高峰时段成本压力更大。
|
||
- 推理完全依赖外部 API，在成本封顶、峰值容量、稳定性、调用链路管控上存在风险。
|
||
|
||
### 1.2 本期要拍板的事
|
||
|
||
1. 是否做私有化推理；
|
||
2. **用什么技术选型**；
|
||
3. **怎么买算力**（云租 vs 自购）；
|
||
4. **怎么部署上线**；
|
||
5. **大概花多少钱**。
|
||
|
||
---
|
||
|
||
## 二、建设目标
|
||
|
||
| 目标 | 说明 |
|
||
|------|------|
|
||
| 降本 | 大流量下相对纯 API 可测算、可封顶 |
|
||
| 可控 | 推理部署在我方阿里云 VPC，扩缩容自主 |
|
||
| 稳妥 | 先云上试点，再决定是否买机 |
|
||
| 可回退 | 保留 DeepSeek API 作备份/高峰溢流 |
|
||
|
||
---
|
||
|
||
## 三、技术选型（明确）
|
||
|
||
### 3.1 总体技术栈
|
||
|
||
| 层级 | 选型 | 说明 |
|
||
|------|------|------|
|
||
| 云平台 | **阿里云**（与现有云账号/VPC 体系对齐） | 一期不自建机房 |
|
||
| 算力 | **弹性 GPU 服务（EGS / GPU 云服务器）** | 见下方卡型 |
|
||
| 操作系统 | **Alibaba Cloud Linux 3 / Ubuntu 22.04** | 官方 GPU 镜像优先 |
|
||
| GPU 驱动 / CUDA | 阿里云 GPU 镜像预装或按卡型匹配 | 减少环境踩坑 |
|
||
| 推理引擎 | **vLLM**（首选）或 SGLang | 高吞吐，OpenAI 兼容 API |
|
||
| 模型获取 | **ModelScope / Hugging Face** | 国内优先 ModelScope 下载 |
|
||
| 对外接口 | **OpenAI Chat Completions 兼容** | 现有业务改 Base URL + Key 即可 |
|
||
| 容器（可选） | Docker / ACK | 试点可先单机 Docker；放量再上编排 |
|
||
| 存储 | **ESSD 云盘**（模型权重）+ OSS（备份可选） | 权重约几十 GB～数百 GB |
|
||
| 网络 | **VPC 内网** + 安全组；业务侧内网调用 | 不公网裸奔 |
|
||
| 监控 | 云监控 + vLLM 指标（QPS、延迟、显存） | 用于定容与复盘 |
|
||
| 兜底 | 现有 **DeepSeek API** | 故障/超峰溢流 |
|
||
|
||
### 3.2 模型选型（分档）
|
||
|
||
| 档位 | 推荐模型 | 参数量级 | 显存需求（约） | 适用 |
|
||
|------|----------|----------|----------------|------|
|
||
| **一期推荐 A** | **Qwen3.8-27B**（或官方 FP8） | 稠密 27B | 单卡 48GB 可舒适运行；24GB 需量化 | 中文企业问答、RAG、客服助手 |
|
||
| **一期推荐 B** | **DeepSeek-R1 蒸馏 14B/32B** 或同级开源对话版 | 14B～32B | 24～48GB（量化） | 更偏推理/复杂分析 |
|
||
| 二期增强 | **DeepSeek-V4-Flash**（开源权重） | MoE 约 284B（激活约 13B） | 多卡（常见 4～8 卡级） | API 效果不够、要更强时 |
|
||
| 旗舰（暂缓） | DeepSeek-V4-Pro / 超大 MoE | 万亿级 | 8 卡高端起 | 成本高，**一期不上** |
|
||
|
||
**一期默认建议：先上「推荐 A（Qwen3.8-27B）」或「推荐 B（32B 级）」单卡/双卡验证**；用业务真实问答集对比现网 DeepSeek API，不达标再升档。
|
||
|
||
### 3.3 卡型选型（阿里云）
|
||
|
||
| 场景 | 推荐卡 | 显存 | 可跑模型（约） | 备注 |
|
||
|------|--------|------|----------------|------|
|
||
| 试点入门 | **A10**（gn7i） | 24GB | 14B 舒适；27B/32B 需量化 | 月费相对低 |
|
||
| **一期主推** | **L20**（gn8is） | **48GB** | **27B/32B FP8/BF16 更稳** | 专为大模型推理 |
|
||
| 放量/更强 | 2× / 4× / 8× L20 | 96～384GB+ | 更大模型或更高并发 | 按压测扩 |
|
||
| 满血 MoE | H20/H100 级多卡（询价） | 单卡 80GB+ | V4-Flash/Pro | 二期再议 |
|
||
|
||
### 3.4 与现有系统对接方式
|
||
|
||
```text
|
||
现有业务 / RAG
|
||
│ 原：调用 DeepSeek 公网 API
|
||
│ 改：BASE_URL → http(s)://内网推理地址/v1
|
||
│ API_KEY → 自建密钥
|
||
▼
|
||
vLLM（OpenAI 兼容）
|
||
│
|
||
▼
|
||
开源模型权重（本机云盘）
|
||
```
|
||
|
||
切换成本低：多数 SDK 只改地址与密钥，业务逻辑不用重写。
|
||
|
||
---
|
||
|
||
## 四、购买方式（怎么买算力）
|
||
|
||
### 4.1 三种买法对比
|
||
|
||
| 方式 | 是什么 | 何时用 | 优点 | 缺点 |
|
||
|------|--------|--------|------|------|
|
||
| **① 按量付费** | 按小时租 GPU，不用可释放 | 联调、压测、前 1～2 周 | 最灵活，试错成本低 | 长期单价高于包月 |
|
||
| **② 包月 / 包年（推荐一期稳态）** | 预留实例时长 | 灰度后 7×24 服务 | 价格稳、好做预算 | 闲置也会扣费 |
|
||
| **③ 自购服务器** | 买物理 GPU 整机进机房/托管 | 利用率长期很高再评估 | 长期打满可能更便宜 | CapEx 高、运维与贬值风险大 |
|
||
|
||
### 4.2 一期购买策略（明确）
|
||
|
||
```text
|
||
第 1 步（1～2 周）：按量付费 1×L20（或 1×A10）
|
||
→ 装环境、拉模型、打通业务
|
||
|
||
第 2 步（试点稳定后）：改为包月 1×L20（主推）
|
||
→ 固定月成本，便于和 API 账单对比
|
||
|
||
第 3 步（放量）：按并发加购为 2× / 4× L20
|
||
→ 仍租用，不买机
|
||
|
||
第 4 步（复盘后可选）：
|
||
→ 云上包年折扣；或立项自购（仅当长期打满）
|
||
```
|
||
|
||
### 4.3 一期明确不做什么
|
||
|
||
- **不采购自有 GPU 服务器**（避免百万级沉没与运维风险）。
|
||
- **不上 8 卡满血旗舰**（除非评测证明 27B/32B 明显不够）。
|
||
|
||
### 4.4 还需一并开通的云资源（小头）
|
||
|
||
| 资源 | 用途 | 量级感知 |
|
||
|------|------|----------|
|
||
| GPU 云服务器 | 推理主成本 | 见第五节 |
|
||
| 系统盘 + 数据盘（ESSD） | 系统与模型权重 | 通常数百元/月级 |
|
||
| VPC / 交换机 / 安全组 | 网络隔离 | 基本可忽略或很低 |
|
||
| （可选）SLB / NAT | 多机负载、出网拉模 | 按需 |
|
||
| （可选）OSS | 权重备份 | 按存储量 |
|
||
|
||
---
|
||
|
||
## 五、价格测算（可汇报数字）
|
||
|
||
### 5.1 现状：DeepSeek API 参考价（2026-08-17 起，峰谷）
|
||
|
||
单位：**元 / 百万 tokens**
|
||
|
||
| 模型 | 时段 | 输入（缓存命中） | 输入（未命中） | 输出 |
|
||
|------|------|------------------|----------------|------|
|
||
| V4-Flash | 高峰 | 0.10 | 3.0 | 9.0 |
|
||
| V4-Flash | 空闲 | 0.05 | 1.5 | 4.5 |
|
||
| V4-Pro | 高峰 | 0.30 | 9.0 | 27.0 |
|
||
| V4-Pro | 空闲 | 0.15 | 4.5 | 13.5 |
|
||
|
||
高峰：**每天 9:00–12:00、14:00–18:00（北京时间）**；其余为空闲（半价）。
|
||
|
||
> 私有化是否更省，取决于你们**月 Token 量**。请用近 1～3 个月账单填入下表做对比。
|
||
|
||
### 5.2 阿里云 GPU 租用参考价（包月，公开资料约数）
|
||
|
||
| 规格（约） | GPU | 参考包月价 | 适合 |
|
||
|------------|-----|------------|------|
|
||
| gn7i（如 32 核 188G） | 1×A10 24GB | **约 3,200～3,300 元/月** | 小模型 / 强量化试点 |
|
||
| gn8is（如 8 核 64G） | **1×L20 48GB** | **约 6,900～7,600 元/月** | **一期主推** |
|
||
| gn8is 双卡档 | 2×L20 | **约 1.5 万～1.6 万元/月** | 并发上升 |
|
||
| gn8is 四卡档 | 4×L20 | **约 3.0 万～3.1 万元/月** | 更高并发 / 更大模型 |
|
||
| gn8is 八卡档 | 8×L20 | **约 5.5 万元/月** | 接近中大型私有化 |
|
||
|
||
说明：
|
||
|
||
- 包年常有折扣（公开资料常见约 **年付 8 折、更长周期更低**，以当时活动为准）。
|
||
- 按量约比长期包月贵约 **20%～30%**，适合短期试验。
|
||
- 以上为**实例费主成本**；云盘等另计，通常远小于 GPU。
|
||
|
||
### 5.3 一期三套「可报价」配置
|
||
|
||
| 方案 | 配置 | 预估月费（GPU 为主） | 能力定位 | 适用 |
|
||
|------|------|----------------------|----------|------|
|
||
| **试点版** | 1×A10 或 1×L20 + vLLM + 27B/32B | **约 0.3～0.8 万** | 打通链路、效果对比 | 立项后第 1 个月 |
|
||
| **标准版（推荐）** | **1×L20** + vLLM + Qwen3.8-27B（或同级） | **约 0.7～1.0 万** | 正式灰度、中小并发 | 多数内部/中等 QuPS |
|
||
| **放量版** | **2×～4×L20** | **约 1.5～3.2 万** | 更高并发或升模型 | API 月费已明显高于此档时 |
|
||
|
||
另备：满血 MoE / 8 卡，**约 5 万+/月** 或更高（H 系列需单独询价）——**不作为一期默认**。
|
||
|
||
### 5.4 自购服务器量级（仅对照，一期不采用）
|
||
|
||
| 项目 | 量级（人民币，粗估） |
|
||
|------|----------------------|
|
||
| 单机 8 卡推理服务器（如 H20 类） | 整机常见 **约 100～150 万+** |
|
||
| 机房电、散热、托管、备件、运维 | 另计，年费用不可忽视 |
|
||
| 回本周期 | 通常需 **长期高利用率 + 18～36 个月** 视角才可能优于云 |
|
||
|
||
### 5.5 和 API 怎么比（给领导的算法）
|
||
|
||
```text
|
||
私有化更划算 ≈ 云 GPU 月费 + 少量云资源
|
||
＜ 当月 DeepSeek API 账单
|
||
且 效果/延迟达标
|
||
```
|
||
|
||
**示例（需替换为真实账单）：**
|
||
|
||
- 假设当前 API **月费 5 万**：上「标准版」约 **0.8 万/月**，理论上省下约 4 万/月（需验证并发是否 1 卡够）。
|
||
- 假设当前 API **月费 1 万**：若 1 卡打不满，可能**省得有限**，但仍换来可控与峰谷涨价对冲；是否上要看战略而非纯价差。
|
||
- 若并发需要 **4×L20（约 3 万/月）**，则当 API 长期 **高于约 3～4 万/月** 时，云私有化更具说服力。
|
||
|
||
> **请财务/业务补充：近月 API 实付金额、日均 Token、高峰 QPS**，即可把上表收成「一页纸测算」。
|
||
|
||
---
|
||
|
||
## 六、怎么部署（落地步骤）
|
||
|
||
### 6.1 架构
|
||
|
||
```text
|
||
用户
|
||
→ 业务系统 / RAG（现有）
|
||
→ 内网调用
|
||
→ SLB（可选，多机时）
|
||
→ GPU 云服务器
|
||
→ Docker + vLLM
|
||
→ 开源模型权重（数据盘）
|
||
→ 失败/超限（可选）
|
||
→ DeepSeek 公网 API（兜底）
|
||
```
|
||
|
||
### 6.2 部署步骤（一期单机标准路径）
|
||
|
||
| 步骤 | 动作 | 产出 |
|
||
|------|------|------|
|
||
| 1 | 开通/确认阿里云账号、VPC、安全组（仅放行业务网段） | 网络就绪 |
|
||
| 2 | 购买 GPU 实例（先按量 1×L20，后改包月） | 机器就绪 |
|
||
| 3 | 选用 GPU 镜像，确认驱动/CUDA | 环境就绪 |
|
||
| 4 | 安装 Docker；拉取 vLLM 推理镜像 | 引擎就绪 |
|
||
| 5 | 从 ModelScope 下载选定模型到数据盘 | 权重就位 |
|
||
| 6 | 启动 vLLM，暴露 `0.0.0.0:8000`（仅 VPC） | `/v1/chat/completions` 可用 |
|
||
| 7 | 配置 API Key / 反向代理（可选 Nginx） | 鉴权 |
|
||
| 8 | 业务改 `BASE_URL`，小流量灰度 | 联调通过 |
|
||
| 9 | 压测（并发、TTFT、吞吐、显存） | 定容报告 |
|
||
| 10 | 监控告警 + 回滚开关（切回官方 API） | 可运维 |
|
||
|
||
### 6.3 关键启动参数（示意，实施时按模型微调）
|
||
|
||
```bash
|
||
# 示意：单卡 L20 部署 OpenAI 兼容服务
|
||
docker run --gpus all -p 8000:8000 \
|
||
vllm/vllm-openai:latest \
|
||
--model /models/Qwen3.8-27B \
|
||
--host 0.0.0.0 \
|
||
--port 8000 \
|
||
--dtype auto \
|
||
--max-model-len 32768 \
|
||
--gpu-memory-utilization 0.90
|
||
```
|
||
|
||
业务侧示例：
|
||
|
||
```text
|
||
原：https://api.deepseek.com
|
||
新：http://<VPC内网IP>:8000/v1
|
||
```
|
||
|
||
### 6.4 验收标准（建议写进立项）
|
||
|
||
| 类型 | 标准（可改） |
|
||
|------|----------------|
|
||
| 效果 | 业务评测集相对现网 API 达到约定分数（如 ≥90% 满意度/准确率） |
|
||
| 性能 | 目标并发下 P95 延迟可接受（由业务定，如 <3s/<5s） |
|
||
| 稳定 | 试点期可用性 ≥ 99%（含 API 兜底策略） |
|
||
| 成本 | 连续 1 个月「云费用 < 原 API 费用」或达到约定降本比例 |
|
||
|
||
### 6.5 回滚
|
||
|
||
- 配置开关：私有 Endpoint ↔ DeepSeek API 一键切换。
|
||
- 私有集群故障时自动/手动溢流到 API，保证业务不停。
|
||
|
||
---
|
||
|
||
## 七、实施计划与分工
|
||
|
||
| 阶段 | 周期 | 工作 | 购买方式 |
|
||
|------|------|------|----------|
|
||
| 准备 | 3～5 天 | 拉 API 账单、定模型与验收标准 | — |
|
||
| 环境 | 3～5 天 | 开 VPC、买 1 卡、装 vLLM | **按量** |
|
||
| 对接灰度 | 1 周 | 改配置、小流量、效果对比 | 按量或转包月 |
|
||
| 压测定容 | 3～5 天 | 确定 1 卡是否够 | — |
|
||
| 正式试点 | 2～4 周 | 放量、盯稳定性与月费 | **包月** |
|
||
| 复盘 | 1 次 | 决定扩容 / 包年 / 是否买机 | 决策 |
|
||
|
||
**人力**：研发 1～2 人（部署+对接）+ 业务 1 人（验收）+ 云账号/运维协同；一期不需要机房团队。
|
||
|
||
---
|
||
|
||
## 八、风险与应对
|
||
|
||
| 风险 | 应对 |
|
||
|------|------|
|
||
| 开源效果不如现网 API | 换更强档模型或多卡；或维持 API 主路径 |
|
||
| 1 卡并发不够 | 扩到 2/4 卡；高峰溢流 API |
|
||
| 云价格/活动变动 | 立项以询价单为准；可签包年锁价 |
|
||
| 过早买物理机 | **一期禁止自购**；用利用率数据决策 |
|
||
| 运维不熟 | 用官方镜像 + Docker；保留 API 兜底 |
|
||
|
||
---
|
||
|
||
## 九、请领导决策的事项
|
||
|
||
1. **同意一期技术选型**：阿里云 GPU + **vLLM** + **Qwen3.8-27B / 同级 32B（或 DeepSeek 蒸馏）**，OpenAI 兼容接入现有业务。
|
||
2. **同意购买方式**：**先按量、后包月租用**；标准配置按 **1×L20（约 0.7～1.0 万/月）** 立项，不够再扩到 2～4 卡。
|
||
3. **同意一期不采购自有 GPU 服务器**。
|
||
4. **同意保留 DeepSeek API 兜底**。
|
||
5. **授权补充近月 API 账单**，一周内出具「API vs 云私有化」一页纸精确对比后放量。
|
||
|
||
---
|
||
|
||
## 十、一句话结论
|
||
|
||
> **技术上**：阿里云 L20 + vLLM + 开源 27B/32B 级模型，OpenAI 兼容对接现网。
|
||
> **购买上**：租不买——先按量试，再包月；暂不自购服务器。
|
||
> **价格上**：标准版大约 **每月 0.7～1 万元起（单卡）**；是否比 API 更省，用近月账单一套算式即可拍板。
|
||
> **部署上**：VPC 内单机 Docker 起服 → 灰度 → 压测 → 包月放量 → 复盘再议扩容或买机。
|
||
|
||
---
|
||
|
||
## 附件：立项信息待填表（发给对方补数）
|
||
|
||
| 项目 | 填写 |
|
||
|------|------|
|
||
| 近 1 个月 DeepSeek API 实付（元） | |
|
||
| 近 1 个月输入/输出 Token 量 | |
|
||
| 高峰 QPS / 是否 7×24 | |
|
||
| 可接受 P95 延迟 | |
|
||
| 是否必须权重不出云厂商 | 是 / 否 |
|
||
| 期望试点上线时间 | |
|
||
|
||
*文档版本：汇报稿 v2（含技术选型 / 购买方式 / 部署 / 价格）* |