DeepSeek / 千问私有化部署方案（汇报稿 · 完整版）
建议结论：在现有 DeepSeek API 用量较大的前提下，启动私有化推理；一期采用阿里云 GPU + 开源模型（vLLM）部署；购买方式优先「包月 / 按量」租用，不采购自有服务器；运行 1～3 个月后，按利用率与成本复盘，再决定是否包年或自购硬件。
文中云价格为阿里云公开参考价（约 2026 年口径，含活动价波动），立项前以官网/商务询价为准；API 价格以 DeepSeek 官方现行价为准。
一、背景与问题
1.1 现状
- 业务已接入 DeepSeek API，能力可用、上线快。
- 用户规模大、调用量大，API 费用高；且 DeepSeek 已实行峰谷定价并整体上调，高峰时段成本压力更大。
- 推理完全依赖外部 API，在成本封顶、峰值容量、稳定性、调用链路管控上存在风险。
1.2 本期要拍板的事
- 是否做私有化推理；
- 用什么技术选型；
- 怎么买算力（云租 vs 自购）；
- 怎么部署上线；
- 大概花多少钱。
二、建设目标
| 目标 | 说明 |
|---|---|
| 降本 | 大流量下相对纯 API 可测算、可封顶 |
| 可控 | 推理部署在我方阿里云 VPC，扩缩容自主 |
| 稳妥 | 先云上试点，再决定是否买机 |
| 可回退 | 保留 DeepSeek API 作备份/高峰溢流 |
三、技术选型（明确）
3.1 总体技术栈
| 层级 | 选型 | 说明 |
|---|---|---|
| 云平台 | 阿里云（与现有云账号/VPC 体系对齐） | 一期不自建机房 |
| 算力 | 弹性 GPU 服务（EGS / GPU 云服务器） | 见下方卡型 |
| 操作系统 | Alibaba Cloud Linux 3 / Ubuntu 22.04 | 官方 GPU 镜像优先 |
| GPU 驱动 / CUDA | 阿里云 GPU 镜像预装或按卡型匹配 | 减少环境踩坑 |
| 推理引擎 | vLLM（首选）或 SGLang | 高吞吐，OpenAI 兼容 API |
| 模型获取 | ModelScope / Hugging Face | 国内优先 ModelScope 下载 |
| 对外接口 | OpenAI Chat Completions 兼容 | 现有业务改 Base URL + Key 即可 |
| 容器（可选） | Docker / ACK | 试点可先单机 Docker；放量再上编排 |
| 存储 | ESSD 云盘（模型权重）+ OSS（备份可选） | 权重约几十 GB～数百 GB |
| 网络 | VPC 内网 + 安全组；业务侧内网调用 | 不公网裸奔 |
| 监控 | 云监控 + vLLM 指标（QPS、延迟、显存） | 用于定容与复盘 |
| 兜底 | 现有 DeepSeek API | 故障/超峰溢流 |
3.2 模型选型（分档）
| 档位 | 推荐模型 | 参数量级 | 显存需求（约） | 适用 |
|---|---|---|---|---|
| 一期推荐 A | Qwen3.8-27B（或官方 FP8） | 稠密 27B | 单卡 48GB 可舒适运行；24GB 需量化 | 中文企业问答、RAG、客服助手 |
| 一期推荐 B | DeepSeek-R1 蒸馏 14B/32B 或同级开源对话版 | 14B～32B | 24～48GB（量化） | 更偏推理/复杂分析 |
| 二期增强 | DeepSeek-V4-Flash（开源权重） | MoE 约 284B（激活约 13B） | 多卡（常见 4～8 卡级） | API 效果不够、要更强时 |
| 旗舰（暂缓） | DeepSeek-V4-Pro / 超大 MoE | 万亿级 | 8 卡高端起 | 成本高，一期不上 |
一期默认建议：先上「推荐 A（Qwen3.8-27B）」或「推荐 B（32B 级）」单卡/双卡验证；用业务真实问答集对比现网 DeepSeek API，不达标再升档。
3.3 卡型选型（阿里云）
| 场景 | 推荐卡 | 显存 | 可跑模型（约） | 备注 |
|---|---|---|---|---|
| 试点入门 | A10（gn7i） | 24GB | 14B 舒适；27B/32B 需量化 | 月费相对低 |
| 一期主推 | L20（gn8is） | 48GB | 27B/32B FP8/BF16 更稳 | 专为大模型推理 |
| 放量/更强 | 2× / 4× / 8× L20 | 96～384GB+ | 更大模型或更高并发 | 按压测扩 |
| 满血 MoE | H20/H100 级多卡（询价） | 单卡 80GB+ | V4-Flash/Pro | 二期再议 |
3.4 与现有系统对接方式
现有业务 / RAG
│ 原：调用 DeepSeek 公网 API
│ 改：BASE_URL → http(s)://内网推理地址/v1
│ API_KEY → 自建密钥
▼
vLLM（OpenAI 兼容）
│
▼
开源模型权重（本机云盘）
切换成本低：多数 SDK 只改地址与密钥，业务逻辑不用重写。
四、购买方式（怎么买算力）
4.1 三种买法对比
| 方式 | 是什么 | 何时用 | 优点 | 缺点 |
|---|---|---|---|---|
| ① 按量付费 | 按小时租 GPU，不用可释放 | 联调、压测、前 1～2 周 | 最灵活，试错成本低 | 长期单价高于包月 |
| ② 包月 / 包年（推荐一期稳态） | 预留实例时长 | 灰度后 7×24 服务 | 价格稳、好做预算 | 闲置也会扣费 |
| ③ 自购服务器 | 买物理 GPU 整机进机房/托管 | 利用率长期很高再评估 | 长期打满可能更便宜 | CapEx 高、运维与贬值风险大 |
4.2 一期购买策略（明确）
第 1 步（1～2 周）：按量付费 1×L20（或 1×A10）
→ 装环境、拉模型、打通业务
第 2 步（试点稳定后）：改为包月 1×L20（主推）
→ 固定月成本，便于和 API 账单对比
第 3 步（放量）：按并发加购为 2× / 4× L20
→ 仍租用，不买机
第 4 步（复盘后可选）：
→ 云上包年折扣；或立项自购（仅当长期打满）
4.3 一期明确不做什么
- 不采购自有 GPU 服务器（避免百万级沉没与运维风险）。
- 不上 8 卡满血旗舰（除非评测证明 27B/32B 明显不够）。
4.4 还需一并开通的云资源（小头）
| 资源 | 用途 | 量级感知 |
|---|---|---|
| GPU 云服务器 | 推理主成本 | 见第五节 |
| 系统盘 + 数据盘（ESSD） | 系统与模型权重 | 通常数百元/月级 |
| VPC / 交换机 / 安全组 | 网络隔离 | 基本可忽略或很低 |
| （可选）SLB / NAT | 多机负载、出网拉模 | 按需 |
| （可选）OSS | 权重备份 | 按存储量 |
五、价格测算（可汇报数字）
5.1 现状：DeepSeek API 参考价（2026-08-17 起，峰谷）
单位：元 / 百万 tokens
| 模型 | 时段 | 输入（缓存命中） | 输入（未命中） | 输出 |
|---|---|---|---|---|
| V4-Flash | 高峰 | 0.10 | 3.0 | 9.0 |
| V4-Flash | 空闲 | 0.05 | 1.5 | 4.5 |
| V4-Pro | 高峰 | 0.30 | 9.0 | 27.0 |
| V4-Pro | 空闲 | 0.15 | 4.5 | 13.5 |
高峰：每天 9:00–12:00、14:00–18:00（北京时间）；其余为空闲（半价）。
私有化是否更省，取决于你们月 Token 量。请用近 1～3 个月账单填入下表做对比。
5.2 阿里云 GPU 租用参考价（包月，公开资料约数）
| 规格（约） | GPU | 参考包月价 | 适合 |
|---|---|---|---|
| gn7i（如 32 核 188G） | 1×A10 24GB | 约 3,200～3,300 元/月 | 小模型 / 强量化试点 |
| gn8is（如 8 核 64G） | 1×L20 48GB | 约 6,900～7,600 元/月 | 一期主推 |
| gn8is 双卡档 | 2×L20 | 约 1.5 万～1.6 万元/月 | 并发上升 |
| gn8is 四卡档 | 4×L20 | 约 3.0 万～3.1 万元/月 | 更高并发 / 更大模型 |
| gn8is 八卡档 | 8×L20 | 约 5.5 万元/月 | 接近中大型私有化 |
说明：
- 包年常有折扣（公开资料常见约 年付 8 折、更长周期更低，以当时活动为准）。
- 按量约比长期包月贵约 20%～30%，适合短期试验。
- 以上为实例费主成本；云盘等另计，通常远小于 GPU。
5.3 一期三套「可报价」配置
| 方案 | 配置 | 预估月费（GPU 为主） | 能力定位 | 适用 |
|---|---|---|---|---|
| 试点版 | 1×A10 或 1×L20 + vLLM + 27B/32B | 约 0.3～0.8 万 | 打通链路、效果对比 | 立项后第 1 个月 |
| 标准版（推荐） | 1×L20 + vLLM + Qwen3.8-27B（或同级） | 约 0.7～1.0 万 | 正式灰度、中小并发 | 多数内部/中等 QuPS |
| 放量版 | 2×～4×L20 | 约 1.5～3.2 万 | 更高并发或升模型 | API 月费已明显高于此档时 |
另备：满血 MoE / 8 卡，约 5 万+/月 或更高（H 系列需单独询价）——不作为一期默认。
5.4 自购服务器量级（仅对照，一期不采用）
| 项目 | 量级（人民币，粗估） |
|---|---|
| 单机 8 卡推理服务器（如 H20 类） | 整机常见 约 100～150 万+ |
| 机房电、散热、托管、备件、运维 | 另计，年费用不可忽视 |
| 回本周期 | 通常需 长期高利用率 + 18～36 个月 视角才可能优于云 |
5.5 和 API 怎么比（给领导的算法）
私有化更划算 ≈ 云 GPU 月费 + 少量云资源
＜ 当月 DeepSeek API 账单
且 效果/延迟达标
示例（需替换为真实账单）：
- 假设当前 API 月费 5 万：上「标准版」约 0.8 万/月，理论上省下约 4 万/月（需验证并发是否 1 卡够）。
- 假设当前 API 月费 1 万：若 1 卡打不满，可能省得有限，但仍换来可控与峰谷涨价对冲；是否上要看战略而非纯价差。
- 若并发需要 4×L20（约 3 万/月），则当 API 长期 高于约 3～4 万/月 时，云私有化更具说服力。
请财务/业务补充：近月 API 实付金额、日均 Token、高峰 QPS，即可把上表收成「一页纸测算」。
六、怎么部署（落地步骤）
6.1 架构
用户
→ 业务系统 / RAG（现有）
→ 内网调用
→ SLB（可选，多机时）
→ GPU 云服务器
→ Docker + vLLM
→ 开源模型权重（数据盘）
→ 失败/超限（可选）
→ DeepSeek 公网 API（兜底）
6.2 部署步骤（一期单机标准路径）
| 步骤 | 动作 | 产出 |
|---|---|---|
| 1 | 开通/确认阿里云账号、VPC、安全组（仅放行业务网段） | 网络就绪 |
| 2 | 购买 GPU 实例（先按量 1×L20，后改包月） | 机器就绪 |
| 3 | 选用 GPU 镜像，确认驱动/CUDA | 环境就绪 |
| 4 | 安装 Docker；拉取 vLLM 推理镜像 | 引擎就绪 |
| 5 | 从 ModelScope 下载选定模型到数据盘 | 权重就位 |
| 6 | 启动 vLLM，暴露 0.0.0.0:8000（仅 VPC） |
/v1/chat/completions 可用 |
| 7 | 配置 API Key / 反向代理（可选 Nginx） | 鉴权 |
| 8 | 业务改 BASE_URL，小流量灰度 |
联调通过 |
| 9 | 压测（并发、TTFT、吞吐、显存） | 定容报告 |
| 10 | 监控告警 + 回滚开关（切回官方 API） | 可运维 |
6.3 关键启动参数（示意，实施时按模型微调）
# 示意：单卡 L20 部署 OpenAI 兼容服务
docker run --gpus all -p 8000:8000 \
vllm/vllm-openai:latest \
--model /models/Qwen3.8-27B \
--host 0.0.0.0 \
--port 8000 \
--dtype auto \
--max-model-len 32768 \
--gpu-memory-utilization 0.90
业务侧示例：
原：https://api.deepseek.com
新：http://<VPC内网IP>:8000/v1
6.4 验收标准（建议写进立项）
| 类型 | 标准（可改） |
|---|---|
| 效果 | 业务评测集相对现网 API 达到约定分数（如 ≥90% 满意度/准确率） |
| 性能 | 目标并发下 P95 延迟可接受（由业务定，如 <3s/<5s） |
| 稳定 | 试点期可用性 ≥ 99%（含 API 兜底策略） |
| 成本 | 连续 1 个月「云费用 < 原 API 费用」或达到约定降本比例 |
6.5 回滚
- 配置开关：私有 Endpoint ↔ DeepSeek API 一键切换。
- 私有集群故障时自动/手动溢流到 API，保证业务不停。
七、实施计划与分工
| 阶段 | 周期 | 工作 | 购买方式 |
|---|---|---|---|
| 准备 | 3～5 天 | 拉 API 账单、定模型与验收标准 | — |
| 环境 | 3～5 天 | 开 VPC、买 1 卡、装 vLLM | 按量 |
| 对接灰度 | 1 周 | 改配置、小流量、效果对比 | 按量或转包月 |
| 压测定容 | 3～5 天 | 确定 1 卡是否够 | — |
| 正式试点 | 2～4 周 | 放量、盯稳定性与月费 | 包月 |
| 复盘 | 1 次 | 决定扩容 / 包年 / 是否买机 | 决策 |
人力：研发 1～2 人（部署+对接）+ 业务 1 人（验收）+ 云账号/运维协同；一期不需要机房团队。
八、风险与应对
| 风险 | 应对 |
|---|---|
| 开源效果不如现网 API | 换更强档模型或多卡；或维持 API 主路径 |
| 1 卡并发不够 | 扩到 2/4 卡；高峰溢流 API |
| 云价格/活动变动 | 立项以询价单为准；可签包年锁价 |
| 过早买物理机 | 一期禁止自购；用利用率数据决策 |
| 运维不熟 | 用官方镜像 + Docker；保留 API 兜底 |
九、请领导决策的事项
- 同意一期技术选型：阿里云 GPU + vLLM + Qwen3.8-27B / 同级 32B（或 DeepSeek 蒸馏），OpenAI 兼容接入现有业务。
- 同意购买方式：先按量、后包月租用；标准配置按 1×L20（约 0.7～1.0 万/月） 立项，不够再扩到 2～4 卡。
- 同意一期不采购自有 GPU 服务器。
- 同意保留 DeepSeek API 兜底。
- 授权补充近月 API 账单，一周内出具「API vs 云私有化」一页纸精确对比后放量。
十、一句话结论
技术上：阿里云 L20 + vLLM + 开源 27B/32B 级模型，OpenAI 兼容对接现网。
购买上：租不买——先按量试，再包月；暂不自购服务器。
价格上：标准版大约 每月 0.7～1 万元起（单卡）；是否比 API 更省，用近月账单一套算式即可拍板。
部署上：VPC 内单机 Docker 起服 → 灰度 → 压测 → 包月放量 → 复盘再议扩容或买机。
附件：立项信息待填表（发给对方补数）
| 项目 | 填写 |
|---|---|
| 近 1 个月 DeepSeek API 实付（元） | |
| 近 1 个月输入/输出 Token 量 | |
| 高峰 QPS / 是否 7×24 | |
| 可接受 P95 延迟 | |
| 是否必须权重不出云厂商 | 是 / 否 |
| 期望试点上线时间 |
文档版本：汇报稿 v2（含技术选型 / 购买方式 / 部署 / 价格）