commit 1ff99c9fbc2ac88cecc130dbb1a8af0782d255f7 Author: admin <116870791@qq.com> Date: Mon Sep 7 11:21:54 2026 +0800 添加 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..13b17c5 --- /dev/null +++ b/README.md @@ -0,0 +1,219 @@ +# DeepSeek / 千问私有化部署方案(汇报稿) + +**文档用途**:供管理层决策 +**建议结论**:在现有 DeepSeek API 用量较大的前提下,启动私有化推理;**优先采用阿里云 GPU 部署,暂不采购自有服务器**;运行 1~3 个月后根据真实利用率与成本,再评估是否自购硬件。 + +--- + +## 一、背景与问题 + +### 1.1 现状 + +- 业务侧已接入 **DeepSeek API**,能力可用、上线快。 +- 当前用户规模较大,**调用量大、API 费用持续升高**。 +- 推理能力完全依赖外部 API,在**成本可控性、容量规划、服务稳定性、数据与调用链路管控**方面,对业务扩张形成压力。 + +### 1.2 要解决的问题 + +| 问题 | 说明 | +|------|------| +| 成本 | 大流量下按 Token 计费,费用随业务线性上涨,难以封顶 | +| 可控 | 限流、峰值、模型版本切换不完全由己方掌控 | +| 稳定 | 高峰期依赖外部服务可用性 | +| 合规与管控 | 需进一步强化调用链路、日志审计与内网隔离能力(按公司要求落地) | + +### 1.3 本次决策范围 + +本次方案**只决策「大模型推理层」如何私有化**,不改变现有业务系统与知识库/RAG 的主体架构;通过兼容 OpenAI 风格接口,实现从 API 到私有推理的平滑切换。 + +--- + +## 二、建设目标与原则 + +### 2.1 目标 + +1. **降本**:在同等业务量下,使推理成本相对纯 API 可测算、可优化、可封顶。 +2. **可控**:推理服务部署在我方可控环境(优先阿里云 VPC),扩缩容与限流自主。 +3. **稳妥**:先小步验证效果与成本,再决定是否加大投入(含自购服务器)。 +4. **可切换**:保留 API 作为备份或高峰溢流,降低单点风险。 + +### 2.2 原则 + +- **效果达标优先于上满血大模型**:优先选用可稳定支撑业务的开源模型档位,避免一上来上旗舰 MoE。 +- **先云后机**:先阿里云 GPU 验证,再评估自购。 +- **分阶段投入**:试点 → 放量 → 复盘 → 决定是否买机。 +- **业务与数据自管**:应用、知识库、权限与审计仍由我方掌控。 + +--- + +## 三、方案对比(领导决策核心) + +| 维度 | 方案 A:继续纯 API | 方案 B:阿里云 GPU 私有化(推荐) | 方案 C:自购服务器私有化 | +|------|-------------------|----------------------------------|-------------------------| +| 成本形态 | 按量,流量越大越贵 | 包月/按量,可规划上限 | 一次性大额 CapEx + 电费运维 | +| 初期投入 | 低 | 中(租用 GPU) | 高(常达百万级) | +| 上线周期 | 已具备 | 快(通常数周级) | 慢(采购+机房+调通) | +| 扩缩容 | 受厂商配额影响 | 灵活 | 受已购容量限制 | +| 运维复杂度 | 低 | 中 | 高 | +| 硬件贬值风险 | 无 | 无(云侧承担) | 高(GPU 迭代快) | +| 数据与网络管控 | 相对弱 | VPC 内可控,满足多数企业要求 | 物理隔离最强 | +| 适合阶段 | 小流量或过渡 | **当前推荐主路径** | 长期打满且有机房与团队后再议 | +| 综合风险 | 成本失控风险上升 | **最低** | 采购与运维风险最高 | + +### 推荐意见 + +> **采用方案 B:阿里云 GPU 私有化部署开源模型(DeepSeek / 千问体系),作为从 API 迁移的主路径。** +> 方案 A 作为备份与溢流;方案 C 不作为一期选项,纳入二期评估。 + +--- + +## 四、推荐实施路径(分阶段) + +```text +阶段一(试点,4~6 周) + 阿里云 VPC 内部署推理服务(vLLM 等) + → 对接现有业务 / RAG + → 小流量灰度,对比效果与延迟 + +阶段二(放量,1~2 个月) + 按业务峰值扩容 + → 统计 GPU 利用率、月度费用、与原 API 费用对比 + → API 保留为备份 / 高峰溢流 + +阶段三(决策复盘) + 若利用率长期偏高且云成本仍有优化空间 + → 评估包年 / 竞价实例 / 是否自购服务器 + 若负载波动大 + → 继续云上弹性,不急于买机 +``` + +--- + +## 五、技术选型建议(精简) + +### 5.1 模型选型策略 + +| 档位 | 适用 | 说明 | +|------|------|------| +| **推荐试点** | Qwen3.8-27B 或同级 14B~32B;或 DeepSeek 蒸馏版 / V4-Flash 级 | 单机或少量 GPU 即可,中文与企业问答场景性价比高 | +| 增强档 | DeepSeek V4-Flash 等同级 MoE | 推理更强,显存与卡数要求更高 | +| 旗舰档 | DeepSeek V4-Pro / 超大规模 MoE | 效果接近顶级,但成本与运维显著上升,**不建议一期上** | + +说明:开源方面 DeepSeek 已至 **V4** 系列,千问已至 **Qwen3.8** 等;一期以「够用、稳定、可运维」为准,用业务评测集验收,再决定是否升级档位。 + +### 5.2 部署形态 + +- **基础设施**:阿里云 GPU 实例(按业务量选择 1 卡起,不足再扩)。 +- **推理引擎**:vLLM / SGLang 等,对外提供 **OpenAI 兼容 API**。 +- **网络**:部署于公司阿里云 **VPC**,业务内网调用;按需配置安全组、访问密钥、审计日志。 +- **应用侧**:现有调用 DeepSeek API 的代码改为指向私有 Endpoint(改 Base URL / Key 即可),切换成本低。 + +### 5.3 逻辑架构(示意) + +```text +用户 / 业务系统 + │ + ▼ +┌──────────────────┐ +│ 应用 / RAG / 知识库 │ ← 继续自管(权限、语料、审计) +└────────┬─────────┘ + │ 内网调用(OpenAI 兼容) + ▼ +┌──────────────────┐ +│ 阿里云 VPC 推理集群 │ ← 开源模型 + vLLM(一期主路径) +│ (可扩缩容) │ +└────────┬─────────┘ + │ 备份 / 溢流(可选) + ▼ +┌──────────────────┐ +│ DeepSeek 等公有 API │ ← 保留兜底 +└──────────────────┘ +``` + +--- + +## 六、成本说明(汇报口径) + +> 精确数字依赖近 1~3 个月 API 账单与压测结果;以下为**决策用口径**,实施前用真实账单校准。 + +### 6.1 成本结构对比 + +| 项目 | 纯 API | 阿里云 GPU 私有化 | 自购服务器 | +|------|--------|-------------------|------------| +| 主要支出 | Token 费用 | GPU 实例费 + 少量云资源 | 整机采购 + 机房电费 + 运维人力 | +| 费用特点 | 随调用量上升 | 相对固定(可包月) | 前期极高,后期边际低 | +| 回本逻辑 | — | 当月费稳定低于 API 即阶段成功 | 需长期高利用率(常见需 18~36 个月视角) | + +### 6.2 一期(云上)费用关注点 + +- GPU 规格与数量(由并发、上下文长度、模型大小决定)。 +- 是否 7×24;闲时可缩容则更能降本。 +- 存储(模型权重)、带宽、监控等占比较小,主成本在 GPU。 + +### 6.3 与自购的粗算关系(经验法则) + +- 负载**波动大、仍在增长**:云更合算。 +- 集群**长期打满(例如利用率持续很高)且已有机房与运维**:再评估自购。 +- **用量大 ≠ 立即买机合算**;用量大只说明应离开「纯 API」,一期落点仍是云上私有化。 + +### 6.4 建议向财务/领导同步的验收指标 + +1. 私有化后**单位调用成本** vs 原 API。 +2. GPU **平均 / 高峰利用率**。 +3. 业务侧 **成功率、P95 延迟、用户满意度**(或内部评测分)。 + +--- + +## 七、风险与应对 + +| 风险 | 影响 | 应对 | +|------|------|------| +| 开源模型效果不及当前 API | 业务体验下降 | 灰度对比评测;不达标则换更强档或保留 API 主路径 | +| 并发评估不足导致排队 | 高峰变慢 | 压测定容;弹性扩容;API 溢流 | +| 运维能力不足 | 故障恢复慢 | 选型托管/标准镜像;监控告警;保留 API 兜底 | +| 过早自购硬件 | 资金沉淀、卡闲置、换代贬值 | **一期明确不买机**;用 1~3 个月数据再决策 | +| 合规与数据要求升级 | 架构需调整 | VPC、加密、审计预留;极端离线需求单独立项 | + +--- + +## 八、实施计划(建议) + +| 阶段 | 周期(参考) | 主要工作 | 产出 | +|------|--------------|----------|------| +| 准备 | 1 周 | 梳理 API 用量与峰值;确定试点模型与成功标准 | 用量基线、验收标准 | +| 部署 | 1~2 周 | 阿里云 GPU + 推理服务 + 安全与监控 | 可用 Endpoint | +| 对接 | 1 周 | 业务/RAG 灰度切换 | 小流量跑通 | +| 验证 | 2~4 周 | 效果、性能、成本对比 | 对比报告 | +| 放量 | 持续 | 按比例切流;优化规格 | 稳定运行 | +| 复盘 | 试点后 1 次 | 是否扩容、是否包年、是否启动自购评估 | 二期建议 | + +**人员**:业务/产品 1 人(验收)+ 研发 1~2 人(对接与部署)+ 运维/云资源协同;无需一期组建大型机房团队。 + +--- + +## 九、请领导决策的事项 + +1. **同意启动一期**:基于阿里云 GPU 的 DeepSeek/千问开源模型私有化试点。 +2. **同意一期不采购自有 GPU 服务器**;自购纳入二期,依据利用率与成本复盘再议。 +3. **同意保留现有 DeepSeek API 作为备份/溢流**,保证切换期业务连续。 +4. **授权按试点范围申请云资源预算**(具体金额根据选定卡型与并发在立项时详算)。 +5. **明确验收标准**:成本、效果、稳定性三类指标达标后再扩大切流比例。 + +--- + +## 十、一句话结论 + +> **在用户规模与 API 用量已经较大的现实下,私有化有必要;但为控制风险与避免硬件沉没成本,应优先在阿里云上建设可控的私有推理服务,用 1~3 个月真实运行数据证明降本与稳定之后,再决定是否自购服务器。** + +--- + +## 附件(可选,汇报时可口头补充) + +- 近 1~3 个月 DeepSeek API 费用与调用量曲线(需业务侧提供) +- 试点模型评测题集与打分表 +- 阿里云 GPU 规格与报价区间(按当时官网/商务询价更新) +- 灰度切流与回滚预案 + +--- + +*文档版本:汇报稿 v1 | 策略取向:云上私有化优先,自购二期评估* \ No newline at end of file