shengteng/README.md

# 昇腾（Ascend）部署实战 — 技术培训交付说明

> **文档读者**：授课老师、课程顾问、现场助教  
> **培训形式**：上海线下面授（工作日）  
> **计划周期**：2 天（第 1 ~ 2 天均为全天）

---

## 一、项目背景

### 1.1 培训缘起

客户计划 **8 月初** 在上海组织一场 **2 天** 的昇腾部署专项研修。项目级别较高，参训人员以具备 AI / 平台 / 运维背景的技术骨干为主，目标是完成从「了解昇腾」到「能在生产环境独立完成部署与排障」的跨越。

本课程聚焦 **昇腾 AI 算力平台的工程化部署**，而非算法理论或模型训练入门。整体能力链路如下：

```
昇腾生态认知（硬件 + 软件栈） → 单节点部署与验证 → 模型转换与推理服务 → 多卡 / 集群与生产运维
```

与通用 GPU（CUDA）部署路径存在显著差异：驱动与固件、CANN 工具链、ATC 模型转换、NPU 资源调度、MindIE 推理框架等环节均需单独掌握。学员需要一位**有头部企业昇腾落地经验、且能带实验室实操**的老师，而非仅熟悉 PPT 的产品宣讲型讲师。

### 1.2 培训目标

学完后，学员应能：

1. **生态侧**：说清 Atlas 硬件系列、CANN / MindSpore / 推理组件的分工，能完成版本配套选型。
2. **部署侧**：在 Linux 环境独立完成驱动、固件、CANN、Docker 镜像的部署与基础验收。
3. **模型侧**：完成至少一种主流格式（如 ONNX / PyTorch）到昇腾 OM 模型的转换，并跑通推理。
4. **服务侧**：搭建基础推理服务（如 MindIE / 自定义 Serving），理解批处理、并发与 NPU 利用率调优思路。
5. **运维侧**：掌握多卡 / 简单集群部署要点、监控指标、常见故障定位方法。
6. **综合**：完成一个 **端到端部署实作**（环境 → 转换 → 推理 → 压测 → 排障记录），可带回单位复现。

### 1.3 时间与场地

| 项目 | 说明 |
|------|------|
| 地点 | 上海（线下面授，工作日） |
| 计划开课 | 8 月初（具体日期以最终通知为准） |
| 规模 | 约 20 ~ 40 人（按机房席位与 NPU 资源最终确认） |
| 日程 | **第 1 ~ 2 天均为 09:00–12:00、13:30–17:30** |

**每日时段约定（每天 7 学时，2 天共 14 学时）：**

| 时段 | 时间 | 时长 |
|------|------|------|
| 上午 | 09:00 – 12:00 | 3 h（含 09:45 左右 10 min 茶歇） |
| 下午 | 13:30 – 17:30 | 4 h（含 15:30 左右 15 min 茶歇） |

---

## 二、学员画像与能力假设

### 2.1 典型角色

- AI 平台 / MLOps 工程师
- 推理服务、模型部署、算法工程化岗位
- 云计算 / 容器 / K8s 平台运维与开发
- 大数据或中台团队中的 AI 算力接口人
- 部分 Tech Lead / 架构师（需参与昇腾选型与 PoC 决策）

### 2.2 已具备的能力（默认前提）

| 领域 | 假设 |
|------|------|
| 操作系统 | 熟悉 Linux 常用命令、SSH、日志排查 |
| 编程 | 能读 / 写 Python；能看懂 Shell 脚本 |
| AI 基础 | 了解深度学习推理流程（输入 → 前向 → 输出），不要求推导公式 |
| 容器 | 了解 Docker 基本概念与常用操作 |
| 工作年限 | 多数有 2 ~ 5 年以上相关技术经验 |

### 2.3 相对薄弱、需本课补强的部分

- 昇腾 **Atlas 硬件体系** 与 GPU 架构差异
- **CANN** 工具链（驱动、固件、Toolkit、NNRT / NNRT Lite 等）的安装与版本配套
- **ATC** 模型转换、算子适配、精度 / 性能权衡
- **NPU** 资源分配、多卡通信、集群调度
- 昇腾生态下的 **推理服务化**（MindIE 等）与生产监控
- 从 CUDA 迁移到 Ascend 的 **常见坑与排查路径**

### 2.4 授课调优建议

- **少讲**：深度学习原理、MindSpore 训练 API 大全、纯产品介绍  
- **多讲**：版本矩阵、部署架构图、命令行实操、日志与报错、生产案例  
- **必做**：每天至少 **2 ~ 3 个实验** + 第 2 天下午 **综合 Capstone**；实验失败本身就是排障训练  
- **环境**：优先使用**课前预置好的镜像 / 机器**，现场只做增量配置，避免半天耗在安装上  

开课前建议发 **5 分钟课前问卷**：是否接触过昇腾、现有 GPU / 国产化算力栈、目标部署模型类型、是否自带笔记本等。

---

## 三、课程总览

| 天数 | 时段 | 主题 | 学时 |
|------|------|------|------|
| 第 1 天 | 09:00–12:00 | 昇腾生态与 Atlas 硬件；CANN 软件栈全景 | 3 h |
| 第 1 天 | 13:30–17:30 | 单节点环境部署与首个推理跑通（实验日） | 4 h |
| 第 2 天 | 09:00–12:00 | 模型转换、推理服务化与性能调优 | 3 h |
| 第 2 天 | 13:30–17:30 | 多卡 / 集群部署、运维排障与综合实作 | 4 h |
| **合计** | | | **14 h** |

---

## 四、分模块大纲（含案例与实作）

### 模块一 · 第 1 天上午 · 昇腾生态与部署架构（3 h）

**模块目标**：建立昇腾全栈认知；能读懂版本配套表与部署架构图。

| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 09:00–09:20 | 开场：国产化 AI 算力背景；昇腾在整体 AI 基础设施中的位置 | 讲授 | 与 GPU 路径对比 1 页 |
| 09:20–09:55 | **Atlas 硬件体系**：训练 / 推理卡、服务器、集群形态；选型要点 | 讲授 + 架构图 | 910 / 310 等系列对照 |
| 09:55–10:35 | **CANN 软件栈全景**：驱动、固件、Toolkit、算子库、推理引擎、容器镜像 | 讲授 | 给「组件—职责—依赖」对照表 |
| 10:35–10:45 | 茶歇 | | |
| 10:45–11:20 | **案例**：头部企业昇腾 PoC → 生产上线路径（环境、网络、权限、变更流程） | 案例 | 可脱敏；强调工程而非算法 |
| 11:20–11:50 | 部署架构模式：裸机 / Docker / K8s；与现有 MLOps 流水线对接 | 讲授 | 给参考架构图 |
| 11:50–12:00 | 第 1 天下午实验须知；环境账号 / 镜像说明 | 实操预告 | 发放实验手册 Chapter 1 |

**本模块学员产出**：每人一份《昇腾版本配套自检表》（硬件型号 × CANN × 驱动 × 镜像）。

**老师需准备的案例材料**：
- 至少 1 套企业级昇腾部署架构图（含网络、存储、调度）
- 版本配套矩阵（可引用官方文档 + 老师踩坑补充）
- PoC → 生产的里程碑 checklist（脱敏）

---

### 模块二 · 第 1 天下午 · 单节点部署与首个推理（4 h）

**模块目标**：独立完成单节点环境部署；跑通第一个 OM 模型推理。

| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 13:30–14:00 | 部署前置：OS 要求、权限、网络、磁盘；与 GPU 环境差异 | 讲授 | |
| 14:00–14:40 | **实验 1**：驱动 + 固件 + CANN Toolkit 安装与 `npu-smi` 验收 | 上机实验 | 助教巡场；准备 FAQ 卡 |
| 14:40–15:15 | **实验 2**：拉取 / 构建昇腾 Docker 镜像；容器内 NPU 挂载验证 | 上机实验 | 优先用预置镜像 |
| 15:15–15:30 | 茶歇 | | |
| 15:30–16:10 | **实验 3**：使用样例模型（如 ResNet / YOLO 轻量版）完成 ATC 转换 + 推理 | 上机实验 | 提供样例权重与脚本 |
| 16:10–16:45 | 常见安装 / 运行报错 Top 10 与排查思路（日志位置、权限、版本不匹配） | 讲授 + 演示 | 可故意演示 1 ~ 2 个典型错误 |
| 16:45–17:20 | 学员互查实验结果；老师集中答疑「卡点榜」 | 研讨 | 记录共性问题 |
| 17:20–17:30 | 第 1 天小结；布置第 2 天预习（指定待部署模型类型） | 小结 | |

**本模块学员产出**：
- 实验验收截图或命令输出（`npu-smi`、推理 latency）
- 个人《Day1 排障笔记》模板（问题 — 现象 — 原因 — 解决）

**实验环境要求（开课前 5 天确认）**：

| 项 | 建议 |
|----|------|
| 机器 | Atlas 推理卡服务器或云昇腾实例；比例约 **1 台 / 2 ~ 3 人** |
| 系统 | 已验证的 EulerOS / Ubuntu + 配套驱动版本 |
| 预置 | 镜像含 CANN、样例模型、实验脚本；现场只做增量 |
| 网络 | 可访问镜像仓库；学员 SSH 或 Web IDE |
| 备份 | 1 套「干净环境」快照，供学员搞坏后快速恢复 |

---

### 模块三 · 第 2 天上午 · 模型转换、推理服务与性能调优（3 h）

**模块目标**：掌握模型转换关键参数；搭建基础推理服务并完成简单压测。

| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 09:00–09:30 | 模型转换深讲：ATC 流程、输入 shape、精度（FP16 / INT8）、动态 batch | 讲授 | 与 ONNX / PyTorch 导出衔接 |
| 09:30–10:05 | **实验 4**：学员自带 / 指定业务模型完成转换（或继续 Day1 模型深化） | 上机实验 | 提供 fallback 样例模型 |
| 10:05–10:15 | 茶歇 | | |
| 10:15–10:50 | 推理服务化：**MindIE**（或等价方案）架构、API 封装、批处理与并发 | 讲授 + Demo | 给请求—响应时序图 |
| 10:50–11:25 | **实验 5**：启动推理服务 + `curl` / 小脚本调用 + 简单 QPS / 延迟观测 | 上机实验 | |
| 11:25–12:00 | 性能调优入门：NPU 利用率、内存、batch size、多线程；**案例**：优化前后对比 | 案例 + 讲授 | 有 benchmark 数字最佳 |

**本模块学员产出**：
- 一份可运行的 OM 模型 + 转换命令记录
- 推理服务调用样例与 baseline 性能数据（latency / throughput）

**老师需准备的案例材料**：
- 1 个「转换失败 → 定位算子 → 改图 → 成功」完整案例
- 1 个推理服务性能优化前后对比（图表脱敏）
- MindIE / Serving 最小可运行 Demo 包

---

### 模块四 · 第 2 天下午 · 多卡 / 集群、运维排障与综合 Capstone（4 h）

**模块目标**：了解规模化部署要点；完成端到端 Capstone 并输出部署 Runbook。

| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 13:30–14:05 | 多 NPU / 多节点：卡间通信、分布式推理概念、K8s + 昇腾设备插件概览 | 讲授 | 不要求现场搭完整集群 |
| 14:05–14:40 | **案例**：企业生产环境监控指标、告警、变更与回滚（昇腾特有项） | 案例 | 日志、`npu-smi`、CANN 日志 |
| 14:40–15:15 | 排障工作坊：分组领取「故障工单」（版本不匹配 / OOM / 算子不支持 / 服务超时） | 分组实作 | 老师准备 4 ~ 6 套工单 |
| 15:15–15:30 | 茶歇 | | |
| 15:30–16:50 | **Capstone 综合实作**：端到端部署 mini 项目<br>环境检查 → 模型转换 → 服务启动 → 压测 → 写 Runbook | 分组 Capstone | 可与客户实际模型场景挂钩 |
| 16:50–17:15 | 小组 5 min 演示 + 老师点评（部署完整性、性能、文档质量） | 汇报 | |
| 17:15–17:30 | 两天总结；后续学习路径（认证、社区、升级策略）；Q&A | 总结 | 发放 Runbook 模板 |

**Capstone 建议场景（择一或组合）**：

1. **视觉类**：目标检测 / 图像分类模型部署 + API 服务  
2. **NLP 类**：文本分类 / 轻量 LLM 推理服务（按 NPU 显存条件选模型）  
3. **客户定制**：客户提供脱敏模型 + 约束（需提前 2 周评审可行性）  

**本模块学员产出**：
- 每组一份《昇腾部署 Runbook》（环境、命令、验收标准、回滚步骤）
- 可选：Capstone 演示录屏或 Postman 集合

---

## 五、两天实验与案例汇总

| 天数 | 实验 / 案例 | 类型 | 带走产出 |
|------|-------------|------|----------|
| Day 1 上午 | 企业 PoC → 生产路径 | 案例 | 版本配套自检表 |
| Day 1 下午 | 实验 1 ~ 3：环境 + 容器 + 首推理 | 上机 | 排障笔记 |
| Day 2 上午 | 实验 4 ~ 5：转换 + 推理服务 + 压测 | 上机 | OM 模型 + 性能 baseline |
| Day 2 下午 | 故障工单 + Capstone | 案例 + 综合实作 | 部署 Runbook |

**实训设计原则**：

1. **实验成功率优先**：课前镜像预置，现场时间留给「理解与排障」，不是从零编译。  
2. **每个实验有明确验收标准**（命令输出 / 指标阈值），助教按 checklist 盖章。  
3. **故意保留排障环节**：Day 1 报错 Top 10、Day 2 故障工单，培养生产环境能力。  
4. **Capstone 强调文档**：能部署不够，必须能**交接给同事**（Runbook 质量占评分 30%）。  

---

## 六、讲师能力要求与需提交的材料

本项目对客户侧属于 **高规格研修**，候选老师需来自 **华为、腾讯等头部企业或同等量级昇腾落地团队**，并有 **2 天实验室带班经验**。课程顾问需在 **1 ~ 2 个工作日内** 提供 **2 ~ 3 名候选老师** 供比选。

### 6.1 候选老师硬性条件

| 维度 | 要求 |
|------|------|
| 企业背景 | 华为昇腾生态、腾讯或其他大厂 AI 基础设施 / MLOps 团队经历（可脱敏表述） |
| 项目经验 | 至少 **1 个昇腾生产级或准生产级部署项目**（非仅 PoC 演示） |
| 技术深度 | 熟练 CANN 部署、ATC 转换、推理服务、多卡 / 集群、排障 |
| 授课经验 | **2 天及以上** 动手实验类培训经验；有 20 ~ 40 人带班记录 |
| 现场能力 | 能控场、能快速定位学员实验卡点；有助教配合经验 |

### 6.2 每位候选须提交的材料（比选用）

**① 个人简介（1 ~ 2 页）**

- 现任 / 曾任公司及角色（可脱敏为「某头部互联网 / 某昇腾生态伙伴」）
- 昇腾相关项目 **3 条**（项目背景、规模、个人职责、可量化结果）
- 授课经历：主题、时长、人数、是否有实验环节
- 与 GPU（CUDA）迁移昇腾相关的经验（如有）

**② 讲课视频**

- 时长：**15 ~ 20 分钟**（近 1 ~ 2 年录制）
- 内容须含 **讲授 + 上机演示或 live demo** 至少一种
- 画质、收音清晰；优先提交含 **命令行实操 / 排障** 的片段

**③ 技术佐证（至少 2 项）**

- 昇腾相关认证（如 HCIP / HCIE-AI 等，可列编号）
- 脱敏架构图、部署 Runbook 样章、实验手册目录
- 开源贡献、技术分享链接、内部分享 PPT 目录页（脱敏）

**④ 实验交付能力说明（1 页）**

- 曾使用的 Atlas 型号与 CANN 版本
- 实验环境搭建方式（自建机房 / 云昇腾 / 预置镜像）
- 2 天课实验包目录与样例（可提供 Day1 实验 1 的 demo 脚本截图）

### 6.3 候选老师比选维度（内部打分参考）

| 权重 | 维度 |
|------|------|
| 30% | 昇腾生产部署项目深度与匹配度 |
| 25% | 讲课视频表现（表达、节奏、实操清晰度） |
| 20% | 2 天实验设计与带班经验 |
| 15% | 企业背景与行业口碑 |
| 10% | 上海档期可配合度（8 月初工作日） |

### 6.4 现场交付清单（上课前 5 天确认）

| 类别 | 内容 |
|------|------|
| 学员手册 | 两天大纲、命令速查、实验步骤、验收标准、Runbook 模板 |
| 实验包 | 镜像地址、样例模型、脚本、故障工单包、FAQ |
| 环境 | 机器清单、账号、网络、快照恢复方案、备用机器 ≥ 1 台 |
| 人员 | 主讲 1 人 + 助教 ≥ 1 人（40 人班建议 2 助教） |
| 设备 | 翻页笔、投影、备用转接头；学员是否自带笔记本提前通知 |

---

## 七、讲师画像（内部匹配参考）

| 维度 | 期望 |
|------|------|
| 背景 | 华为昇腾生态核心伙伴、腾讯 / 阿里 / 运营商 AI 平台团队等；有国产化算力落地话语权 |
| 风格 | 工程导向、命令行驱动；少概念多实操；敢于现场排障 |
| 实验 | 能在 30 min 内带完一个实验并统一答疑 |
| 案例 | 能讲「为什么选 Atlas」「为什么这套 CANN 版本」「上线后怎么运维」 |
| 素养 | 表达清晰、应答严谨；对学员「CUDA 思维惯性」有耐心 |

**优先匹配方向**：

1. **华为系 / 昇腾 ISV 资深架构师** — 生态最全，适合标准部署 + 认证路径讲解  
2. **腾讯 / 大厂 MLOps 团队** — 推理服务化、规模化运维案例强  
3. **金融 / 运营商昇腾落地专家** — 高合规、生产变更流程案例适合高规格项目  

---

## 八、附录

### 8.1 课前问卷（建议项）

1. 岗位与主要负责的系统  
2. 是否接触过昇腾 / 其他国产化 NPU  
3. 日常是否使用 GPU（CUDA）及框架（PyTorch / TensorFlow / ONNX）  
4. 希望部署的模型类型（CV / NLP / 多模态 / 其他）  
5. 单位是否已有 Atlas 设备或计划采购型号  
6. 是否自带笔记本电脑（Windows / Mac 需说明远程方式）  
7. 最希望解决的 1 个部署问题（开放题）  

### 8.2 术语速查（学员手册可展开）

- Atlas、CANN、Toolkit、NNRT、ATC、OM 模型  
- `npu-smi`、MindIE、MindSpore（推理相关部分）  
- FP16 / INT8 量化、batch size、NPU 利用率  
- 设备插件、Ascend Docker Runtime  

### 8.3 部署 Runbook 模板（Capstone 结构）

1. **概述**：模型名称、Atlas 型号、CANN 版本  
2. **环境要求**：OS、驱动、磁盘、网络  
3. **安装步骤**：逐步命令 + 预期输出  
4. **模型转换**：输入格式、ATC 命令、已知限制  
5. **服务部署**：启动命令、健康检查、API 示例  
6. **验收标准**：功能 + 性能指标（latency / QPS）  
7. **监控与日志**：关键指标、日志路径  
8. **回滚方案**：失败时如何恢复  
9. **附录**：常见问题 FAQ  

### 8.4 与客户对齐的待确认项

- [ ] 参训人数与机房 / 云资源预算（决定人机比）  
- [ ] 是否使用客户自有 Atlas 设备或统一云实例  
- [ ] 是否有指定待部署模型（需提前评审算力与算子支持）  
- [ ] Capstone 是否需贴合客户业务场景  
- [ ] 8 月初具体工作日（2 天连上还是中间间隔）  
- [ ] 候选老师比选结果与试讲安排  

---

**文档版本**：v1.0  
**维护**：课程顾问 / 交付负责人 — 实验环境、候选老师、客户模型需求变更后请同步修订本文档。