Add Ascend deployment training delivery guide for Shanghai 2-day onsite course.

Initial v1.0 documentation with labs, capstone, and instructor selection criteria.

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
2026-06-29 14:01:58 +08:00
commit 94a1425bf9

352
README.md Normal file
View File

@@ -0,0 +1,352 @@
# 昇腾Ascend部署实战 — 技术培训交付说明
> **文档读者**:授课老师、课程顾问、现场助教
> **培训形式**:上海线下面授(工作日)
> **计划周期**2 天(第 1 ~ 2 天均为全天)
---
## 一、项目背景
### 1.1 培训缘起
客户计划 **8 月初** 在上海组织一场 **2 天** 的昇腾部署专项研修。项目级别较高,参训人员以具备 AI / 平台 / 运维背景的技术骨干为主,目标是完成从「了解昇腾」到「能在生产环境独立完成部署与排障」的跨越。
本课程聚焦 **昇腾 AI 算力平台的工程化部署**,而非算法理论或模型训练入门。整体能力链路如下:
```
昇腾生态认知(硬件 + 软件栈) → 单节点部署与验证 → 模型转换与推理服务 → 多卡 / 集群与生产运维
```
与通用 GPUCUDA部署路径存在显著差异驱动与固件、CANN 工具链、ATC 模型转换、NPU 资源调度、MindIE 推理框架等环节均需单独掌握。学员需要一位**有头部企业昇腾落地经验、且能带实验室实操**的老师,而非仅熟悉 PPT 的产品宣讲型讲师。
### 1.2 培训目标
学完后,学员应能:
1. **生态侧**:说清 Atlas 硬件系列、CANN / MindSpore / 推理组件的分工,能完成版本配套选型。
2. **部署侧**:在 Linux 环境独立完成驱动、固件、CANN、Docker 镜像的部署与基础验收。
3. **模型侧**:完成至少一种主流格式(如 ONNX / PyTorch到昇腾 OM 模型的转换,并跑通推理。
4. **服务侧**:搭建基础推理服务(如 MindIE / 自定义 Serving理解批处理、并发与 NPU 利用率调优思路。
5. **运维侧**:掌握多卡 / 简单集群部署要点、监控指标、常见故障定位方法。
6. **综合**:完成一个 **端到端部署实作**(环境 → 转换 → 推理 → 压测 → 排障记录),可带回单位复现。
### 1.3 时间与场地
| 项目 | 说明 |
|------|------|
| 地点 | 上海(线下面授,工作日) |
| 计划开课 | 8 月初(具体日期以最终通知为准) |
| 规模 | 约 20 ~ 40 人(按机房席位与 NPU 资源最终确认) |
| 日程 | **第 1 ~ 2 天均为 09:0012:00、13:3017:30** |
**每日时段约定(每天 7 学时2 天共 14 学时):**
| 时段 | 时间 | 时长 |
|------|------|------|
| 上午 | 09:00 12:00 | 3 h含 09:45 左右 10 min 茶歇) |
| 下午 | 13:30 17:30 | 4 h含 15:30 左右 15 min 茶歇) |
---
## 二、学员画像与能力假设
### 2.1 典型角色
- AI 平台 / MLOps 工程师
- 推理服务、模型部署、算法工程化岗位
- 云计算 / 容器 / K8s 平台运维与开发
- 大数据或中台团队中的 AI 算力接口人
- 部分 Tech Lead / 架构师(需参与昇腾选型与 PoC 决策)
### 2.2 已具备的能力(默认前提)
| 领域 | 假设 |
|------|------|
| 操作系统 | 熟悉 Linux 常用命令、SSH、日志排查 |
| 编程 | 能读 / 写 Python能看懂 Shell 脚本 |
| AI 基础 | 了解深度学习推理流程(输入 → 前向 → 输出),不要求推导公式 |
| 容器 | 了解 Docker 基本概念与常用操作 |
| 工作年限 | 多数有 2 ~ 5 年以上相关技术经验 |
### 2.3 相对薄弱、需本课补强的部分
- 昇腾 **Atlas 硬件体系** 与 GPU 架构差异
- **CANN** 工具链驱动、固件、Toolkit、NNRT / NNRT Lite 等)的安装与版本配套
- **ATC** 模型转换、算子适配、精度 / 性能权衡
- **NPU** 资源分配、多卡通信、集群调度
- 昇腾生态下的 **推理服务化**MindIE 等)与生产监控
- 从 CUDA 迁移到 Ascend 的 **常见坑与排查路径**
### 2.4 授课调优建议
- **少讲**深度学习原理、MindSpore 训练 API 大全、纯产品介绍
- **多讲**:版本矩阵、部署架构图、命令行实操、日志与报错、生产案例
- **必做**:每天至少 **2 ~ 3 个实验** + 第 2 天下午 **综合 Capstone**;实验失败本身就是排障训练
- **环境**:优先使用**课前预置好的镜像 / 机器**,现场只做增量配置,避免半天耗在安装上
开课前建议发 **5 分钟课前问卷**:是否接触过昇腾、现有 GPU / 国产化算力栈、目标部署模型类型、是否自带笔记本等。
---
## 三、课程总览
| 天数 | 时段 | 主题 | 学时 |
|------|------|------|------|
| 第 1 天 | 09:0012:00 | 昇腾生态与 Atlas 硬件CANN 软件栈全景 | 3 h |
| 第 1 天 | 13:3017:30 | 单节点环境部署与首个推理跑通(实验日) | 4 h |
| 第 2 天 | 09:0012:00 | 模型转换、推理服务化与性能调优 | 3 h |
| 第 2 天 | 13:3017:30 | 多卡 / 集群部署、运维排障与综合实作 | 4 h |
| **合计** | | | **14 h** |
---
## 四、分模块大纲(含案例与实作)
### 模块一 · 第 1 天上午 · 昇腾生态与部署架构3 h
**模块目标**:建立昇腾全栈认知;能读懂版本配套表与部署架构图。
| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 09:0009:20 | 开场:国产化 AI 算力背景;昇腾在整体 AI 基础设施中的位置 | 讲授 | 与 GPU 路径对比 1 页 |
| 09:2009:55 | **Atlas 硬件体系**:训练 / 推理卡、服务器、集群形态;选型要点 | 讲授 + 架构图 | 910 / 310 等系列对照 |
| 09:5510:35 | **CANN 软件栈全景**驱动、固件、Toolkit、算子库、推理引擎、容器镜像 | 讲授 | 给「组件—职责—依赖」对照表 |
| 10:3510:45 | 茶歇 | | |
| 10:4511:20 | **案例**:头部企业昇腾 PoC → 生产上线路径(环境、网络、权限、变更流程) | 案例 | 可脱敏;强调工程而非算法 |
| 11:2011:50 | 部署架构模式:裸机 / Docker / K8s与现有 MLOps 流水线对接 | 讲授 | 给参考架构图 |
| 11:5012:00 | 第 1 天下午实验须知;环境账号 / 镜像说明 | 实操预告 | 发放实验手册 Chapter 1 |
**本模块学员产出**:每人一份《昇腾版本配套自检表》(硬件型号 × CANN × 驱动 × 镜像)。
**老师需准备的案例材料**
- 至少 1 套企业级昇腾部署架构图(含网络、存储、调度)
- 版本配套矩阵(可引用官方文档 + 老师踩坑补充)
- PoC → 生产的里程碑 checklist脱敏
---
### 模块二 · 第 1 天下午 · 单节点部署与首个推理4 h
**模块目标**:独立完成单节点环境部署;跑通第一个 OM 模型推理。
| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 13:3014:00 | 部署前置OS 要求、权限、网络、磁盘;与 GPU 环境差异 | 讲授 | |
| 14:0014:40 | **实验 1**:驱动 + 固件 + CANN Toolkit 安装与 `npu-smi` 验收 | 上机实验 | 助教巡场;准备 FAQ 卡 |
| 14:4015:15 | **实验 2**:拉取 / 构建昇腾 Docker 镜像;容器内 NPU 挂载验证 | 上机实验 | 优先用预置镜像 |
| 15:1515:30 | 茶歇 | | |
| 15:3016:10 | **实验 3**:使用样例模型(如 ResNet / YOLO 轻量版)完成 ATC 转换 + 推理 | 上机实验 | 提供样例权重与脚本 |
| 16:1016:45 | 常见安装 / 运行报错 Top 10 与排查思路(日志位置、权限、版本不匹配) | 讲授 + 演示 | 可故意演示 1 ~ 2 个典型错误 |
| 16:4517:20 | 学员互查实验结果;老师集中答疑「卡点榜」 | 研讨 | 记录共性问题 |
| 17:2017:30 | 第 1 天小结;布置第 2 天预习(指定待部署模型类型) | 小结 | |
**本模块学员产出**
- 实验验收截图或命令输出(`npu-smi`、推理 latency
- 个人《Day1 排障笔记》模板(问题 — 现象 — 原因 — 解决)
**实验环境要求(开课前 5 天确认)**
| 项 | 建议 |
|----|------|
| 机器 | Atlas 推理卡服务器或云昇腾实例;比例约 **1 台 / 2 ~ 3 人** |
| 系统 | 已验证的 EulerOS / Ubuntu + 配套驱动版本 |
| 预置 | 镜像含 CANN、样例模型、实验脚本现场只做增量 |
| 网络 | 可访问镜像仓库;学员 SSH 或 Web IDE |
| 备份 | 1 套「干净环境」快照,供学员搞坏后快速恢复 |
---
### 模块三 · 第 2 天上午 · 模型转换、推理服务与性能调优3 h
**模块目标**:掌握模型转换关键参数;搭建基础推理服务并完成简单压测。
| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 09:0009:30 | 模型转换深讲ATC 流程、输入 shape、精度FP16 / INT8、动态 batch | 讲授 | 与 ONNX / PyTorch 导出衔接 |
| 09:3010:05 | **实验 4**:学员自带 / 指定业务模型完成转换(或继续 Day1 模型深化) | 上机实验 | 提供 fallback 样例模型 |
| 10:0510:15 | 茶歇 | | |
| 10:1510:50 | 推理服务化:**MindIE**或等价方案架构、API 封装、批处理与并发 | 讲授 + Demo | 给请求—响应时序图 |
| 10:5011:25 | **实验 5**:启动推理服务 + `curl` / 小脚本调用 + 简单 QPS / 延迟观测 | 上机实验 | |
| 11:2512:00 | 性能调优入门NPU 利用率、内存、batch size、多线程**案例**:优化前后对比 | 案例 + 讲授 | 有 benchmark 数字最佳 |
**本模块学员产出**
- 一份可运行的 OM 模型 + 转换命令记录
- 推理服务调用样例与 baseline 性能数据latency / throughput
**老师需准备的案例材料**
- 1 个「转换失败 → 定位算子 → 改图 → 成功」完整案例
- 1 个推理服务性能优化前后对比(图表脱敏)
- MindIE / Serving 最小可运行 Demo 包
---
### 模块四 · 第 2 天下午 · 多卡 / 集群、运维排障与综合 Capstone4 h
**模块目标**:了解规模化部署要点;完成端到端 Capstone 并输出部署 Runbook。
| 时间 | 内容 | 形式 | 备注 |
|------|------|------|------|
| 13:3014:05 | 多 NPU / 多节点卡间通信、分布式推理概念、K8s + 昇腾设备插件概览 | 讲授 | 不要求现场搭完整集群 |
| 14:0514:40 | **案例**:企业生产环境监控指标、告警、变更与回滚(昇腾特有项) | 案例 | 日志、`npu-smi`、CANN 日志 |
| 14:4015:15 | 排障工作坊:分组领取「故障工单」(版本不匹配 / OOM / 算子不支持 / 服务超时) | 分组实作 | 老师准备 4 ~ 6 套工单 |
| 15:1515:30 | 茶歇 | | |
| 15:3016:50 | **Capstone 综合实作**:端到端部署 mini 项目<br>环境检查 → 模型转换 → 服务启动 → 压测 → 写 Runbook | 分组 Capstone | 可与客户实际模型场景挂钩 |
| 16:5017:15 | 小组 5 min 演示 + 老师点评(部署完整性、性能、文档质量) | 汇报 | |
| 17:1517:30 | 两天总结后续学习路径认证、社区、升级策略Q&A | 总结 | 发放 Runbook 模板 |
**Capstone 建议场景(择一或组合)**
1. **视觉类**:目标检测 / 图像分类模型部署 + API 服务
2. **NLP 类**:文本分类 / 轻量 LLM 推理服务(按 NPU 显存条件选模型)
3. **客户定制**:客户提供脱敏模型 + 约束(需提前 2 周评审可行性)
**本模块学员产出**
- 每组一份《昇腾部署 Runbook》环境、命令、验收标准、回滚步骤
- 可选Capstone 演示录屏或 Postman 集合
---
## 五、两天实验与案例汇总
| 天数 | 实验 / 案例 | 类型 | 带走产出 |
|------|-------------|------|----------|
| Day 1 上午 | 企业 PoC → 生产路径 | 案例 | 版本配套自检表 |
| Day 1 下午 | 实验 1 ~ 3环境 + 容器 + 首推理 | 上机 | 排障笔记 |
| Day 2 上午 | 实验 4 ~ 5转换 + 推理服务 + 压测 | 上机 | OM 模型 + 性能 baseline |
| Day 2 下午 | 故障工单 + Capstone | 案例 + 综合实作 | 部署 Runbook |
**实训设计原则**
1. **实验成功率优先**:课前镜像预置,现场时间留给「理解与排障」,不是从零编译。
2. **每个实验有明确验收标准**(命令输出 / 指标阈值),助教按 checklist 盖章。
3. **故意保留排障环节**Day 1 报错 Top 10、Day 2 故障工单,培养生产环境能力。
4. **Capstone 强调文档**:能部署不够,必须能**交接给同事**Runbook 质量占评分 30%)。
---
## 六、讲师能力要求与需提交的材料
本项目对客户侧属于 **高规格研修**,候选老师需来自 **华为、腾讯等头部企业或同等量级昇腾落地团队**,并有 **2 天实验室带班经验**。课程顾问需在 **1 ~ 2 个工作日内** 提供 **2 ~ 3 名候选老师** 供比选。
### 6.1 候选老师硬性条件
| 维度 | 要求 |
|------|------|
| 企业背景 | 华为昇腾生态、腾讯或其他大厂 AI 基础设施 / MLOps 团队经历(可脱敏表述) |
| 项目经验 | 至少 **1 个昇腾生产级或准生产级部署项目**(非仅 PoC 演示) |
| 技术深度 | 熟练 CANN 部署、ATC 转换、推理服务、多卡 / 集群、排障 |
| 授课经验 | **2 天及以上** 动手实验类培训经验;有 20 ~ 40 人带班记录 |
| 现场能力 | 能控场、能快速定位学员实验卡点;有助教配合经验 |
### 6.2 每位候选须提交的材料(比选用)
**① 个人简介1 ~ 2 页)**
- 现任 / 曾任公司及角色(可脱敏为「某头部互联网 / 某昇腾生态伙伴」)
- 昇腾相关项目 **3 条**(项目背景、规模、个人职责、可量化结果)
- 授课经历:主题、时长、人数、是否有实验环节
- 与 GPUCUDA迁移昇腾相关的经验如有
**② 讲课视频**
- 时长:**15 ~ 20 分钟**(近 1 ~ 2 年录制)
- 内容须含 **讲授 + 上机演示或 live demo** 至少一种
- 画质、收音清晰;优先提交含 **命令行实操 / 排障** 的片段
**③ 技术佐证(至少 2 项)**
- 昇腾相关认证(如 HCIP / HCIE-AI 等,可列编号)
- 脱敏架构图、部署 Runbook 样章、实验手册目录
- 开源贡献、技术分享链接、内部分享 PPT 目录页(脱敏)
**④ 实验交付能力说明1 页)**
- 曾使用的 Atlas 型号与 CANN 版本
- 实验环境搭建方式(自建机房 / 云昇腾 / 预置镜像)
- 2 天课实验包目录与样例(可提供 Day1 实验 1 的 demo 脚本截图)
### 6.3 候选老师比选维度(内部打分参考)
| 权重 | 维度 |
|------|------|
| 30% | 昇腾生产部署项目深度与匹配度 |
| 25% | 讲课视频表现(表达、节奏、实操清晰度) |
| 20% | 2 天实验设计与带班经验 |
| 15% | 企业背景与行业口碑 |
| 10% | 上海档期可配合度8 月初工作日) |
### 6.4 现场交付清单(上课前 5 天确认)
| 类别 | 内容 |
|------|------|
| 学员手册 | 两天大纲、命令速查、实验步骤、验收标准、Runbook 模板 |
| 实验包 | 镜像地址、样例模型、脚本、故障工单包、FAQ |
| 环境 | 机器清单、账号、网络、快照恢复方案、备用机器 ≥ 1 台 |
| 人员 | 主讲 1 人 + 助教 ≥ 1 人40 人班建议 2 助教) |
| 设备 | 翻页笔、投影、备用转接头;学员是否自带笔记本提前通知 |
---
## 七、讲师画像(内部匹配参考)
| 维度 | 期望 |
|------|------|
| 背景 | 华为昇腾生态核心伙伴、腾讯 / 阿里 / 运营商 AI 平台团队等;有国产化算力落地话语权 |
| 风格 | 工程导向、命令行驱动;少概念多实操;敢于现场排障 |
| 实验 | 能在 30 min 内带完一个实验并统一答疑 |
| 案例 | 能讲「为什么选 Atlas」「为什么这套 CANN 版本」「上线后怎么运维」 |
| 素养 | 表达清晰、应答严谨对学员「CUDA 思维惯性」有耐心 |
**优先匹配方向**
1. **华为系 / 昇腾 ISV 资深架构师** — 生态最全,适合标准部署 + 认证路径讲解
2. **腾讯 / 大厂 MLOps 团队** — 推理服务化、规模化运维案例强
3. **金融 / 运营商昇腾落地专家** — 高合规、生产变更流程案例适合高规格项目
---
## 八、附录
### 8.1 课前问卷(建议项)
1. 岗位与主要负责的系统
2. 是否接触过昇腾 / 其他国产化 NPU
3. 日常是否使用 GPUCUDA及框架PyTorch / TensorFlow / ONNX
4. 希望部署的模型类型CV / NLP / 多模态 / 其他)
5. 单位是否已有 Atlas 设备或计划采购型号
6. 是否自带笔记本电脑Windows / Mac 需说明远程方式)
7. 最希望解决的 1 个部署问题(开放题)
### 8.2 术语速查(学员手册可展开)
- Atlas、CANN、Toolkit、NNRT、ATC、OM 模型
- `npu-smi`、MindIE、MindSpore推理相关部分
- FP16 / INT8 量化、batch size、NPU 利用率
- 设备插件、Ascend Docker Runtime
### 8.3 部署 Runbook 模板Capstone 结构)
1. **概述**模型名称、Atlas 型号、CANN 版本
2. **环境要求**OS、驱动、磁盘、网络
3. **安装步骤**:逐步命令 + 预期输出
4. **模型转换**输入格式、ATC 命令、已知限制
5. **服务部署**启动命令、健康检查、API 示例
6. **验收标准**:功能 + 性能指标latency / QPS
7. **监控与日志**:关键指标、日志路径
8. **回滚方案**:失败时如何恢复
9. **附录**:常见问题 FAQ
### 8.4 与客户对齐的待确认项
- [ ] 参训人数与机房 / 云资源预算(决定人机比)
- [ ] 是否使用客户自有 Atlas 设备或统一云实例
- [ ] 是否有指定待部署模型(需提前评审算力与算子支持)
- [ ] Capstone 是否需贴合客户业务场景
- [ ] 8 月初具体工作日2 天连上还是中间间隔)
- [ ] 候选老师比选结果与试讲安排
---
**文档版本**v1.0
**维护**:课程顾问 / 交付负责人 — 实验环境、候选老师、客户模型需求变更后请同步修订本文档。