感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
效能概念與指標
- 延遲、吞吐量、功耗、資源利用率
- 系統層級與模型層級的瓶頸
- 針對推理與訓練的分析（Profiling）
華為 Ascend 平台上的分析
- 使用 CANN Profiler 與 MindInsight
- 核心與算子診斷
- 卸載模式（Offload patterns）與記憶體映射
Biren GPU 平台上的分析
- Biren SDK 的效能監控功能
- 核心融合、記憶體對齊與執行佇列
- 感知功耗與溫度的分析
Cambricon MLU 平台上的分析
- BANGPy 與 Neuware 效能工具
- 核心層級的可視化與日誌解讀
- MLU 分析器與部署框架的整合
圖與模型層級的最佳化
- 圖剪枝與量化策略
- 算子融合與計算圖重構
- 輸入尺寸標準化與批次調校
記憶體與核心最佳化
- 最佳化記憶體佈局與重用
- 跨晶片集的高效緩衝區管理
- 各平台的層級核心調校技術
跨平台最佳實務
- 效能可移植性：抽象策略
- 為多晶片環境建立共享調校管線
- 範例：在 Ascend、Biren 和 MLU 上調校物件偵測模型
總結與後續步驟
最低要求
- 具備 AI 模型訓練或部署管線的實務經驗
- 理解 GPU/MLU 運算原理與模型最佳化概念
- 對效能分析工具及指標有基本了解
目標受眾
- 效能工程師
- 機器學習基礎架構團隊
- AI 系統架構師
21 小時
