聯繫我們

課程簡介

效能概念與指標

  • 延遲、吞吐量、功耗、資源利用率
  • 系統層級與模型層級的瓶頸
  • 推理與訓練的效能分析

在華為Ascend平台進行分析

  • 使用CANN Profiler與MindInsight
  • 核心與運算子診斷
  • 載入模式與記憶體映射

在Biren GPU上進行分析

  • Biren SDK的效能監控功能
  • 核心融合、記憶體對齊與執行佇列
  • 功耗與溫度感知的分析

在寒武紀MLU上進行分析

  • BANGPy與Neuware效能工具
  • 核心層級的可見性與日誌解讀
  • MLU分析器與部署框架的整合

圖層與模型層級的優化

  • 圖剪枝與量化策略
  • 運算子融合與計算圖重構
  • 輸入尺寸標準化與批次調參

記憶體與核心優化

  • 最佳化記憶體配置與複用
  • 跨晶片組的高效緩衝區管理
  • 各平台的核心層級調參技術

跨平台最佳實務

  • 效能可移植性:抽象策略
  • 為多晶片環境建立共享的調參流程
  • 範例:在Ascend、Biren與MLU上調優物件偵測模型

總結與後續步驟

最低要求

  • 具備AI模型訓練或部署工作流程的實務經驗
  • 理解GPU/MLU運算原理及模型優化
  • 熟悉效能分析工具與指標的基本知識

受眾對象

  • 效能工程師
  • 機器學習基礎設施團隊
  • AI系統架構師
 21 小時

人數


每位參與者的報價

即將到來的課程

課程分類