聯繫我們
 課程時長 14 時間:

課程簡介

自訂運算子開發簡介

  • 為何要建構自訂運算子?使用情境與限制
  • CANN 執行時結構與運算子整合點
  • 華為 AI 生態系統中 TBE、TIK 與 TVM 概觀

使用 TIK 進行低階運算子程式設計

  • 理解 TIK 程式設計模型與支援的 API
  • TIK 中的記憶體管理與分塊(tiling)策略
  • 建立、編譯並將自訂運算子註冊至 CANN

自訂運算子的測試與驗證

  • 圖中運算子的單元測試與整合測試
  • 除錯核心層級的效能問題
  • 視覺化運算子執行過程與緩衝區行為

基於 TVM 的排程與最佳化

  • 作為張量運算子編譯器的 TVM 概觀
  • 在 TVM 中為自訂運算子撰寫排程
  • 針對 Ascend 的 TVM 調校、基準測試與程式碼生成

與框架及模型的整合

  • 為 MindSpore 和 ONNX 註冊自訂運算子
  • 驗證模型完整性與回退(fallback)行為
  • 支援具有混合精度的多運算子圖

案例研究與專業最佳化

  • 案例研究:針對小型輸入形狀的高效能卷積
  • 案例研究:考量記憶體使用的注意力(Attention)運算子最佳化
  • 跨裝置部署自訂運算子的最佳實務

總結與後續步驟

最低要求

  • 深入理解 AI 模型內部結構與運算子層級的計算原理
  • 具備 Python 與 Linux 開發環境的經驗
  • 熟悉神經網路編譯器或圖層級最佳化工具

適合對象

  • 從事 AI 工具鏈開發的編譯器工程師
  • 專注於低階 AI 最佳化的系統開發人員
  • 建構自訂運算子或針對新型 AI 工作負載進行開發的開發者

即將到來的課程

課程分類