聯繫我們

課程簡介

參數高效微調(PEFT)介紹

  • 全量微調的動機與限制
  • PEFT 概述:目標與優勢
  • 產業中的應用與用例

LoRA(低秩適應)

  • LoRA 的概念與直觀理解
  • 使用 Hugging Face 和 PyTorch 實現 LoRA
  • 實作:使用 LoRA 微調模型

Adapter Tuning

  • Adapter 模組運作原理
  • 與基於 Transformer 模型的整合
  • 實作:將 Adapter Tuning 應用於 Transformer 模型

Prefix Tuning

  • 使用軟提示(soft prompts)進行微調
  • 相對於 LoRA 和 Adapters 的優勢與限制
  • 實作:在 LLM 任務上執行 Prefix Tuning

評估與比較 PEFT 方法

  • 用於評估效能與效率的指標
  • 訓練速度、記憶體使用量與準確性之間的權衡
  • 基準測試實驗與結果解讀

部署微調後的模型

  • 儲存與載入微調後的模型
  • 基於 PEFT 模型的部署考量
  • 整合至應用程式與管線中

最佳實踐與延伸應用

  • 將 PEFT 與量化及知識蒸餾結合
  • 在低資源與多語境下的應用
  • 未來發展方向與活躍的研究領域

總結與後續步驟

最低要求

  • 具備機器學習基礎知識
  • 有使用大型語言模型(LLM)的經驗
  • 熟悉 Python 和 PyTorch

受眾

  • 數據科學家
  • AI 工程師
 14 小時

人數


每位參與者的報價

即將到來的課程

課程分類