聯繫我們

課程簡介

參數高效微調(PEFT)簡介

  • 全量微調的動機與局限性
  • PEFT 概覽:目標與優勢
  • 行業應用場景與案例

LoRA(低秩適配)

  • LoRA 的概念與直覺理解
  • 使用 Hugging Face 和 PyTorch 實現 LoRA
  • 動手實作:使用 LoRA 微調模型

適配器微調(Adapter Tuning)

  • 適配器模塊的工作原理
  • 與基於 Transformer 模型的整合
  • 動手實作:將適配器微調應用於 Transformer 模型

前綴微調(Prefix Tuning)

  • 使用軟提示(soft prompts)進行微調
  • 與 LoRA 和適配器相比的優勢與局限
  • 動手實作:在大型語言模型任務中進行前綴微調

評估與比較 PEFT 方法

  • 評估性能與效率的指標
  • 訓練速度、內存使用量與準確性之間的權衡
  • 基準測試實驗與結果解讀

部署微調後模型

  • 保存與載入微調後模型
  • 基於 PEFT 模型的部署考量
  • 整合至應用程序與工作流程中

最佳實踐與延伸應用

  • 結合量化與知識蒸餾進行 PEFT
  • 在低資源與多語言環境中的應用
  • 未來發展方向與前沿研究領域

最低要求

  • 了解機器學習基礎知識
  • 具備操作大型語言模型(LLMs)的經驗
  • 熟悉 Python 和 PyTorch

適用對象

  • 數據科學家
  • AI 工程師
 14 小時

人數


每位參與者的報價

即將到來的課程

課程分類