聯繫我們

課程簡介

參數高效微調(PEFT)簡介

  • 全微調的動機和侷限性
  • PEFT概述:目標與優勢
  • 行業中的應用和用例

LoRA(低秩適配)

  • LoRA的概念和原理
  • 使用Hugging Face和PyTorch實現LoRA
  • 實踐:使用LoRA微調模型

Adapter Tuning

  • 適配器模塊的工作原理
  • 與基於Transformer模型的集成
  • 實踐:將Adapter Tuning應用於Transformer模型

Prefix Tuning

  • 使用軟提示進行微調
  • 與LoRA和適配器相比的優勢和侷限性
  • 實踐:在LLM任務上應用Prefix Tuning

評估和比較PEFT方法

  • 評估性能和效率的指標
  • 訓練速度、內存使用和準確性的權衡
  • 基準實驗和結果解讀

部署微調模型

  • 保存和加載微調模型
  • PEFT模型部署的注意事項
  • 集成到應用程序和管道中

最佳實踐與擴展

  • 將PEFT與量化和蒸餾結合
  • 在低資源和多語言環境中的使用
  • 未來方向和活躍研究領域

總結與下一步

最低要求

  • 瞭解機器學習基礎知識
  • 有大語言模型(LLMs)的工作經驗
  • 熟悉Python和PyTorch

受衆

  • 數據科學家
  • AI工程師
 14 小時

人數


每位參與者的報價

即將到來的課程

課程分類