課程簡介

QLoRA與量化技術介紹

  • 量化概述及其在模型優化中的作用
  • QLoRA框架介紹及其優勢
  • QLoRA與傳統微調方法的主要區別

大語言模型(LLMs)基礎

  • LLMs介紹及其架構
  • 大規模微調大模型的挑戰
  • 量化如何幫助克服LLM微調中的計算限制

使用QLoRA微調LLMs的實現

  • 設置QLoRA框架和環境
  • 準備用於QLoRA微調的數據集
  • 使用Python和PyTorch/TensorFlow逐步實現QLoRA微調LLMs

使用QLoRA優化微調性能

  • 如何通過量化平衡模型準確性和性能
  • 減少微調期間計算成本和內存佔用的技術
  • 在有限硬件資源下進行微調的策略

評估微調模型

  • 如何評估微調模型的有效性
  • 語言模型的常見評估指標
  • 微調後優化模型性能及問題排查

部署和擴展微調模型

  • 將量化LLMs部署到生產環境的最佳實踐
  • 擴展部署以處理即時請求
  • 用於模型部署和監控的工具與框架

實際應用案例與案例分析

  • 案例研究:爲客戶支持和NLP任務微調LLMs
  • 在醫療、金融、電子商務等行業微調LLMs的示例
  • 從QLoRA模型實際部署中吸取的經驗教訓

總結與下一步

最低要求

  • 對機器學習基礎和神經網絡的理解
  • 具備模型微調和遷移學習的經驗
  • 熟悉大語言模型(LLMs)和深度學習框架(如PyTorch、TensorFlow)

受衆

  • 機器學習工程師
  • AI開發人員
  • 數據科學家
 14 時間:

人數


每位參與者的報價

即將到來的課程

課程分類