感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
開源 LLM 簡介
- 什麼是開源權重模型及其重要性。
- LLaMA、Mistral、Qwen 及其他社群模型的概述。
- 私密、內部或安全部署的用例。
環境設定與工具
- 安裝和配置 Transformers、Datasets 及 PEFT 庫。
- 選擇適合微調的硬體。
- 從 Hugging Face 或其他儲存庫載入預訓練模型。
資料準備與預處理
- 資料集格式（指令微調、聊天資料、純文字）。
- 標記化與序列管理。
- 建立自訂資料集及資料載入器。
微調技術
- 標準全量微調與參數高效方法的比較。
- 應用 LoRA 和 QLoRA 進行高效微調。
- 使用 Trainer API 進行快速實驗。
模型評估與最佳化
- 使用生成和準確率指標評估已微調的模型。
- 管理過擬合、泛化及驗證集。
- 效能調整提示與紀錄。
部署與私密使用
- 儲存與載入用於推論的模型。
- 在有安全企業環境中部署已微調的模型。
- 內部部署與雲端部署策略比較。
案例研究與用例
- 使用 LLaMA、Mistral 和 Qwen 的企業用例示例。
- 處理多語言及領域特定的微調。
- 討論：開源與閉源模型之間的權衡。
總結與下一步
最低要求
- 了解大型語言模型（LLM）及其架構。
- 具備 Python 和 PyTorch 的使用經驗。
- 對 Hugging Face 生態系有基本認識。
受眾
- ML 從業人員。
- AI 開發者。
