大型語言模型(LLMs)的參數高效微調(PEFT)技術培訓
參數高效微調(PEFT)是一組技術,透過僅修改參數的一小部分,即可高效地適配大型語言模型(LLMs)。
這門由講師主導的現場培訓課程(線上或線下)專為具備中等經驗的數據科學家和AI工程師設計,旨在利用LoRA、適配器微調(Adapter Tuning)和前綴微調(Prefix Tuning)等方法,以更經濟高效的方式微調大型語言模型。
課程結束後,學員將能夠:
- 理解參數高效微調方法背後的理論基礎。
- 使用 Hugging Face PEFT 實現 LoRA、適配器微調和前綴微調。
- 比較 PEFT 方法與全量微調在性能和成本方面的權衡。
- 在降低計算和存儲需求的條件下,部署並擴展微調後的大型語言模型。
課程形式
- 互動式講座與討論。
- 大量的練習與實作訓練。
- 在實時實驗室環境中進行動手實作。
課程客製化選項
- 如需申請本課程的客製化培訓,請聯繫我們進行安排。
感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
參數高效微調(PEFT)簡介
- 全量微調的動機與局限性
- PEFT 概覽:目標與優勢
- 行業應用場景與案例
LoRA(低秩適配)
- LoRA 的概念與直覺理解
- 使用 Hugging Face 和 PyTorch 實現 LoRA
- 動手實作:使用 LoRA 微調模型
適配器微調(Adapter Tuning)
- 適配器模塊的工作原理
- 與基於 Transformer 模型的整合
- 動手實作:將適配器微調應用於 Transformer 模型
前綴微調(Prefix Tuning)
- 使用軟提示(soft prompts)進行微調
- 與 LoRA 和適配器相比的優勢與局限
- 動手實作:在大型語言模型任務中進行前綴微調
評估與比較 PEFT 方法
- 評估性能與效率的指標
- 訓練速度、內存使用量與準確性之間的權衡
- 基準測試實驗與結果解讀
部署微調後模型
- 保存與載入微調後模型
- 基於 PEFT 模型的部署考量
- 整合至應用程序與工作流程中
最佳實踐與延伸應用
- 結合量化與知識蒸餾進行 PEFT
- 在低資源與多語言環境中的應用
- 未來發展方向與前沿研究領域
最低要求
- 了解機器學習基礎知識
- 具備操作大型語言模型(LLMs)的經驗
- 熟悉 Python 和 PyTorch
適用對象
- 數據科學家
- AI 工程師
14 小時
公開培訓課程需要5名以上參與者。
大型語言模型(LLMs)的參數高效微調(PEFT)技術培訓 - 訂單
大型語言模型(LLMs)的參數高效微調(PEFT)技術培訓 - 詢問
大型語言模型(LLMs)的參數高效微調(PEFT)技術 - 咨詢詢問
即將到來的課程
相關課程
進階 LangGraph:最佳化、除錯與監控複雜圖形
35 小時
這門由講師主導的 台灣 課程專為進階 AI 平台工程師、AI DevOps 專業人員及 ML 架構師設計,協助他們最佳化、除錯、監控並營運生產級 LangGraph 系統,以建構具有狀態、多參與者 LLM 應用程式的可組合圖形。
更多...
使用 Devstral 打造程式碼代理:從代理設計到工具整合
14 小時
在 台灣 舉行的這場即時訓練中掌握 Devstral。課程內容涵蓋架構、代理工作流設計及工具整合。本課程專為高階工程師打造,透過實作實驗室建構程式碼代理,以提升現代開發環境中的生產力與安全性。
更多...
開放原始碼模型運維:使用 Devstral 與 Mistral 模型進行自我託管、微調與治理
14 小時
此由講師主導的 台灣 培訓課程,旨在幫助機器學習工程師掌握 Devstral 與 Mistral 模型的自我託管與微調技巧。學員將學習實際的治理、監控與合規技術,以便在生產環境中自信地部署開放原始碼人工智慧。
更多...
金融領域中的 LangGraph 應用
35 小時
這門 台灣 授課式培訓協助專業人士設計基於 LangGraph 的金融解決方案。學員將學習如何實施符合監管要求的工作流程,整合數據標準,並部署具備強大治理、可觀察性及合規控制能力的系統。
更多...
LangGraph 基礎:基於圖的 LLM 提示與鏈接
14 小時
這門由 台灣 提供的 LangGraph 基礎課程,由講師主導,協助開發人員建置基於圖的 LLM 應用。學員將學習節點與邊等核心概念、狀態管理及分支邏輯,並整合工具、檢索增強生成及外部 API,透過實作實驗室測試並部署可靠的工作流。
更多...
LangGraph 在醫療領域的應用:針對受監管環境的流程編排
35 小時
透過這門在 台灣 舉行的實境培訓,探索 LangGraph 在醫療領域的應用,專門為中級至高級專業人員量身打造。學習設計具備狀態式與合規性的工作流,整合 FHIR 和 SNOMED CT 等標準,並應對受監管環境中的倫理與運營挑戰。
更多...
LangGraph 在legal應用中的實務
35 小時
透過這門 35 小時的授課式培訓,掌握 LangGraph 在 台灣 中的法務應用。本課程適合中階至高階專業人員,涵蓋工作流程設計、合規控制及人為介入審批機制。自信地建構可審計、具備生產就緒能力的 LLM 解決方案。
更多...
使用 LangGraph 與 LLM 代理建構動態工作流
14 小時
這門在 台灣 舉行的線上或現場課程,引導中級工程師透過 LangGraph 建構動態 LLM 工作流。學習如何設計具狀態的圖結構、實作分支邏輯,並整合檢索、API 與記憶功能,以打造穩健且具備情境感知能力的應用程式。
更多...
LangGraph 行銷自動化
14 小時
這堂由講師帶領的 台灣 課程介紹 LangGraph 在行銷自動化中的應用。學員將學習設計條件式內容工作流、整合 LLM 以打造個性化電子郵件活動,並管理多步驟管線中的狀態,從而掌握現代行銷的實用技能。
更多...
Le Chat Enterprise:私有 ChatOps、整合與管理員控制
14 小時
此 台灣 的實地培訓涵蓋 Le Chat Enterprise,這是一款用於安全、受管治對話式 AI 的私有 ChatOps 解決方案。學員將部署並配置該系統,與企業應用程式進行整合,啟用 RBAC、SSO 及基於合規要求的控制措施,以建立可擴展且安全的 AI 工作流。
更多...
高成本效益的 LLM 架構:大規模部署 Mistral(效能/成本工程)
14 小時
透過這項在 台灣 舉行為期 14 小時的即時訓練,掌握高成本效益的 Mistral LLM 架構。學習如何部署、最佳化並擴展 Mistral Medium 3,利用批處理、量化及高效能服務策略,在企業級工作負載中實現極致吞吐量與最低成本。
更多...
運用 Mistral Connectors 與整合功能將對話式助理產品化
14 小時
這門在 台灣 舉行的實時培訓涵蓋將 Mistral 對話式助理整合至企業工作流程的內容。參與者將學習如何連接 SaaS 工具、實施檢索增強生成技術,並為面向客戶及內部的聊天介面設計有效的用戶體驗模式。
更多...
使用 Mistral Medium 3 進行企業級部署
14 小時
這是由講師指導的 台灣 訓練,協助高級 AI 工程師部署並保護 Mistral Medium 3。您將優化推論成本、實現多模態用例,並應用企業合規實務。課程包含 API 及自託管配置的實作實驗室。
更多...
Mistral 負責任的 AI:隱私、數據主權與企業級管控
14 小時
在 台灣 舉行的這堂 Mistral 負責任 AI 現場培訓,專為合規與安全負責人量身打造。您將掌握隱私保護技術、數據主權策略,以及 RBAC 和 SSO 等企業級管控機制,以確保 AI 部署的安全與合規性。
更多...
使用 Mistral 模型開發多模態應用(視覺、OCR 及文件理解)
14 小時
學習如何使用 Mistral 模型建構多模態應用,重點涵蓋 OCR、文件理解及視覺文本搜尋。此實作培訓涵蓋流程實作、NLP 整合及企業級設計,可透過線上或 台灣 方式進行。
更多...