微調視覺語言模型 (VLMs)培訓
微調視覺語言模型 (VLMs) 是一項專業技能,用於增強處理視覺和文本輸入的 multimodal AI 系統,以應對現實世界的應用需求。
此課程由講師主導,提供線上或線下即時培訓。目標受眾為希望微調 VLMs(如 CLIP 和 Flamingo),以提升特定產業視覺文本任務表現的高階計算機視覺工程師與 AI 開發人員。
完成本課程後,學員將能夠:
- 理解視覺語言模型的架構與預訓練方法。
- 針對分類、檢索、標題生成或跨模態問答,微調 VLMs。
- 準備數據集,並應用 PEFT 策略以降低資源消耗。
- 在生產環境中評估和部署自訂 VLMs。
課程形式
- 互動式講座與討論。
- 大量練習與實作。
- 在即時實驗室環境中的實作操作。
課程自訂選項
- 如需此課程的自訂培訓,請聯繫我們安排。
課程簡介
視覺語言模型簡介
- VLMs 概覽及其在跨模態 AI 中的角色
- 熱門架構:CLIP、Flamingo、BLIP 等
- 應用案例:檢索、標題生成、自主系統、內容分析
準備微調環境
- 設置 OpenCLIP 及其他 VLM 函式庫
- 圖像-文本配對的數據集格式
- 視覺與文本輸入的預處理流程
微調 CLIP 及類似模型
- 對比損失與聯合嵌入空間
- 實作:在自訂數據集上微調 CLIP
- 處理領域特定與多語言數據
進階微調技術
- 使用 LoRA 和基於適配器的方法以提升效率
- Prompt tuning 與視覺 prompt 注入
- 零樣本學習與微調評估的權衡
評估與基準測試
- VLMs 評估指標:檢索準確率、BLEU、CIDEr、召回率
- 視覺文本對齊診斷
- 可視化嵌入空間與誤分類情況
部署與實際應用
- 匯出模型以供推論 (TorchScript, ONNX)
- 將 VLMs 整合至流程或 API 中
- 資源考量與模型擴展
案例研究與應用場景
- 媒體分析與內容審核
- 電子商務與數位圖書館中的檢索與獲取
- 機器人与自主系統中的跨模態互動
總結與後續步驟
最低要求
- 理解視覺與 NLP 的深度學習基礎
- 具備 PyTorch 及基於 transformer 模型的使用經驗
- 熟悉跨模態模型架構
目標受眾
- 計算機視覺工程師
- AI 開發人員
公開培訓課程需要5名以上參與者。
微調視覺語言模型 (VLMs)培訓 - 訂單
微調視覺語言模型 (VLMs)培訓 - 詢問
微調視覺語言模型 (VLMs) - 咨詢詢問
即將到來的課程
相關課程
Vertex AI 中的進階微調與提示詞管理
14 小時Vertex AI 提供了先進的工具,用於微調大型模型及管理提示詞,使開發人員和數據團隊能夠透過內建的函式庫與服務,優化模型準確度、簡化迭代工作流程,並確保嚴謹的評估。
本課程由講師親自指導,提供線上或線下培訓,適合希望利用監督式微調、提示詞版本控制及 Vertex AI 中的評估服務,來提升生成式 AI 應用程式效能與可靠性的初級至進階從業者。
完成本培訓後,學員將能夠:
- 在 Vertex AI 中應用監督式微調技術於 Gemini 模型。
- 實作包含版本控制與測試的提示詞管理工作流程。
- 利用評估函式庫對 AI 效能進行基準測試與優化。
- 在生產環境中部署並監控改善後的模型。
課程形式
- 互動式講授與討論。
- 搭配 Vertex AI 微調與提示詞工具的實作實驗室。
- 企業模型優化的案例研究。
課程客製化選項
- 如需為本課程提出客製化培訓請求,請聯繫我們以進行安排。
遷移學習的高階技巧
14 小時本課程為講師主導的即時培訓(線上或線下),旨在協助進階級機器學習專業人員掌握嶄新的遷移學習技術,並將其實際應用於複雜的現實問題。
完成本培訓後,參與者將能夠:
- 理解遷移學習中的高階概念與方法論。
- 為預訓練模型實施領域專屬的適應技術。
- 運用持續學習來管理不斷演進的任務與資料集。
- 精通多任務微調,以提升模型在多個任務上的表現。
持續學習與微调模型的更新策略
14 小時本培訓課程(線上或線下)由講師現場指導,旨在為初級AI維護工程師和MLOps專業人員提供堅固的持續學習管道及有效部署微調模型的更新策略。
完成本培訓後,參與者將能夠:
- 設計並實現已部署模型的持續工作流程。
- 透過適當的訓練與記憶體管理來減輕災難性遺忘問題。
- 根據模型漂移或數據變化自動監控和觸發更新機制。
- 將模型更新策略整合至現有的CI/CD與MLOps管道中。
在生產環境中部署微調模型
21 小時此由講師指導的即時培訓在 台灣(線上或線下)舉辦,旨在協助高階專業人員可靠且高效地部署微調模型。
完成本課程後,學員將能夠:
- 了解將微調模型部署至生產環境的挑戰。
- 使用 Docker 和 Kubernetes 等工具容器化並部署模型。
- 為已部署的模型實施監控與日誌記錄。
- 針對真實情境優化模型的延遲時間與擴展能力。
面向金融領域的領域特定微調
21 小時這項在 台灣(線上或線下)舉辦、由導師帶領的培訓,旨在幫助具備中等程度的專業人士,掌握為關鍵財務任務定制 AI 模型的實用技能。
在完成本培訓後,參與者將能夠:
- 理解金融應用中微調的基本概念。
- 利用預訓練模型處理金融領域的特定任務。
- 應用欺诈偵測、風險評估和財務建議生成的技術。
- 確保符合 GDPR 和 SOX 等金融法規。
- 在金融應用中實施數據安全和道德 AI 實踐。
微調模型與大型語言模型(LLMs)
14 小時此在台灣舉辦的由導師主導的現場培訓(線上或線下)旨在針對希望自定義預訓練模型以用於特定任務和數據集的中高級專業人士。
在培訓結束時,學員將能夠:
- 了解微調的原則及其應用。
- 為微調預訓練模型準備數據集。
- 為自然語言處理(NLP)任務微調大型語言模型(LLMs)。
- 優化模型性能,並解決常見挑戰。
使用低秩適配 (LoRA) 進行高效微調
14 小時此 台灣 (線上或線下) 的講師帶領現場培訓,旨在幫助中級開發者和 AI 從業人員在不需大量計算資源的情況下,實施大型模型的微調策略。
完成本培訓後,參與者將能夠:
- 理解低秩適配 (LoRA) 的原理。
- 實施 LoRA 以高效微調大型模型。
- 針對資源受限環境最佳化微調流程。
- 評估並部署經 LoRA 調整的模型以用於實際應用。
微調多模態模型
28 小時此講師引導的實作培訓在 台灣(線上或線下)舉行,針對希望精通多模態模型微調技術以實現創新 AI 解決方案的進階專業人員設計。
完成本課程後,學員將能夠:
- 理解 CLIP 與 Flamingo 等多模態模型的架構。
- 有效地準備和預處理多模態數據集。
- 針對特定任務微調多模態模型。
- 為現實世界應用和性能優化模型。
NLP自然語言處理的微調
21 小時這門由講師引導的實時培訓在[loc]線上或線下[/loc]舉行,面向中級專業人士,旨在透過有效微調預訓練語言模型來提升其NLP項目。
完成本課程後,學員將能夠:
- 理解NLP任務微調的基本原理。
- 針對特定NLP應用場景,對GPT、BERT及T5等預訓練模型進行微調。
- 優化超參數以提升模型性能。
- 評估並部署經微調後的模型至實際場景。
為金融服務調整AI模型:風險預測與詐欺偵測
14 小時此由講師引導的現場培訓,於台灣(線上或線下)進行,旨在針對金融行業中希望運用領域專屬金融數據,對信貸評分、詐欺偵測和風險建模等應用進行模型微調的高階資料科學家與AI工程師。
完成本課程後,學員將能夠:
- 在金融數據集上微調AI模型,以提升詐欺和風險預測能力。
- 應用遷移學習、LoRA及正則化等技術來增強模型效率。
- 將金融合規考量整合至AI建模工作流程中。
- 部署微調後的模型,供金融服務平台生產環境使用。
醫療領域AI微調:醫學診斷與預測分析
14 小時此於台灣(線上或線下)舉辦、由講者主導的現場培訓,目標受眾為希望利用結構化和非結構化醫療數據,針對臨床診斷、疾病預測及患者結果預測進行模型微調的中級至高級醫學AI開發者和數據科學家。
完成本課程後,學員將能夠:
- 在包含電子病歷(EMRs)、影像和時間序列數據的醫療數據集上微調AI模型。
- 在醫療情境中應用遷移學習、領域適應和模型壓縮技術。
- 解決模型開發中的隱私、偏見及合規性問題。
- 在現實世界的醫療環境中部署並監控微調後的模型。
微調 DeepSeek LLM 以建立客製化 AI 模型
21 小時此講師主導的培訓課程(線上或線下),旨在針對進階層級的 AI 研究者、機器學習工程師以及開發人員,協助他們微調 DeepSeek LLM 模型,以建立專為特定產業、領域或業務需求量身打造的專用 AI 應用程式。
完成此培訓後,學員將能夠:
- 理解 DeepSeek 模型的架構與能力,包含 DeepSeek-R1 和 DeepSeek-V3。
- 準備資料集並進行微調前的數據預處理。
- 為特定領域的應用程式微調 DeepSeek LLM。
- 高效地最佳化及部署微調後的模型。
微調自主系統與監控的防禦型AI
14 小時本課程為講師指導的現場培訓(台灣線上或线下),旨在為高級別的國防AI工程師和軍事技術開發人員提供指導,協助他們微調深度學習模型,以便在車輛、無人機和監控系統中使用,同時滿足嚴格的安可靠性標準。
完成本課程後,學員將能夠:
- 針對監控和目標識別任務微調電腦視覺和感測器融合模型。
- 適應環境變化和任務配置,調整自主AI系統。
- 在模型管線中實施健全的驗證和故障保護機制。
- 確保符合特定於國防的合規性、安全性和可靠性標準。
微調法律AI模型:合同審查與法律研究
14 小時此在台灣(線上或線下)舉辦的講師引導型培訓,目標對象為希望針對合約分析、條款提取以及法律服務環境中的自動法律研究等任務微調語言模型的初級至中階法律科技工程師與AI開發人員。
完成本培訓後,學員將能夠:
- 準備並清理用於微調NLP模型的法律文件。
- 應用微調策略以提升模型在法律任務上的準確率。
- 部署模型以協助進行合同審查、分類及研究。
- 確保法律環境下AI輸出的合規性、可審計性與可追溯性。
使用 QLoRA 微調大型語言模型
14 小時這門在 台灣(線上或線下)舉辦的由導師指導的培訓,旨在面向中級到高級機器學習工程師、AI 開發者和數據科學家,他們希望學習如何使用 QLoRA 來高效地針對特定任務和客製化需求微調大型模型。
完成此培訓後,學員將能夠:
- 理解 QLoRA 的理論以及用於 LLM 的量化技術。
- 在微調大規模語言模型時實施 QLoRA,以實現領域特定的應用。
- 透過量化優化有限運算資源上的微調效能。
- 有效部署並評估微調後的模型於實際應用中。