聯繫我們

課程簡介

多模態模型介紹

  • 多模態機器學習概覽
  • 多模態模型的應用
  • 處理多種數據類型所面臨的挑戰

多模態模型的架構

  • 探索 CLIP、Flamingo 與 BLIP 等模型
  • 理解跨模態注意力機制
  • 考量擴展性與效率的架構設計

準備多模態數據集

  • 資料收集與標註技術
  • 預處理文本、圖像和視頻輸入
  • 為多模態任務平衡數據集

多模態模型的微調技術

  • 設定多模態模型的訓練管線
  • 管理記憶體與運算限制
  • 處理模態間的一致性

微調後多模態模型的應用

  • 視覺問答
  • 圖像與視頻註解
  • 使用多模態輸入進行內容生成

效能優化與評估

  • 多模態任務的評估指標
  • 為生產環境優化延遲與吞吐量
  • 確保跨模態的穩定性與一致性

部署多模態模型

  • 打包模型以供部署
  • 在雲端平台進行擴展式推論
  • 即時應用與整合

案例研究與實作實驗室

  • 微調 CLIP 用於基於內容的圖像檢索
  • 訓練結合文本與視頻的多模態聊天機器人
  • 實施跨模態檢索系統

摘要與下一步

最低要求

  • 精通 Python 程式設計
  • 了解深度學習概念
  • 具備微調預訓練模型的經驗

受眾

  • AI 研究人員
  • 數據科學家
  • 機器學習從業人員
 28 小時

人數


每位參與者的報價

即將到來的課程

課程分類