聯繫我們

課程簡介

多模態 AI 與 Ollama 簡介

  • 多模態學習概述
  • 視覺-語言整合的關鍵挑戰
  • Ollama 的功能與架構

設定 Ollama 環境

  • 安裝與配置 Ollama
  • 進行本地模型部署操作
  • 將 Ollama 與 Python 及 Jupyter 整合

處理多模態輸入

  • 文本與圖像整合
  • 納入音頻與結構化數據
  • 設計預處理流水線

文檔理解應用

  • 從 PDF 和圖像中提取結構化資訊
  • 結合 OCR 與語言模型
  • 構建智能文檔分析工作流程

視覺問答 (VQA)

  • 搭建 VQA 數據集與基準測試
  • 訓練並評估多模態模型
  • 構建互動式 VQA 應用

設計多模態智能體

  • 具備多模態推理能力的智能體設計原則
  • 結合感知、語言與行動
  • 部署智能體以服務於真實用例

進階整合與最佳化

  • 使用 Ollama 微調多模態模型
  • 最佳化推理效能
  • 考量擴充性與部署策略

總結與後續步驟

最低要求

  • 具備扎實的機器學習概念基礎
  • 有使用 PyTorch 或 TensorFlow 等深度學習框架的經驗
  • 熟悉自然語言處理與計算機視覺

適用對象

  • 機器學習工程師
  • AI 研究員
  • 整合視覺與文字工作流程的產品開發人員
 21 小時

人數


每位參與者的報價

即將到來的課程

課程分類