感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
多模態 AI 與 Ollama 簡介
- 多模態學習概述
- 視覺-語言整合的關鍵挑戰
- Ollama 的功能與架構
設定 Ollama 環境
- 安裝與配置 Ollama
- 進行本地模型部署操作
- 將 Ollama 與 Python 及 Jupyter 整合
處理多模態輸入
- 文本與圖像整合
- 納入音頻與結構化數據
- 設計預處理流水線
文檔理解應用
- 從 PDF 和圖像中提取結構化資訊
- 結合 OCR 與語言模型
- 構建智能文檔分析工作流程
視覺問答 (VQA)
- 搭建 VQA 數據集與基準測試
- 訓練並評估多模態模型
- 構建互動式 VQA 應用
設計多模態智能體
- 具備多模態推理能力的智能體設計原則
- 結合感知、語言與行動
- 部署智能體以服務於真實用例
進階整合與最佳化
- 使用 Ollama 微調多模態模型
- 最佳化推理效能
- 考量擴充性與部署策略
總結與後續步驟
最低要求
- 具備扎實的機器學習概念基礎
- 有使用 PyTorch 或 TensorFlow 等深度學習框架的經驗
- 熟悉自然語言處理與計算機視覺
適用對象
- 機器學習工程師
- AI 研究員
- 整合視覺與文字工作流程的產品開發人員
21 小時