課程簡介

Vertex AI中的多模態LLM介紹

  • Vertex AI多模態功能概述
  • Gemini模型及支持的模態
  • 企業和研究中的用例

開發環境設置

  • 配置Vertex AI以支持多模態工作流
  • 處理跨模態數據集
  • 實踐實驗室:環境設置與數據集準備

長上下文窗口與高級推理

  • 理解長上下文工作流
  • 規劃與決策中的用例
  • 實踐實驗室:實現長上下文分析

跨模態工作流設計

  • 結合文本、音頻和圖像分析
  • 在管道中鏈接多模態步驟
  • 實踐實驗室:設計多模態管道

使用Gemini API參數

  • 配置多模態輸入和輸出
  • 優化推理與效率
  • 實踐實驗室:調整Gemini API參數

高級應用與集成

  • 交互式多模態代理與助手
  • 集成外部API和工具
  • 實踐實驗室:構建多模態應用

評估與迭代

  • 測試多模態性能
  • 準確性、對齊與漂移的指標
  • 實踐實驗室:評估多模態工作流

總結與下一步

最低要求

  • 熟練使用Python編程
  • 具備機器學習模型開發經驗
  • 熟悉多模態數據(文本、音頻、圖像)

受衆

  • AI研究人員
  • 高級開發者
  • ML科學家
 14 時間:

人數


每位參與者的報價

Upcoming Courses

課程分類