多模態應用中的大型語言模型培訓
整合文字、影像與音訊等異質資料，代表著大型語言模型（LLM）應用的前沿。這種技術能建構更具整體感與情境感知能力的 AI 系統。
本課程由講師帶領並採實體或線上直播形式進行。目標學員為希望將 LLM 應用於多模態資料，以開發高階 AI 應用程式的中階資料科學家、機器學習工程師及軟體開發人員。
完成培訓後，學員將能夠：
- 理解 LLM 多模態學習的原理。
- 運用 LLM 處理並分析文字、影像與音訊資料。
- 開發能發揮多模態資料整合優勢的應用程式。
- 評估多模態 LLM 系統的效能。
課程形式
- 互動式講授與討論。
- 大量練習與實作。
- 於即時實驗室環境進行的動手實作。
客製化選項
- 如需本課程的客製化培訓，請聯繫我們以安排。
課程簡介
多模態學習入門
- 多模態 AI 概覽
- 多模態資料處理的挑戰
- 多模態 LLM 的效益
深入理解大型語言模型
- 最新進 LLM 的架構
- 使用多模態資料訓練 LLM
- 案例研究：成功的多模態 LLM 應用
處理多模態資料
- 文字、影像與音訊的資料前置處理技術
- 特徵擷取與表示學習
- 在 LLM 中整合多模態資料
開發多模態 LLM 應用程式
- 設計多模態互動的使用者介面
- LLM 在虛擬助手與聊天機器人中的應用
- 使用 LLM 打造沉浸式體驗
評估與最佳化多模態系統
- 多模態 LLM 的效能指標
- 提升準確率與效率的最佳化策略
- 處理多模態系統中的偏誤與公平性問題
實作實驗室：建構多模態 LLM 專案
- 建置多模態資料集
- 針對特定用例實施多模態 LLM
- 測試並微調系統
總結與下一步
最低要求
- 具備機器學習與神經網路基礎知識
- 擁有 Python 程式設計經驗
- 熟悉各種資料類型（文字、影像、音訊）的前置處理
適合對象
- 資料科學家
- 機器學習工程師
- 軟體開發人員
- 專注於 AI 及自然語言處理的研究人員
需要幫助選擇合適的課程嗎？
taiwan@nobleprog.com 或 +65 88708290
多模態應用中的大型語言模型培訓 - 詢問
多模態應用中的大型語言模型 - 咨詢詢問
即將到來的課程
相關課程
進階 LangGraph：最佳化、除錯與監控複雜圖形
35 小時使用 Devstral 建構編碼代理：從代理設計到工具整合
14 小時在這場於 台灣 舉行的實地培訓中掌握 Devstral。課程內容涵蓋架構、代理工作流設計及工具整合。本課程專為進階工程師設計，透過動手實驗，建構能提升現代開發環境中生產力與安全性的編碼代理。
開源模型運維：使用 Devstral 與 Mistral 模型進行自我託管、微調與治理
14 小時這門由講師授課的訓練 台灣 專為尋求精通 Devstral 和 Mistral 模型自我託管與微調的機器學習工程師設計。學員將學習實務性的治理、監控與合規技術，以在生產環境中自信地部署開源人工智慧。
金融領域中的 LangGraph 應用
35 小時LangGraph 基礎：基於圖的 LLM 提示與鏈接
14 小時LangGraph 在醫療領域的應用：針對受監管環境的流程編排
35 小時LangGraph 在legal應用中的實務
35 小時使用 LangGraph 與 LLM 代理建構動態工作流
14 小時LangGraph 行銷自動化
14 小時Le Chat Enterprise：私訊 ChatOps、整合功能與管理控制
14 小時這門在 台灣 舉行的現場培訓課程涵蓋 Le Chat Enterprise，這是一款用於安全、治理型對話式 AI 的私訊 ChatOps 解決方案。學員將學習如何部署、配置該系統，並將其與企業應用程式進行整合，以啟用 RBAC、SSO 及合規驅動的控制機制，從而建立可擴展且安全的 AI 工作流程。
具成本效益的 LLM 架構：Mistral 規模化應用（效能與成本工程）
14 小時透過這門 14 小時的即時培訓課程，掌握具成本效益的 Mistral LLM 架構。您將學習如何在 台灣 環境中部署、優化並擴展 Mistral Medium 3，利用批次處理、量化及高效能推論服務策略，針對企業工作負載實現最大吞吐量與最低成本。
透過 Mistral 連接器與整合功能，實現對話式助手的產品化
14 小時這門在 台灣 舉行的即時培訓課程，涵蓋了將 Mistral 對話式助手整合至企業工作流程的內容。參與者將學習如何連接 SaaS 工具、實施檢索增強生成技術，並為面向客戶及內部的聊天介面設計有效的使用者體驗模式。
使用 Mistral Medium 3 進行企業級部署
14 小時這門在 台灣 進行的導師帶領訓練，協助高級 AI 工程師部署並保護 Mistral Medium 3。您將最佳化推理成本、實施多模態用例，並套用企業合規實務。課程包含 API 和自託管設定的動手實驗室。
Mistral 負責任 AI：隱私、資料駐留與企業級控制
14 小時這門在 台灣 舉辦的 Mistral 負責任 AI 現場培訓專為合規與安全負責人打造。您將掌握隱私保護技術、資料駐留策略，以及 RBAC 和 SSO 等企業級控制機制，以確保 AI 部署的安全與合規。
使用 Mistral 模型建立多模態應用（視覺、OCR 與文件理解）
14 小時學習如何使用 Mistral 模型建立多模態應用，專注於 OCR、文件理解及視覺-文字搜尋。此實戰培訓涵蓋管線建置、NLP 整合及企業級設計，提供線上或於 台灣 現場授課的選擇。
