聯繫我們

課程簡介

LLMOps簡介

  • LLMOps與MLOps的差異:操作LLM的獨特挑戰
  • LLM應用生命週期:提示、評估、部署、監控
  • GenAI應用生產就緒檢查清單

提示管理與版本控管

  • 提示模板系統與變量注入
  • 結合自動回歸測試的提示語義版本控制
  • 提示註冊表與協作工作流程

LLM規模化評估

  • 評估維度:準確性、相關性、安全性、接地性
  • LLM作為評判者的指標與人類評估管道
  • 自動化評估框架:RAGAS、DeepEval及自定義評估器
  • LLM部署在CI/CD中的質量閘道

安全防護機制與內容治理

  • 輸入與輸出防護:NeMo Guardrails與Guardrails AI
  • 個人身份信息檢測、毒性過濾及主題邊界管控
  • 防禦越獄攻擊與提示注入策略
  • 對LLM應用進行紅隊測試以確保安全性

LLM可觀測性與監控

  • 遙測數據:令牌使用量、延遲、成本及質量指標
  • 檢測LLM輸出與嵌入空間的漂移情況
  • 多輪代理對話的會話級追蹤
  • 結合LangSmith、Arize與OpenTelemetry的儀表板與警報機制

AI網關與模型編排

  • 使用LiteLLM與Portkey進行多供應商路由
  • 故障切換策略、重試邏輯與電路斷路器機制
  • 成本感知的模型選擇與負載均衡
  • 速率限制、配額管理與API金鑰治理

效能優化

  • 結合向量資料庫的語義緩存與精確匹配策略
  • 透過約束解碼強制執行結構化輸出
  • 批次處理、串流與併發模式
  • 跨模型供應商的延遲優化

治理、合規性與審計

  • LLM審計軌跡:提示日誌、回應日誌及決策溯源
  • LLM API的資料 residency 與隱私考量
  • 企業內LLM使用的策略即程式碼
  • 建立內部LLM運作手冊

最低要求

  • 具備建構或整合LLM應用程序的經驗。
  • 熟悉Python與REST API。
  • 基礎掌握提示工程的相關概念。

受眾對象

  • transitioning至LLM運作的ML工程師與MLOps從業者。
  • 負責LLM基礎設施的平台工程師。
  • 管理生產環境GenAI部署的技術負責人。
 14 小時

人數


每位參與者的報價

客戶評論 (2)

即將到來的課程

課程分類