感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
LLMOps簡介
- LLMOps與MLOps的差異:操作LLM的獨特挑戰
- LLM應用生命週期:提示、評估、部署、監控
- GenAI應用生產就緒檢查清單
提示管理與版本控管
- 提示模板系統與變量注入
- 結合自動回歸測試的提示語義版本控制
- 提示註冊表與協作工作流程
LLM規模化評估
- 評估維度:準確性、相關性、安全性、接地性
- LLM作為評判者的指標與人類評估管道
- 自動化評估框架:RAGAS、DeepEval及自定義評估器
- LLM部署在CI/CD中的質量閘道
安全防護機制與內容治理
- 輸入與輸出防護:NeMo Guardrails與Guardrails AI
- 個人身份信息檢測、毒性過濾及主題邊界管控
- 防禦越獄攻擊與提示注入策略
- 對LLM應用進行紅隊測試以確保安全性
LLM可觀測性與監控
- 遙測數據:令牌使用量、延遲、成本及質量指標
- 檢測LLM輸出與嵌入空間的漂移情況
- 多輪代理對話的會話級追蹤
- 結合LangSmith、Arize與OpenTelemetry的儀表板與警報機制
AI網關與模型編排
- 使用LiteLLM與Portkey進行多供應商路由
- 故障切換策略、重試邏輯與電路斷路器機制
- 成本感知的模型選擇與負載均衡
- 速率限制、配額管理與API金鑰治理
效能優化
- 結合向量資料庫的語義緩存與精確匹配策略
- 透過約束解碼強制執行結構化輸出
- 批次處理、串流與併發模式
- 跨模型供應商的延遲優化
治理、合規性與審計
- LLM審計軌跡:提示日誌、回應日誌及決策溯源
- LLM API的資料 residency 與隱私考量
- 企業內LLM使用的策略即程式碼
- 建立內部LLM運作手冊
最低要求
- 具備建構或整合LLM應用程序的經驗。
- 熟悉Python與REST API。
- 基礎掌握提示工程的相關概念。
受眾對象
- transitioning至LLM運作的ML工程師與MLOps從業者。
- 負責LLM基礎設施的平台工程師。
- 管理生產環境GenAI部署的技術負責人。
14 小時
客戶評論 (2)
使用正确且有效的提示词
Marses Pacaldo
課程 - Generative AI and Prompt Engineering for Corporate Professionals
機器翻譯
互動式風格,練習
Tamas Tutuntzisz
課程 - Introduction to Prompt Engineering
機器翻譯