感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
導入與診斷基礎
- LLM 系統中的失效模式概覽及常見的 Ollama 特定問題
- 建立可重現的實驗與受控環境
- 除錯工具集:本機日誌、請求/回應捕捉以及沙盒化
重現與隔離失效
- 建立最小失效範例與種子數據的技巧
- 有狀態與無狀態互動:隔離與上下文相關的錯誤
- 確定性、隨機性以及如何控制非確定性行為
行為評估與指標
- 量化指標:準確度、ROUGE/BLEU 變體、校準以及困惑度代理值
- 質化評估:人類在環評分與評量標準設計
- 任務特定保真度檢查與驗收標準
自動化測試與回歸
- 提示詞與元件的單元測試、情境及端到端測試
- 建立回歸測試套件與黃金範例基準
- Ollama 模型更新的 CI/CD 整合及自動化驗證閘道
可觀察性與監控
- 結構化日誌、分佈式追蹤以及關聯 ID
- 關鍵營運指標:延遲、token 用量、錯誤率及品質信號
- 模型支援服務的警報、儀表板及 SLIs/SLOs
進階根本原因分析
- 透過圖化提示詞、工具呼叫和多輪流程進行追蹤
- 比較式 A/B 診斷與消融研究
- 資料來源、數據集除錯以及處理由數據集引發的失效
安全性、堅固性與修復策略
- 緩解措施:過濾、錨定、檢索增強及提示詞架構設計
- 模型更新的回滾、黃金絲帶測試以及分階段發布模式
- 事後檢討、經驗教訓以及持續改進循環
總結與下一步
最低要求
- 具備建構與部署 LLM 應用程式的豐富經驗
- 熟悉 Ollama 工作流程與模型託管
- 熟練使用 Python、Docker 及基礎可觀察性工具
目標受眾
- AI 工程師
- ML Ops 專業人員
- 負責生產環境 LLM 系統的 QA 團隊
35 小時