感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程時長 35 時間:
課程簡介
簡介與診斷基礎
- LLM 系統中的失敗模式概覽及 Ollama 特定常見問題
- 建立可重現的實驗及受控環境
- 偵錯工具集:本地日誌、請求/回應捕獲及沙箱隔離
重現與隔離失敗案例
- 創建最小失敗範例及種子的技術
- 有狀態與無狀態互動:隔離上下文相關錯誤
- 確定性、隨機性,以及控制非確定性行為
行為評估與指標
- 定量指標:準確度、ROUGE/BLEU 變體、校準及困惑度(Perplexity)代理指標
- 定性評估:人在迴圈(Human-in-the-loop)評分及評分標準(Rubric)設計
- 特定任務的忠誠度檢查及驗收標準
自動測試與回歸
- 提示詞及組件的單元測試,情境測試及端到端測試
- 創建回歸測試套件及黃金範例基準(Golden Example Baselines)
- Ollama 模型更新的 CI/CD 整合及自動化驗證閘門
可觀測性與監控
- 結構化日誌、分布式追蹤及關聯 ID
- 關鍵運營指標:延遲、Token 使用量、錯誤率及質量信號
- 警報、儀表板,以及為模型支援服務設定 SLI/SLO
進階根本原因分析
- 追蹤圖形化提示詞、工具呼叫及多輪對話流程
- 比較 A/B 診斷及消融研究(Ablation Studies)
- 數據溯源、數據集偵錯及解決由數據集引起的失敗
安全性、穩健性與修復策略
- 緩解措施:過濾、接地(Grounding)、檢索增強(RAG)及提示詞腳手架(Prompt Scaffolding)
- 模型更新的回滾(Rollback)、灰度(Canary)及分階段推出模式
- 事後分析(Post-mortems)、經驗教訓及持續改進循環
總結與下一步
最低要求
- 具備建置與部署大型語言模型(LLM)應用的豐富經驗
- 熟悉 Ollama 工作流程及模型託管機制
- 熟練使用 Python、Docker 及基礎可觀測性工具
目標受眾
- AI 工程師
- ML Ops 專業人士
- 負責生產環境 LLM 系統的 QA 團隊