聯繫我們
 課程時長 35 時間:

課程簡介

簡介與診斷基礎

  • LLM 系統中失效模式概觀及常見 Ollama 特定問題
  • 建立可重現的實驗與受控環境
  • 除錯工具集:本地日誌、請求/回應捕捉及沙箱隔離

重現與隔離失效問題

  • 創建最小化失效範例與種子的技術
  • 有狀態 vs 無狀態互動:隔離與上下文相關的 Bug
  • 確定性、隨機性,以及如何控制非確定性行為

行為評估與指標

  • 定量指標:準確率、ROUGE/BLEU 變體、校準度及困惑度代理指標
  • 定性評估:人類在迴圈(human-in-the-loop)評分及評分標準設計
  • 任務特定的保真度檢查及驗收標準

自動化測試與回歸

  • 提示詞與元件的單元測試、情境測試及端對端測試
  • 創建回歸測試套件及黄金範例基準(golden example baselines)
  • 整合 Ollama 模型更新的 CI/CD 流程及自動驗證閘門

可觀察性與監控

  • 結構化日誌、分佈式追蹤及關聯 ID
  • 關鍵運營指標:延遲、代幣使用量、錯誤率及品質訊號
  • 告警機制、儀表板及用於模型後端服務的 SLI/SLO

進階根本原因分析

  • 追蹤圖形化提示詞、工具呼叫及多輪對話流程
  • 比較 A/B 診斷及消融實驗(ablation studies)
  • 數據溯源、數據集除錯及處理數據集引起的失效

安全性、穩健性與修復策略

  • 緩解措施:過濾、錨定(grounding)、檢索增強及提示詞腳手架(scaffolding)
  • 模型更新的回滾(rollback)、灰度發佈(canary)及分階段推出模式
  • 事後分析(post-mortems)、經驗總結及持續改進循環

總結與後續步驟

最低要求

  • 具備建置與部署 LLM 應用程序的豐富經驗
  • 熟悉 Ollama 工作流及模型託管機制
  • 熟練使用 Python、Docker 及基礎可觀察性工具

目標受眾

  • AI 工程師
  • ML Ops 專家
  • 負責生產環境 LLM 系統的 QA 團隊

人數


每位參與者的報價

即將到來的課程

課程分類