聯繫我們

課程簡介

導入與診斷基礎

  • LLM 系統中的失效模式概覽及常見的 Ollama 特定問題
  • 建立可重現的實驗與受控環境
  • 除錯工具集:本機日誌、請求/回應捕捉以及沙盒化

重現與隔離失效

  • 建立最小失效範例與種子數據的技巧
  • 有狀態與無狀態互動:隔離與上下文相關的錯誤
  • 確定性、隨機性以及如何控制非確定性行為

行為評估與指標

  • 量化指標:準確度、ROUGE/BLEU 變體、校準以及困惑度代理值
  • 質化評估:人類在環評分與評量標準設計
  • 任務特定保真度檢查與驗收標準

自動化測試與回歸

  • 提示詞與元件的單元測試、情境及端到端測試
  • 建立回歸測試套件與黃金範例基準
  • Ollama 模型更新的 CI/CD 整合及自動化驗證閘道

可觀察性與監控

  • 結構化日誌、分佈式追蹤以及關聯 ID
  • 關鍵營運指標:延遲、token 用量、錯誤率及品質信號
  • 模型支援服務的警報、儀表板及 SLIs/SLOs

進階根本原因分析

  • 透過圖化提示詞、工具呼叫和多輪流程進行追蹤
  • 比較式 A/B 診斷與消融研究
  • 資料來源、數據集除錯以及處理由數據集引發的失效

安全性、堅固性與修復策略

  • 緩解措施:過濾、錨定、檢索增強及提示詞架構設計
  • 模型更新的回滾、黃金絲帶測試以及分階段發布模式
  • 事後檢討、經驗教訓以及持續改進循環

總結與下一步

最低要求

  • 具備建構與部署 LLM 應用程式的豐富經驗
  • 熟悉 Ollama 工作流程與模型託管
  • 熟練使用 Python、Docker 及基礎可觀察性工具

目標受眾

  • AI 工程師
  • ML Ops 專業人員
  • 負責生產環境 LLM 系統的 QA 團隊
 35 小時

人數


每位參與者的報價

即將到來的課程

課程分類