聯繫我們
 課程時長 21 時間:

課程簡介

Mastra 除錯與評估基礎

  • 理解代理行為模型與失敗模式
  • Mastra 內的除錯核心原則
  • 評估確定性與非確定性的代理動作

設定代理測試環境

  • 設定測試沙箱與隔離評估空間
  • 捕獲日誌、追蹤與遙測數據以進行詳細分析
  • 準備用於結構化測試的数据集與提示詞

除錯 AI 代理行為

  • 追蹤決策路徑與內部推理訊號
  • 識別幻覺、錯誤及非預期行為
  • 使用可觀測性儀表板進行根本原因調查

評估指標與基準測試框架

  • 定義定量與定性評估指標
  • 衡量準確性、一致性與情境合規性
  • 應用基準測試數據集進行可重複的評估

AI 代理的可靠性工程

  • 為長時程運作的代理設計可靠性測試
  • 偵測代理效能的漂移與退化
  • 為關鍵工作流實施安全防護機制

品質保證流程與自動化

  • 建立用於持續評估的 QA 管道
  • 自動化代理更新的回歸測試
  • 將 QA 整合至 CI/CD 及企業工作流

減少幻覺的進階技術

  • 減少非預期輸出的提示詞策略
  • 驗證迴圈與自我檢查機制
  • 實驗不同模型組合以提升可靠性

報告、監控與持續改進

  • 開發 QA 報告與代理計分卡
  • 監控長期行為與錯誤模式
  • 針對演進中的系統迭代評估框架

總結與下一步

最低要求

  • 理解 AI 代理行為與模型互動
  • 具有除錯或測試複雜軟體系統的經驗
  • 熟悉可觀測性或記錄工具

目標受眾

  • QA 工程師
  • AI 可靠性工程師
  • 負責代理品質與效能的開發者

人數


每位參與者的報價

即將到來的課程

課程分類