聯繫我們

課程簡介

生產型代理系統的基礎

  • 代理架構:迴圈、工具、記憶體及編排層
  • 代理生命週期:開發、部署及持續運作
  • 生產規模代理管理的挑戰

基礎設施與部署模型

  • 於容器化及雲端環境中部署代理
  • 擴展模式:橫向 versus 縱向擴展、並發性與節流機制
  • 多代理編排與負載平衡

監控與可觀測性

  • 關鍵指標:延遲、成功率、記憶體使用量及代理呼叫深度
  • 追蹤代理活動及呼叫圖譜
  • 使用 Prometheus、OpenTelemetry 及 Grafana 進行可觀測性植入

日誌、稽核與合規性

  • 集中式日誌記錄及結構化事件收集
  • 代理工作流中的合規性與可審計性
  • 設計稽核軌跡及重播機制以利除錯

效能調校與資源優化

  • 降低推理開銷並優化代理編排週期
  • 模型快取及輕量級嵌入向量以加快檢索速度
  • AI 管線的負載測試與壓力情境模擬

成本控管與治理

  • 了解代理成本驅動因素:API 呼叫、記憶體、運算資源及外部整合
  • 追蹤代理層級成本並實施攤提模型
  • 自動化政策以防止代理過度擴散及閒置資源消耗

代理的 CI/CD 與發布策略

  • 將代理管線整合至 CI/CD 系統
  • 迭代式代理更新的測試、版本控管及復原策略
  • 漸進式發布及安全部署機制

失敗復原與可靠度工程

  • 設計具備容錯能力與優雅降級能力的系統
  • 代理可靠性的重試、逾時及斷路器模式
  • AI 營運的事件回應及事後檢討框架

期末專案

  • 建構並部署具備完整監控與成本追蹤功能的代理式 AI 系統
  • 模擬負載、測量效能並優化資源使用
  • 向同儕展示最終架構及監控儀表板

總結與後續步驟

最低要求

  • 具備扎實的 MLOps 及生產型機器學習系統知識
  • 擁有容器化部署經驗(Docker/Kubernetes)
  • 熟悉雲端成本優化及可觀測性工具

受眾對象

  • MLOps 工程師
  • Site Reliability Engineers (SREs)
  • 負責監督 AI 基礎設施的工程主管
 21 小時

人數


每位參與者的報價

客戶評論 (3)

即將到來的課程

課程分類