課程簡介

準備機器學習模型進行部署

  • 使用Docker打包模型
  • 從TensorFlow和PyTorch導出模型
  • 版本控制和存儲注意事項

在Kubernetes上服務模型

  • 推理服務器概述
  • 部署TensorFlow Serving和TorchServe
  • 設置模型端點

推理優化技術

  • 批處理策略
  • 併發請求處理
  • 延遲和吞吐量調優

自動擴展ML工作負載

  • 水平Pod自動擴展器(HPA)
  • 垂直Pod自動擴展器(VPA)
  • Kubernetes事件驅動自動擴展(KEDA)

GPU配置和資源管理

  • 配置GPU節點
  • NVIDIA設備插件概述
  • ML工作負載的資源請求和限制

模型發佈和發佈策略

  • 藍/綠部署
  • 金絲雀發佈模式
  • 用於模型評估的A/B測試

生產環境中的ML監控和可觀測性

  • 推理工作負載的指標
  • 日誌記錄和跟蹤實踐
  • 儀表板和告警

安全性和可靠性考慮

  • 保護模型端點
  • 網絡策略和訪問控制
  • 確保高可用性

總結與下一步

最低要求

  • 瞭解容器化應用的工作流程
  • 有使用Python機器學習模型的經驗
  • 熟悉Kubernetes基礎知識

受衆

  • ML工程師
  • DevOps工程師
  • 平臺工程團隊
 14 時間:

人數


每位參與者的報價

客戶評論 (5)

即將到來的課程

課程分類