聯繫我們

課程簡介

為部署準備機器學習模型

  • 使用 Docker 封裝模型。
  • 從 TensorFlow 和 PyTorch 匯出模型。
  • 版本控制與儲存考量。

在 Kubernetes 上提供服務模型

  • 推理伺服器概覽。
  • 部署 TensorFlow Serving 和 TorchServe。
  • 設定模型端點。

推理優化技術

  • 批次處理策略。
  • 併發請求處理。
  • 延遲與吞吐量調優。

自動縮放 ML 工作負載

  • 水平 Pod 自動縮放器 (HPA)。
  • 垂直 Pod 自動縮放器 (VPA)。
  • Kubernetes 事件驅動自動縮放 (KEDA)。

GPU 配置與資源管理

  • 配置 GPU 節點。
  • NVIDIA 設備插件概覽。
  • ML 工作負載的資源請求與限制。

模型發布與發布策略

  • 藍綠部署。
  • 漸進式發布模式。
  • 用於模型評估的 A/B 測試。

生產環境中 ML 的監控與可觀測性

  • 推理工作負載的指標。
  • 記錄與追蹤實踐。
  • 儀表板與警報機制。

安全與可靠性考量

  • 保護模型端點。
  • 網路政策與存取控制。
  • 確保高可用性。

總結與下一步行動。

最低要求

  • 了解容器化應用程式工作流程。
  • 具備基於 Python 的機器學習模型經驗。
  • 熟悉 Kubernetes 基礎知識。

目標受眾

  • ML 工程師。
  • DevOps 工程師。
  • 平台工程團隊。
 14 小時

人數


每位參與者的報價

客戶評論 (3)

即將到來的課程

課程分類