聯繫我們

課程簡介

Ollama 擴展簡介

  • Ollama 的架構與擴展考量
  • 多用戶部署中的常見瓶頸
  • 基礎設施準備的最佳實踐

資源分配與 GPU 優化

  • CPU/GPU 的高效利用策略
  • 內存與帶寬考量
  • 容器級別的資源限制

基於容器與 Kubernetes 的部署

  • 使用 Docker 對 Ollama 進行容器化
  • 在 Kubernetes 集群中運行 Ollama
  • 負載平衡與服務發現

自動擴展與批處理

  • 設計 Ollama 的自動擴展策略
  • 用於優化吞吐量的批推理技術
  • 延遲與吞吐量之間的權衡

延遲優化

  • 分析推理性能
  • 緩存策略與模型預熱
  • 降低 I/O 與通信開銷

監控可觀察性

  • 集成 Prometheus 以獲取指標
  • 使用 Grafana 構建儀表板
  • Ollama 基礎設施的警報與事件響應

成本管理與擴展策略

  • 成本意識型 GPU 分配
  • 雲端與本地部署的考量
  • 可持續擴展的策略

總結與下一步

最低要求

  • 具備 Linux 系統管理經驗
  • 理解容器化與編排技術
  • 熟悉機器學習模型的部署

受眾對象

  • DevOps 工程師
  • ML 基礎設施團隊
  • 站點可靠性工程師
 21 小時

人數


每位參與者的報價

即將到來的課程

課程分類