感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
Ollama 擴展簡介
- Ollama 的架構與擴展考量
- 多用戶部署中的常見瓶頸
- 基礎設施準備的最佳實踐
資源分配與 GPU 優化
- CPU/GPU 的高效利用策略
- 內存與帶寬考量
- 容器級別的資源限制
基於容器與 Kubernetes 的部署
- 使用 Docker 對 Ollama 進行容器化
- 在 Kubernetes 集群中運行 Ollama
- 負載平衡與服務發現
自動擴展與批處理
- 設計 Ollama 的自動擴展策略
- 用於優化吞吐量的批推理技術
- 延遲與吞吐量之間的權衡
延遲優化
- 分析推理性能
- 緩存策略與模型預熱
- 降低 I/O 與通信開銷
監控可觀察性
- 集成 Prometheus 以獲取指標
- 使用 Grafana 構建儀表板
- Ollama 基礎設施的警報與事件響應
成本管理與擴展策略
- 成本意識型 GPU 分配
- 雲端與本地部署的考量
- 可持續擴展的策略
總結與下一步
最低要求
- 具備 Linux 系統管理經驗
- 理解容器化與編排技術
- 熟悉機器學習模型的部署
受眾對象
- DevOps 工程師
- ML 基礎設施團隊
- 站點可靠性工程師
21 小時