聯繫我們

課程簡介

EXO 基礎架構即程式碼

  • EXO 部署模式概覽:單節點、多節點和 RDMA 叢集
  • 使用組態管理自動化依賴套件安裝(Xcode、uv、Node.js、Rust)
  • 使用 Nix flakes 建構可重複的 EXO 版本和開發者環境
  • 編寫 Ansible playbook 或 shell 腳本進行無人值守叢集部署

可重複建置與 CI 整合

  • 固定依賴套件版本並在 CI 管線中建置儀表板
  • 在 GitHub Actions 或 GitLab CI 執行器上運行 EXO 冒煙測試
  • 建立金磚映像檔和基於快照的回滾流程,適用於 macOS 和 Linux VMs
  • 將自訂模型卡片與應用程式程式碼一起進行版本控制

叢集發現與網路自動化

  • 配置 mDNS 和靜態 DNS 以實現可靠的 libp2p 節點發現
  • 自動化網絡配置文件創建和 macOS 上的 Thunderbolt 橋接管理
  • 使用自訂命名空間(EXO_LIBP2P_NAMESPACE)分離開發、 staging 和生產叢集
  • 多租戶環境的防火牆規則與網路分段

儲存與模型生命週期管理

  • 設計 EXO_MODELS_DIRS 和 EXO_MODELS_READ_ONLY_DIRS 策略
  • 掛載 NFS 或 SAN 共用作為唯讀模型倉庫,以實現快速部署
  • 過時快取回收與版本化權重保留政策
  • 在滾動更新前自動化模型預下載和健康檢查

監控與警報

  • 將 EXO 日誌傳輸至集中式日誌系統(ELK、Loki 或 Splunk)
  • 從 EXO_TRACING_ENABLED 輸出建構 Grafana 儀表板
  • 對叢集成員變化、OOM 事件和推理延遲尖峰發出警報
  • 將 macmon 硬體遙測數據與模型效能衰退關聯

更新、回滾與災難復原

  • 在全叢集部署前,於突顯節點上預演 EXO 二進位檔更新
  • 模型級別回滾:在不重新下載的情況下切換量化版本
  • 備份與還原叢集狀態、自訂命名空間及快取權重
  • 編寫全叢集重建情境的復原運行手冊

安全加固與合規性

  • 在儀表板和 API 的反向代理層(nginx、traefik)應用 TLS
  • 對 EXO 端點實施 API 速率限制和 IP 白名單
  • 使用 VLAN 和零信任網路策略隔離叢集
  • 稽核存取權限並維護已部署模型與版本的清冊

最低要求

  • 具備 DevOps 實踐經驗(CI/CD、IaC、容器編排)
  • 熟悉 macOS 或 Linux 系統管理與套件管理
  • 理解網路、DNS 和儲存概念

受眾

  • DevOps 工程師
  • 基礎架構架構師
  • 負責本機端 AI 工作負載的 SRE
 21 小時

人數


每位參與者的報價

客戶評論 (2)

即將到來的課程

課程分類