聯繫我們

課程簡介

EXO 与本地 AI 集群介绍

  • EXO 框架及 exo-explore 生态系统概述
  • 集中式云推理与分布式本地推理的比较
  • 架构:libp2p 设备发现、MLX 后端、仪表板及 API 层
  • 硬件需求:Apple Silicon(M3 Ultra、M4 Pro/Max)、Thunderbolt 5、共享存储

在 macOS 上安装 EXO

  • 设置 Xcode、Metal ToolChain 及 macOS 前提条件
  • 安装 uv、Node.js、Rust nightly 工具链
  • 安装用于 Apple Silicon 监控的固定版 macmon fork
  • 克隆代码库并使用 npm 构建仪表板
  • 从源代码运行 EXO 并验证 localhost:52415 仪表板

在 Linux 上安装 EXO

  • 通过 apt 或 Homebrew 在 Linux 上安装依赖项
  • 配置 uv、Node.js 18+ 及 Rust nightly
  • 构建仪表板并在仅 CPU 模式下运行 EXO
  • 目录布局:XDG 基础目录路径,涵盖配置、数据、缓存和日志

自动设备发现与集群形成

  • 理解基于 libp2p 的本地网络自动发现
  • 使用 EXO_LIBP2P_NAMESPACE 配置自定义命名空间以实现集群隔离
  • 在仪表板集群视图中验证节点成员身份
  • 处理发现失败和网络分段问题

启用 Thunderbolt 5 上的 RDMA

  • RDMA 架构及降低 99% 延迟的主张
  • 在 macOS 恢复模式下使用 rdma_ctl 启用 RDMA
  • Mac Studio 的线缆需求及端口拓扑限制
  • 确保所有集群节点上的 macOS 版本匹配
  • 排查 RDMA 发现及 DHCP 配置问题

部署前沿模型

  • 使用仪表板加载并分片 DeepSeek v3.1、Qwen3-235B 和 Llama 系列模型
  • 通过 /instance/previews API 端点预览实例放置
  • 使用流水线或张量并行分片创建模型实例
  • 从 HuggingFace hub 配置自定义模型卡

监控与故障排除

  • 阅读 EXO 日志并理解分布式追踪
  • 在仪表板集群视图中解读集群健康状况
  • 诊断工作节点故障及重连行为
  • 使用 EXO_TRACING_ENABLED 进行性能瓶颈分析

集群维护与更新

  • 更新 EXO 二进制文件及重建仪表板流程
  • 迁移模型缓存并通过 NFS 管理预下载的模型
  • 优雅地移除节点并重新平衡工作负载

最低要求

  • 了解网络基础知识(IP、子网划分、防火墙)
  • 拥有 macOS 或 Linux 命令行管理经验
  • 熟悉 Python 包管理(pip/uv)和 Node.js 工具链

受众

  • 系统管理员
  • DevOps 工程师
  • 负责本地部署 LLM 的 AI 基础设施架构师
 21 小時

人數


每位參與者的報價

即將到來的課程

課程分類