感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
EXO 与本地 AI 集群介绍
- EXO 框架及 exo-explore 生态系统概述
- 集中式云推理与分布式本地推理的比较
- 架构：libp2p 设备发现、MLX 后端、仪表板及 API 层
- 硬件需求：Apple Silicon（M3 Ultra、M4 Pro/Max）、Thunderbolt 5、共享存储
在 macOS 上安装 EXO
- 设置 Xcode、Metal ToolChain 及 macOS 前提条件
- 安装 uv、Node.js、Rust nightly 工具链
- 安装用于 Apple Silicon 监控的固定版 macmon fork
- 克隆代码库并使用 npm 构建仪表板
- 从源代码运行 EXO 并验证 localhost:52415 仪表板
在 Linux 上安装 EXO
- 通过 apt 或 Homebrew 在 Linux 上安装依赖项
- 配置 uv、Node.js 18+ 及 Rust nightly
- 构建仪表板并在仅 CPU 模式下运行 EXO
- 目录布局：XDG 基础目录路径，涵盖配置、数据、缓存和日志
自动设备发现与集群形成
- 理解基于 libp2p 的本地网络自动发现
- 使用 EXO_LIBP2P_NAMESPACE 配置自定义命名空间以实现集群隔离
- 在仪表板集群视图中验证节点成员身份
- 处理发现失败和网络分段问题
启用 Thunderbolt 5 上的 RDMA
- RDMA 架构及降低 99% 延迟的主张
- 在 macOS 恢复模式下使用 rdma_ctl 启用 RDMA
- Mac Studio 的线缆需求及端口拓扑限制
- 确保所有集群节点上的 macOS 版本匹配
- 排查 RDMA 发现及 DHCP 配置问题
部署前沿模型
- 使用仪表板加载并分片 DeepSeek v3.1、Qwen3-235B 和 Llama 系列模型
- 通过 /instance/previews API 端点预览实例放置
- 使用流水线或张量并行分片创建模型实例
- 从 HuggingFace hub 配置自定义模型卡
监控与故障排除
- 阅读 EXO 日志并理解分布式追踪
- 在仪表板集群视图中解读集群健康状况
- 诊断工作节点故障及重连行为
- 使用 EXO_TRACING_ENABLED 进行性能瓶颈分析
集群维护与更新
- 更新 EXO 二进制文件及重建仪表板流程
- 迁移模型缓存并通过 NFS 管理预下载的模型
- 优雅地移除节点并重新平衡工作负载
最低要求
- 了解网络基础知识（IP、子网划分、防火墙）
- 拥有 macOS 或 Linux 命令行管理经验
- 熟悉 Python 包管理（pip/uv）和 Node.js 工具链
受众
- 系统管理员
- DevOps 工程师
- 负责本地部署 LLM 的 AI 基础设施架构师
21 小時
