EXO:端到端本地 AI 集群部署培訓
EXO 是一個開源框架,可将 Apple Silicon 设备连接成分布式 AI 集群, enabling 在本地推断超过单台设备存储容量的前沿模型。
本课程为讲师主导的现场培训(线上或线下),面向希望部署、配置和管理 EXO 集群以在多个 Apple Silicon 或 Linux 节点上进行私有 LLM 推理的系统管理员和 DevOps 工程师。
通过本课程的学习,参与者将能够:
- 在 macOS 和 Linux 节点上安装和配置 EXO。
- 启用自动设备发现并构建多节点集群。
- 启用并验证 Thunderbolt 5 上的 RDMA,以实现超低延迟的设备间通信。
- 在集群设备上部署前沿模型(DeepSeek、Qwen、Llama)。
- 监控集群健康状态并排查常见的部署问题。
课程格式
- 互动讲座与讨论。
- 大量的练习和实践。
- 在实时实验室环境中进行动手实施。
课程定制选项
- 如需请求定制培训,请联系我们以安排。
課程簡介
EXO 与本地 AI 集群介绍
- EXO 框架及 exo-explore 生态系统概述
- 集中式云推理与分布式本地推理的比较
- 架构:libp2p 设备发现、MLX 后端、仪表板及 API 层
- 硬件需求:Apple Silicon(M3 Ultra、M4 Pro/Max)、Thunderbolt 5、共享存储
在 macOS 上安装 EXO
- 设置 Xcode、Metal ToolChain 及 macOS 前提条件
- 安装 uv、Node.js、Rust nightly 工具链
- 安装用于 Apple Silicon 监控的固定版 macmon fork
- 克隆代码库并使用 npm 构建仪表板
- 从源代码运行 EXO 并验证 localhost:52415 仪表板
在 Linux 上安装 EXO
- 通过 apt 或 Homebrew 在 Linux 上安装依赖项
- 配置 uv、Node.js 18+ 及 Rust nightly
- 构建仪表板并在仅 CPU 模式下运行 EXO
- 目录布局:XDG 基础目录路径,涵盖配置、数据、缓存和日志
自动设备发现与集群形成
- 理解基于 libp2p 的本地网络自动发现
- 使用 EXO_LIBP2P_NAMESPACE 配置自定义命名空间以实现集群隔离
- 在仪表板集群视图中验证节点成员身份
- 处理发现失败和网络分段问题
启用 Thunderbolt 5 上的 RDMA
- RDMA 架构及降低 99% 延迟的主张
- 在 macOS 恢复模式下使用 rdma_ctl 启用 RDMA
- Mac Studio 的线缆需求及端口拓扑限制
- 确保所有集群节点上的 macOS 版本匹配
- 排查 RDMA 发现及 DHCP 配置问题
部署前沿模型
- 使用仪表板加载并分片 DeepSeek v3.1、Qwen3-235B 和 Llama 系列模型
- 通过 /instance/previews API 端点预览实例放置
- 使用流水线或张量并行分片创建模型实例
- 从 HuggingFace hub 配置自定义模型卡
监控与故障排除
- 阅读 EXO 日志并理解分布式追踪
- 在仪表板集群视图中解读集群健康状况
- 诊断工作节点故障及重连行为
- 使用 EXO_TRACING_ENABLED 进行性能瓶颈分析
集群维护与更新
- 更新 EXO 二进制文件及重建仪表板流程
- 迁移模型缓存并通过 NFS 管理预下载的模型
- 优雅地移除节点并重新平衡工作负载
最低要求
- 了解网络基础知识(IP、子网划分、防火墙)
- 拥有 macOS 或 Linux 命令行管理经验
- 熟悉 Python 包管理(pip/uv)和 Node.js 工具链
受众
- 系统管理员
- DevOps 工程师
- 负责本地部署 LLM 的 AI 基础设施架构师
公開培訓課程需要5名以上參與者。
EXO:端到端本地 AI 集群部署培訓 - 訂單
EXO:端到端本地 AI 集群部署培訓 - 詢問
EXO:端到端本地 AI 集群部署 - 咨詢詢問
即將到來的課程
相關課程
進階 LangGraph:複雜圖表的最佳化、除錯與監控
35 小時LangGraph 是一個用於構建有狀態、多參與者 LLM 應用程序的框架,它將這些應用程序作為可組合的圖表來實現,具有持久化狀態並能控制執行過程。
本課程為講師帶領的實作培訓(線上或線下),旨在協助高階 AI 平台工程師、AI DevOps 及 ML 架構師優化、除錯、監控以及運行生產級別的 LangGraph 系統。
完成本培訓後,學員將能夠:
- 為速度、成本和可擴展性設計並優化複雜的 LangGraph 拓撲結構。
- 透過重試、逾時、冪等性和基於檢查點的恢復來構建可靠性。
- 除錯並追蹤圖表執行過程,檢查狀態,並系統性地複現生產環境中的問題。
- 透過日誌、指標和追蹤來為圖表注入工具,將其部署至生產環境,並監控服務等級協議 (SLA) 與成本。
課程形式
- 互動式講授與討論。
- 大量的練習與實作。
- 在即時實驗室環境中的動手實作。
課程客製化選項
- 如需為本課程申請客製化培訓,請與我們聯繫以進行安排。
使用 Devstral 構建編碼代理:從代理設計到工具化
14 小時Devstral 是一個開源框架,專為構建和運行編碼代理而設計,這些代理能夠與程式碼庫、開發者工具和 API 互動,從而提升工程生產力。
本課程由講師主導進行(線上或線下培訓),旨在幫助初級至中級的 ML 工程師、開發工具團隊以及 SRE 人員學習如何設計、實施並優化基於 Devstral 的編碼代理。
完成本培訓後,參與者將能夠:
- 設置和配置 Devstral 以進行編碼代理開發。
- 設計用於探索代碼庫與修改的代理工作流程。
- 將編碼代理整合至開發工具與 API。
- 實施安全且高效的代理部署最佳實踐。
課程形式
- 互動式講授與討論。
- 大量的練習與實作。
- 在真實實驗室環境中進行動手實作。
課程客製化選項
- 如需此課程的客製化培訓,請聯繫我們以安排。
Open-Source 模型運管:使用 Devstral 和 Mistral 模型進行自託管、微調與治理
14 小時Devstral 和 Mistral 模型是為靈活部署、微調和可擴展集成而設計的開源 AI 技術。
此由講師主導的培訓課程(線上或線下)面向中級至高級機器學習工程師、平台團隊和研究工程師,旨在讓他們能在生產環境中自託管、微調並治理 Mistral 和 Devstral 模型。
完成本課程後,參與者將能夠:
- 設置和配置用於 Mistral 和 Devstral 模型的自託管環境。
- 應用微調技術以提升特定領域的性能。
- 實施版本控制、監控以及生命週期治理。
- 確保開源模型的安全性、合規性與負責任的使用。
課程格式
- 互動式講授與討論。
- 自託管與微調的實作練習。
- 治理與監控管道的實驗室實作。
課程客製化選項
- 如需為本課程申請客製化培訓,請聯繫我們進行安排。
斐濟:生物技術與毒理學中的影像處理
14 小時本課程在 台灣(線上或線下)提供由講師主導的即時培訓,旨在幫助初級至中級的研究人員和實驗室專業人士處理和分析組織切片、血球細胞、藻類及其他生物樣本的影像。
完成本培訓後,學員將能夠:
- 熟悉 Fiji 介面並善用 ImageJ 的核心功能。
- 對科學影像進行預處理與增強,以提升分析品質。
- 定量分析影像,包括計數細胞及測量面積。
- 利用巨集和插件自動化重複性任務。
- 根據生物學研究中的特定影像分析需求,客製化工作流程。
LangGraph 在金融中的應用
35 小時LangGraph 是一個框架,用於構建具有狀態、多參與者的 LLM 應用程式,作為可組件的圖形結構,具備持久化狀態和對執行的控制。
這項由導師主導的現場培訓(線上或線下),旨在為中高級至高級專業人士設計,這些人士希望以適當的治理、可觀測性和合規性來設計、實施並運作基於 LangGraph 的金融解決方案。
完成本培訓後,學員將能夠:
- 設計符合監管和審計要求的特定於金融領域的 LangGraph 工作流程。
- 將金融數據標準和詞彙表整合到圖形狀態和工具中。
- 實施關鍵流程的可靠性、安全性以及人在迴路中的控制機制。
- 部署、監控並優化 LangGraph 系統,以滿足性能、成本和服務等級協議 (SLA) 的需求。
課程形式
- 互動式講座與討論。
- 大量的練習和實踐機會。
- 在實機實驗室環境中進行實務操作。
課程客製化選項
- 如需申請本課程的客製化培訓,請聯絡我們安排。
LangGraph 基礎:基於圖形的 LLM 提示與鏈接
14 小時LangGraph 是一個用於構建圖結構化 LLM 應用程序的框架,支持規劃、分支、工具使用、記憶和可控執行。
本培訓由講授員指導進行(線上或線下),旨在幫助初級開發人員、提示工程師以及數據從業者設計並構建基於 LangGraph 的可靠多步驟 LLM 工作流。
通過完成此培訓,參加者將能夠:
- 解釋 LangGraph 的核心概念(節點、邊、狀態),並了解何時使用它們。
- 構建可以分支、調用工具並保持記憶的提示鏈。
- 將檢索和外部的 API 集成到圖形工作流中。
- 測試、除錯並評估 LangGraph 應用程序,以確保其可靠性與安全性。
課程形式
- 互動式講授與引導討論。
- 沙箱環境中的實驗室指導與代碼講解。
- 基於場景的練習,涵蓋設計、測試與評估。
課程自定義選項
- 如需為本課程要求自定義培訓,請聯繫我們以安排。
LangGraph 在醫療領域的應用:監管環境下的工作流程編排
35 小時LangGraph 支援具備狀態且涉及多個參與者的工作流程,由大語言模型 (LLM) 驅動,並能精確控制執行路徑與狀態持久化。在醫療行業中,這些功能對於合規性、互操作性以及建立符合醫療工作流程的決策支持系統至關重要。
此課程為講師引導的實操培訓 (線上或線下),旨在幫助中級至高級專業人士設計、實施並管理基於 LangGraph 的醫療解決方案,同時應對監管、道德及運營挑戰。
完成本培訓後,參與者將能夠:
- 設計符合合規性與可審計要求的醫療專用 LangGraph 工作流程。
- 將 LangGraph 應用程式與醫療本体及標準 (FHIR, SNOMED CT, ICD) 進行整合。
- 在敏感環境中應用可靠性、可追溯性與可解釋性的最佳實踐。
- 在醫療生產環境中部署、監控並驗證 LangGraph 應用程式。
課程形式
- 互動式講解與討論。
- 結合真實案例的實操練習。
- 在實時實驗環境中進行實施演練。
課程客製化選項
- 如需為本課程申請客製化培訓,請聯繫我們以安排相關事宜。
LangGraph 用於法律應用
35 小時LangGraph 是一個框架,用於構建有狀態、多角色的大型語言模型(LLM)應用程序,這些應用程序作為可組合圖實現,具有持久狀態和對執行的精確控制。
本培訓由講師主講,提供線上或線下形式。主要面向希望設計、實施並運營基於 LangGraph 的法律解決方案、並具備必要合規性、可追溯性及治理控制的中高級專業人士。
完成本培訓後,參與者將能夠:
- 設計符合審計和合規要求的特定於法律的 LangGraph 工作流。
- 將法律本體論文檔標準整合到圖狀態及處理流程中。
- 實施保護措施、人在迴路(human-in-the-loop)批准機制以及可追溯的決策路徑。
- 在生產環境中部署、監控和維護 LangGraph 服務,實現可觀測性及成本控制。
課程形式
- 互動式講授與討論。
- 大量的練習與實踐環節。
- 在實時實驗室環境中的實際操作實施。
課程定制選項
- 如需為本課程申請定制化培訓,請聯繫我們以進行安排。
使用 LangGraph 和 LLM Agent 構建動態工作流
14 小時LangGraph 是一個用於編排基於圖結構的 LLM 工作流的框架,支持分支、工具調用、記憶力和可控執行。
這門由導師主導的實訓課程(線上或線下)旨在幫助中級工程師和產品團隊將 LangGraph 的圖邏輯與 LLM Agent 循環結合起來,構建動態且上下文感知的應用程序,例如客戶服務 Agent、決策樹和信息檢索系統。
通過本課程的培訓,參與者將能夠:
- 設計協調 LLM Agent、工具和記憶力的基於圖的工作流。
- 實現條件路由、重試和回退機制以確保穩健執行。
- 在 Agent 循環中集成檢索、API 和結構化輸出。
- 評估、監控並強化 Agent 行為,確保其可靠性和安全性。
課程形式
- 互動式講座與引導討論。
- 沙盒環境中的指導實驗和代碼逐步解析。
- 基於場景的設計練習與同行評審。
課程自定義選項
- 如需為本課程申請定制化培訓,請聯繫我們以進行安排。
LangGraph 用於行銷自動化
14 小時LangGraph 是一個基於圖形的調度框架,能夠實現條件式、多步驟的 LLM 和工具工作流程,非常適合自動化及個人化內容流程。
這項由講師主導的現場培訓(線上或線下)針對中級行銷人員、內容策略師以及希望使用 LangGraph 實施動態分支電子郵件活動與內容生成流程的自動化開發者設計。
完成本培訓後,參與者將能夠:
- 設計帶有條件邏輯的圖形結構化內容及電子郵件工作流程。
- 整合 LLM、API 和資料來源以實現自動化個人化。
- 管理跨多步驟活動的狀態、記憶與上下文。
- 評估、監控並優化工作流程效能及交付成果。
課程格式
- 互動式講座與小組討論。
- 實作電子郵件工作流程與內容流程的上機操作實驗室。
- 針對個人化、分段與分支邏輯的情境模擬練習。
課程自訂選項
- 如需為本課程提出客製化培訓需求,請聯絡我們安排。
Le Chat Enterprise:私人 ChatOps、整合與管理控制
14 小時Le Chat Enterprise 是一套私人的 ChatOps 解決方案,為組織提供安全、可自訂且受治理的對話式 AI 功能,支援 RBAC、SSO、連接器及企業應用程式整合。
本課程由講師親自指導,提供線上或線下培訓方式。對象為希望部署、配置並治理 Le Chat Enterprise 的中階產品經理、IT 主管、解決方案工程師以及安全與合規團隊。
完成本培訓後,學員將能夠:
- 設置並配置 Le Chat Enterprise,以實現安全部署。
- 啟用 RBAC、SSO 以及基於合規的控制機制。
- 將 Le Chat 與企業應用程式及資料儲存區整合。
- 設計並實施 ChatOps 的治理與管理操作手冊。
課程形式
- 互動式講授與討論。
- 大量的練習與實作。
- 在即時實驗室環境中的實作操作。
課程客製化選項
- 如需針對本課程進行客製化培訓,請聯絡我們安排。
具成本效益的LLM架構:大規模部署Mistral (效能與成本工程)
14 小時Mistral 是一個高性能的大型語言模型系列,專為大規模具成本效益的生產部署而優化。
本課程由講師主導,提供線上或線下培訓,目標受眾為高級基礎設施工程師、雲端架構師和MLOps負責人,旨在幫助他們設計、部署並優化基於Mistral的架構,以實現最大吞吐量並最小化成本。
完成本培訓後,學員將能夠:
- 為Mistral Medium 3實施可擴展的部署模式。
- 應用批處理、量化和高效服務策略。
- 在保持效能的同時優化推論成本。
- 為企業工作負載設計生產就緒的服務拓撲結構。
課程格式
- 互動式講座與討論。
- 大量的練習與實作。
- 在實演環境中進行手動實作。
課程客製化選項
- 如需為本課程請求客製化培訓,請聯繫我們以安排。
使用 Mistral 連接器與整合功能將對話式助理商品化
14 小時Mistral AI 是一個開源 AI 平台,讓團隊能夠建構並整合對話式助理至企業及對客戶的工作流程中。
本課程由講師現場指導,可選擇線上或線下進行。主要對象為初級至中階的產品經理、全端開發人員以及整合工程師,旨在教導如何設計、整合並將對話式助理商品化,並使用 Mistral 連接器與整合功能。
課程結束後,學員將能夠:
- 將 Mistral 對話模型與企業及 SaaS 連接器整合。
- 實施檢索增強生成 (RAG) 以獲得精準回應。
- 設計內部及外部聊天助理的使用者體驗模式。
- 將助理部署至產品工作流程,應用於真實世界案例。
課程形式
- 互動式講座與討論。
- 實作整合練習。
- 現場實驗室開發對話式助理。
課程客製化選項
- 如需此課程的客製化培訓,請聯繫我們安排。
企業級部署 Mistral Medium 3
14 小時Mistral Medium 3 是一款高性能、多模態的大型語言模型,專為企業環境中的生產級部署而設計。
本課程由講師帶領,提供線上或線下培訓方式,目標受眾為初級至中級 AI/ML 工程師、平台架構師及 MLOps 團隊,旨在協助學員部署、最佳化並確保 Mistral Medium 3 在企業用例中的安全性。
完成本課程後,學員將能夠:
- 使用 API 和自託管選項部署 Mistral Medium 3。
- 最佳化推理效能與成本。
- 實施結合 Mistral Medium 3 的多模態用例。
- 應用符合企業環境的安全與合規最佳實踐。
課程格式
- 互動式講解與討論。
- 大量的練習與實作。
- 在即時實驗室環境中進行實作。
課程客製化選項
- 如需針對此課程申請客製化培訓,請聯絡我們安排。
用於負責任 AI 的 Mistral:隱私、資料駐留與企業控管
14 小時Mistral AI 是一個開放且具備企業適用性的 AI 平台,提供安全、合規及負責任部署 AI 的功能。
本課程由導師指導進行現場教學(可線上或線下),旨在協助中階合規主管、安全架構師及法律/營運利害關係人,透過運用隱私、資料駐留與企業控管機制,在 Mistral 上實施負責任的 AI 實踐。
完成本課程後,學員將能夠:
- 在 Mistral 部署中實施保護隱私的技術。
- 運用資料駐留策略以符合法規要求。
- 設立企業級控管機制,如角色基礎訪問控制 (RBAC)、單一登入 (SSO) 及審計日誌。
- 評估供應商與部署選項,以確保符合合規性。
課程形式
- 互動式講授與討論。
- 聚焦於合規的案例研究與練習。
- 企業 AI 控管機制的實務操作。
課程自訂選項
- 如需為本課程申請客製化訓練,請聯繫我們進行安排。