聯繫我們

課程簡介

離線EXO部署

  • 使用EXO_OFFLINE變數以防止執行階段時連接網際網路
  • 從受信任的內部鏡像伺服器預先載入模型至EXO_MODELS_READ_ONLY_DIRS目錄
  • 透過SHA-256校驗和及簽署過的模型卡驗證模型權重完整性
  • 在無HuggingFace依賴的環境下於斷網網路中運行EXO

儀表板與API存取控制

  • 安裝並配置具有TLS終止功能的反向代理伺服器(nginx、Caddy)
  • 為EXO儀表板及REST API實施角色基礎存取控制(Role-Based Access Control)
  • 使用macOS鑰匙圈或Linux pass儲存API認證所需的密鑰
  • 將管理端點的存取限制在特定的來源IP範圍內

叢集隔離與網路安全

  • 使用EXO_LIBP2P_NAMESPACE和虛擬區域網路(VLAN)對EXO叢集進行分段
  • 為EXO連接埠配置主機防火牆(macOS應用程式防火牆、iptables、nftables)
  • 防止未經授權的裝置發現及惡意節點注入
  • 在無法使用RDMA的情況下,加密節點間的libp2p通訊流量

模型治理與來源追溯

  • 建立內部模型登記處,包含核准的模型列表與元資料
  • 對量化權重(4-bit、8-bit)及原始檢查點進行標記與版本控制
  • 強制規定僅能加載指定的HuggingFace倉庫或內部工件
  • 記錄模型系譜、授權條款及使用政策

稽核日誌與合規性

  • 配置EXO日誌轉發至不可篡改的稽核軌跡(SIEM、WORM儲存設備)
  • 將API呼叫日誌與使用者身份及時間戳記進行關聯
  • 捕捉模型例程的建立、刪除以及推論請求事件
  • 定期生成供內部與外部稽核員審查的合規報告

威脅建模與事故應對

  • 識別潛在威脅:透過模型輸出進行的資料外洩、提示注入(Prompt Injection)、旁路資訊洩露等
  • 實施提示監控及內容過濾管線
  • 為叢集遭入侵情境創建事故應對作業手冊
  • 隔離受影響節點,保留法醫學日誌並重建乾淨環境

實體安全與硬體邊界

  • 保護Thunderbolt埠免受未經授權的RDMA線纜連接
  • 在適用的情況下使用安全飛地(Secure Enclaves)及Apple Silicon硬體確認機制
  • 控制叢集Mac機群與共享儲存設備的物理存取權
  • 記錄硬體生命週期與退役程序

法規考量

  • 將EXO部署對應至GDPR、HIPAA及SOC 2等合規要求
  • 透過保持推論過程在內部進行,維護資料居住地(Data Residency)
  • 記錄供應商供應鏈風險(MLX、EXO、模型權重)
  • 為遵循EU AI Act第53條等AI治理框架做好準備

最低要求

  • 具備使用EXO或類似本地大型語言模型(Large Language Model)運行的經驗
  • 了解Unix檔案系統權限及網路存取控制清單(Access Control Lists)
  • 熟悉TLS/SSL憑證管理與加密基礎知識

受眾對象

  • 安全工程師
  • 合規專員
  • 處理敏感資料的AI基礎設施管理員
 14 小時

人數


每位參與者的報價

客戶評論 (1)

即將到來的課程

課程分類