聯繫我們

課程簡介

離線EXO部署

  • 使用EXO_OFFLINE防止運行時訪問互聯網。
  • 從可信的內部鏡像預加載模型到EXO_MODELS_READ_ONLY_DIRS。
  • 使用SHA-256校驗和和簽名的模型卡片驗證模型權重完整性。
  • 在沒有HuggingFace依賴的情況下在隔離網絡中運行EXO。

儀表板和API訪問控制

  • 安裝並配置帶有TLS終端的反向代理(nginx、Caddy)。
  • 爲EXO儀表板和REST API實施基於角色的訪問控制。
  • 使用macOS鑰匙串或Linux pass存儲API身份驗證的密鑰。
  • 將管理端點限制在特定的源IP範圍內。

集羣隔離與網絡安全

  • 使用EXO_LIBP2P_NAMESPACE和VLAN對EXO集羣進行分段。
  • 爲EXO端口配置主機防火牆(macOS應用防火牆、iptables、nftables)。
  • 防止未經授權的設備發現和惡意節點注入。
  • 在RDMA不可用時加密節點間的libp2p流量。

模型治理與來源

  • 構建包含批准模型列表和元數據的內部模型註冊表。
  • 標記並版本化量化權重(4位、8位)以及源檢查點。
  • 強制僅加載特定的HuggingFace倉庫或內部工件。
  • 記錄模型血統、許可條款和可接受的使用策略。

審計日誌與合規性

  • 配置EXO日誌轉發到不可變的審計跟蹤(SIEM、WORM存儲)。
  • 將API調用日誌與用戶身份和時間戳關聯。
  • 捕獲模型實例的創建、刪除和推理請求事件。
  • 爲內部和外部審計生成定期合規報告。

威脅建模與事件響應

  • 識別威脅:通過模型輸出進行數據泄露、提示注入、側信道泄露。
  • 實施提示監控和內容過濾管道。
  • 爲集羣被入侵場景創建事件響應手冊。
  • 隔離受影響的節點,保留取證日誌並重建乾淨的環境。

物理安全與硬件邊界

  • 保護Thunderbolt端口,防止未經授權的RDMA電纜連接。
  • 在適用的情況下使用安全飛地和Apple Silicon硬件認證。
  • 控制對集羣Mac和共享存儲的物理訪問。
  • 記錄硬件生命週期和退役程序。

法規考慮

  • 將EXO部署映射到GDPR、HIPAA和SOC 2要求。
  • 通過將推理保留在本地來維護數據駐留。
  • 記錄供應商供應鏈風險(MLX、EXO、模型權重)。
  • 爲EU AI法案第53條等AI治理框架做準備。

最低要求

  • 具備EXO或其他本地LLM運行環境的經驗。
  • 瞭解Unix文件系統權限和網絡ACL。
  • 熟悉TLS/SSL證書管理和加密基礎知識。

受衆

  • 安全工程師。
  • 合規官。
  • 處理敏感數據的AI基礎設施管理員。
 14 小時

人數


每位參與者的報價

客戶評論 (1)

即將到來的課程

課程分類