聯繫我們

課程簡介

AI威脅環境

  • 為什麼AI安全性不同:非確定性、不透明的推理過程,以及提示作為攻擊面
  • 攻擊分類學:訓練時、推論時與供應鏈攻擊
  • ML對手模型:誰會攻擊AI系統及其原因

LLM應用程序的OWASP Top 10

  • 提示注入:直接和間接攻擊向量
  • 不安全的輸出處理和跨插件請求偽造
  • 訓練數據投毒和供應鏈漏洞
  • 模型拒絕服務、敏感信息泄露以及過度代理權
  • 實作實驗室:針對測試應用程序利用每個OWASP類別

提示注入與越獄紅隊測試

  • 注入技術分類學:直接、間接、多輪和多模態
  • 使用Giskard、Garak和自定義模糊工具進行自動化紅隊測試
  • 越獄分類與防禦評估
  • 構建用於持續LLM安全測試的紅隊框架

模型層級攻擊與防禦

  • 模型提取:通過API查詢竊取模型權重和功能
  • 成員推斷:確定數據是否包含在訓練集中
  • 對抗樣本:能夠欺騙分類器和嵌入的微調
  • 數據投毒:篡改訓練數據以植入後門或降低性能

輸入與輸出安全控制

  • 超越傳統Web防禦的輸入清理
  • 輸出過濾:毒性、PII洩露以及幻覺代碼執行
  • 將防護欄作為基礎設施:NeMo、Guardrails AI及自定義策略
  • 結構化輸出執行作為安全邊界

AI供應鏈安全

  • 模型來源:驗證模型的真實性和完整性
  • 對ML框架和模型格式進行依賴掃描
  • 安全的模型服務:沙箱化、網絡隔離以及最小特權訪問
  • 檢測微調模型和社區模型是否嵌入惡意軟件

AI系統的運營安全

  • 對模型端點、向量存儲和代理工具進行訪問控制
  • 對每次模型交互和決策進行審計日誌記錄
  • 針對AI特有洩漏的事件響應:當模型本身被滲透時
  • 在ML流水線的CI/CD中進行持續安全測試

構建AI安全計劃

  • AI安全成熟度模型與路線圖
  • 將AI安全整合到現有的AppSec和雲端安全計劃中
  • 針對AI系統的治理框架以及新興法規
  • 創建並維護組織的AI安全劇本

最低要求

  • 擁有在生產環境中部署ML模型或LLM應用程序的經驗。
  • 熟悉安全概念,包括身份驗證、授權和威脅建模。
  • 具備Python能力以進行對抗性測試練習。

受眾

  • 擴展到AI/ML威脅表面的安全工程師。
  • 負責模型安全性和魯棒性的ML工程師。
  • 將AI系統納入測試範圍的紅隊成員。
 14 小時

人數


每位參與者的報價

即將到來的課程

課程分類