課程簡介
第一天：基礎與核心威脅
模組 1：OWASP GenAI Security Project 簡介 (1 小時)
學習目標：
- 了解從 OWASP Top 10 到 GenAI 特定安全挑戰的演變
- 探索 OWASP GenAI Security Project 生態系統及資源
- 識別傳統應用安全與 AI 安全之間的關鍵差異
涵蓋主題：
- OWASP GenAI Security Project 使命和範圍概述
- Threat Defense COMPASS 框架簡介
- 理解 AI 安全格局和法規要求
- AI 攻擊表面與傳統 Web 應用程式漏洞對比
實作練習：設置 OWASP Threat Defense COMPASS 工具並執行初始威脅評估
模組 2：OWASP Top 10 for LLMs - 第一部分 (2.5 小時)
學習目標：
- 掌握前五個關鍵 LLM 漏洞
- 理解攻擊向量和利用技術
- 應用實務緩解策略
涵蓋主題：
LLM01：提示注入 (Prompt Injection)
- 直接和間接提示注入技術
- 隱藏指令攻擊和跨提示污染
- 實際範例：破解聊天機器人並繞過安全措施
- 防禦策略：輸入清理、提示過濾、差分隱私
LLM02：敏感資訊洩露
- 訓練數據提取和系統提示洩露
- 用於敏感資訊暴露的模型行為分析
- 隱私影響和法規合規考量
- 緩解措施：輸出過濾、存取控制、資料匿名化
LLM03：供應鏈漏洞
- 第三方模型依賴和插件安全
- 受污染的訓練數據集和模型毒害
- AI 元件的供應商風險評估
- 安全的模型部署和驗證實踐
實作練習：實作實驗室示範針對易受攻擊 LLM 應用程式的提示注入攻擊，並實施防禦措施
模組 3：OWASP Top 10 for LLMs - 第二部分 (2 小時)
涵蓋主題：
LLM04：數據和模型毒害
- 訓練數據操縱技術
- 通過受污染輸入修改模型行為
- 後門攻擊和數據完整性驗證
- 預防措施：數據驗證管線、來源追蹤
LLM05：不當的輸出處理
- 不安全地處理 LLM 生成的內容
- 通過 AI 生成輸出的程式碼注入
- 通過 AI 回應的跨站腳本攻擊 (XSS)
- 輸出驗證和清理框架
實作練習：模擬數據毒害攻擊並實施強大的輸出驗證機制
模組 4：高級 LLM 威脅 (1.5 小時)
涵蓋主題：
LLM06：過度代理權限 (Excessive Agency)
- 自主決策風險和邊界違規
- 代理權限和許可管理
- 非預期的系統互動和特權升級
- 實施防護欄和人工監督控制
LLM07：系統提示洩露
- 系統指令暴露漏洞
- 通過提示洩露憑證和邏輯
- 用於提取系統提示的攻擊技術
- 保護系統指令和外部配置
實作練習：設計具有適當存取控制和監控的安全代理架構
第二天：高級威脅與實施
模組 5：新興 AI 威脅 (2 小時)
學習目標：
- 了解前沿 AI 安全威脅
- 實施高級檢測和預防技術
- 設計對複雜攻擊具有彈性的 AI 系統
涵蓋主題：
LLM08：向量和嵌入弱點
- RAG 系統漏洞和向量資料庫安全
- 嵌入毒害和相似度操縱攻擊
- 語義搜索中的對抗性範例
- 保護向量存儲並實施異常檢測
LLM09：誤導資訊與模型可靠性
- 幻覺檢測和緩解
- 偏見放大和公平性考量
- 事實查核和來源驗證機制
- 內容驗證和人工監督整合
LLM10：無限制消耗
- 資源耗盡和拒絕服務攻擊
- 速率限制和資源管理策略
- 成本優化與預算控制
- 效能監控和警報系統
實作練習：構建具有向量資料庫保護和幻覺檢測的安全 RAG 管線
模組 6：代理型 AI 安全 (2 小時)
學習目標：
- 了解自主 AI 代理的獨特安全挑戰
- 將 OWASP Agentic AI 分類法應用於實際系統
- 實施多代理環境的安全控制措施
涵蓋主題：
- Agentic AI 和自主系統簡介
- OWASP Agentic AI 威脅分類法：代理設計、記憶體、規劃、工具使用、部署
- 多代理系統安全與協調風險
- 工具濫用、記憶體毒害和目標劫持攻擊
- 保護代理通訊和決策過程
實作練習：使用 OWASP Agentic AI 分類法對多代理客戶服務系統進行威脅建模演練
模組 7：OWASP Threat Defense COMPASS 實施 (2 小時)
學習目標：
- 掌握 Threat Defense COMPASS 的實務應用
- 將 AI 威脅評估整合至組織安全專案中
- 開發全面的 AI 風險管理策略
涵蓋主題：
- 深入探討 Threat Defense COMPASS 方法論
- OODA 循環整合：觀察、定位、決策、行動 (Observe, Orient, Decide, Act)
- 將威脅映射到 MITRE ATT&CK 和 ATLAS 框架
- 構建 AI 威脅韌性策略儀表板
- 與現有安全工具和流程整合
實作練習：針對 Microsoft Copilot 部署場景完成使用 COMPASS 的威脅評估
模組 8：實務實施與最佳實踐 (2.5 小時)
學習目標：
- 從基礎設計安全的 AI 架構
- 實施 AI 系統的監控和事故應變
- 建立 AI 安全治理框架
涵蓋主題：
安全 AI 開發生命週期：
- AI 應用程式的安全設計原則
- LLM 整合的程式碼審查實踐
- 測試方法論和漏洞掃描
- 部署安全和生產環境加固
監控與檢測：
- AI 特定的日誌和監控要求
- AI 系統的異常檢測
- AI 安全事件的事故應變程序
- 法證科學和調查技術
治理與合規：
- AI 風險管理框架和政策
- 法規合規考量 (GDPR、AI Act 等)
- AI 供應商的第三方風險評估
- AI 開發團隊的安全意識培訓
實作練習：為企業 AI 聊天機器人設計完整的安全架構，包括監控、治理和事故應變程序
模組 9：工具與技術 (1 小時)
學習目標：
- 評估並實施 AI 安全工具
- 了解當前 AI 安全解決方案格局
- 建立實務檢測和預防能力
涵蓋主題：
- AI 安全工具生態系統和供應商格局
- 開源安全工具：Garak, PyRIT, Giskard
- 用於 AI 安全和監控的商業解決方案
- 整合模式與部署策略
- 工具選擇標準和評估框架
實作練習：AI 安全測試工具的實作示範及實施規劃
模組 10：未來趨勢與總結 (1 小時)
學習目標：
- 了解新興威脅和未來的安全挑戰
- 發展持續學習和改善策略
- 為組織 AI 安全專案創建行動計畫
涵蓋主題：
- 新興威脅：深度偽造、高級提示注入、模型反轉
- 未來 OWASP GenAI 專案的發展和路線圖
- 構建 AI 安全社群和知識共享
- 持續改進和威脅情報整合
行動規劃練習：制定 90 天行動計畫，在學員的組織中實施 OWASP GenAI 安全實踐
最低要求
- 對 Web 應用程式安全原則的一般理解
- 基本熟悉 AI/ML 概念
- 具備安全框架或風險評估方法論的經驗者優先
受眾
- 網路安全專業人員
- AI 開發人員
- 系統架構師
- 合規官員
- 安全實務者
客戶評論 (1)
我非常喜歡學習關於AI攻擊的內容，以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識，課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser，它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說，這是一門很棒的課程，我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯
