課程簡介
第一天：基礎與核心威脅
模組 1：OWASP GenAI 安全計畫簡介（1 小時）
學習目標：
- 理解從 OWASP Top 10 演進至 GenAI 特定安全挑戰的過程
- 探索 OWASP GenAI 安全計畫生態系與資源
- 識別傳統應用安全與 AI 安全之間的關鍵差異
涵蓋主題：
- OWASP GenAI 安全計畫的使命與範圍概述
- 威脅防禦 COMPASS 框架介紹
- 理解 AI 安全格局與法規要求
- AI 攻擊面與傳統 Web 應用漏洞的比較
實務練習： 設定 OWASP 威脅防禦 COMPASS 工具並進行初步威脅評估
模組 2：LLM 的 OWASP Top 10 - 第一部分（2.5 小時）
學習目標：
- 掌握前五項關鍵 LLM 漏洞
- 理解攻擊向量和開發技術
- 應用實務緩解策略
涵蓋主題：
LLM01：提示注入
- 直接與間接提示注入技術
- 隱藏指令攻擊與跨提示污染
- 實務案例：破解聊天機器人並繞過安全防護
- 防禦策略：輸入清理、提示過濾、差分隱私
LLM02：敏感資訊洩露
- 訓練資料提取與系統提示洩漏
- 分析模型行為以揭露敏感資訊
- 隱私影響與法規合規考量
- 緩解措施：輸出過濾、存取控制、資料匿名化
LLM03：供應鏈漏洞
- 第三方模型依賴與外掛安全
- 遭到破壞的訓練資料集與模型投毒
- AI 元件的供應商風險評估
- 安全的模型部署與驗證實務
實務練習： 針對脆弱的 LLM 應用進行提示注入攻擊的實作實驗室，並實施防禦措施
模組 3：LLM 的 OWASP Top 10 - 第二部分（2 小時）
涵蓋主題：
LLM04：資料與模型投毒
- 訓練資料操縱技術
- 透過受污染的輸入修改模型行為
- 後門攻擊與資料完整性驗證
- 預防措施：資料驗證管線、溯源追蹤
LLM05：不適當的輸出處理
- LLM 生成內容的不安全處理
- 透過 AI 生成輸出的程式碼注入
- 透過 AI 回應的跨站腳本攻擊 (XSS)
- 輸出驗證與清理框架
實務練習： 模擬資料投毒攻擊並實施強大的輸出驗證機制
模組 4：進階 LLM 威脅（1.5 小時）
涵蓋主題：
LLM06：過度授權
- 自主決策的風險與邊界違規
- 智能體權限與許可管理
- 非預期的系統互動與權限提升
- 實施保護欄和人工監督控制
LLM07：系統提示洩漏
- 系統指令暴露漏洞
- 透過提示洩露憑證和邏輯
- 提取系統指令的攻擊技術
- 保護系統指令與外部配置
實務練習： 設計具有適當存取控制和監控的安全智能體架構
第二天：進階威脅與實施
模組 5：新興 AI 威脅（2 小時）
學習目標：
- 理解前沿 AI 安全威脅
- 實施進階偵測與預防技術
- 設計能抵禦複雜攻擊的韌性 AI 系統
涵蓋主題：
LLM08：向量與嵌入弱點
- RAG 系統漏洞與向量資料庫安全
- 嵌入投毒與相似性操縱攻擊
- 語義搜尋中的對抗性樣本
- 保護向量儲存區並實施異常偵測
LLM09：誤導性資訊與模型可靠性
- 幻覺檢測與緩解
- 偏差放大與公平性考量
- 事實查核與來源驗證機制
- 內容驗證與人工監督整合
LLM10：無限消耗
- 資源耗盡與拒絕服務攻擊
- 速率限制與資源管理策略
- 成本最佳化與預算控制
- 效能監控與警示系統
實務練習： 建立具有向量資料庫保護和幻覺檢測的安全 RAG 管線
模組 6：智能體 AI 安全（2 小時）
學習目標：
- 理解自主 AI 智能體的獨特安全挑戰
- 將 OWASP 智能體 AI 分類應用於實際系統
- 實施多智能體環境的安全控制措施
涵蓋主題：
- 智能體 AI 與自主系統介紹
- OWASP 智能體 AI 威脅分類：智能體設計、記憶體、規劃、工具使用、部署
- 多智能體系統安全與協調風險
- 工具濫用、記憶體投毒與目標劫持攻擊
- 保護智能體通訊與決策過程
實務練習： 使用 OWASP 智能體 AI 分類對多智能體客服系統進行威脅建模練習
模組 7：OWASP 威脅防禦 COMPASS 實施（2 小時）
學習目標：
- 掌握威脅防禦 COMPASS 的實務應用
- 將 AI 威脅評估整合至組織安全計畫中
- 開發全面的 AI 風險管理策略
涵蓋主題：
- 深入探討威脅防禦 COMPASS 方法論
- 整合 OODA 循環：觀察、定位、決策、行動
- 將威脅對應至 MITRE ATT&CK 和 ATLAS 框架
- 建立 AI 威脅韌性策略儀表板
- 與現有安全工具和流程的整合
實務練習： 針對 Microsoft Copilot 部署情境，使用 COMPASS 完成完整的威脅評估
模組 8：實務實施與最佳實踐（2.5 小時）
學習目標：
- 從基礎設計安全的 AI 架構
- 實施 AI 系統的監控與事故應變
- 建立 AI 安全的治理框架
涵蓋主題：
安全 AI 開發生命週期：
- AI 應用「由設計即安全」的原則
- LLM 整合的程式碼審查實務
- 測試方法論與漏洞掃描
- 部署安全與生產環境強化
監控與偵測：
- AI 特定的日誌記錄與監控需求
- AI 系統的異常偵測
- AI 安全事件的事故應變程序
- 法醫學與調查技術
治理與合規：
- AI 風險管理框架與政策
- 法規合規考量（GDPR、AI Act 等）
- AI 供應商的第三方風險評估
- AI 開發團隊的安全意識培訓
實務練習： 為企業 AI 聊天機器人設計完整的安全架構，包含監控、治理和事故應變程序
模組 9：工具與技術（1 小時）
學習目標：
- 評估並實施 AI 安全工具
- 了解當前 AI 安全解決方案格局
- 建立實務偵測與預防能力
涵蓋主題：
- AI 安全工具生態系與供應商格局
- 開源安全工具：Garak, PyRIT, Giskard
- AI 安全與監控的商業解決方案
- 整合模式與部署策略
- 工具選擇標準與評估框架
實務練習： AI 安全測試工具的實作示範與實施規劃
模組 10：未來趨勢與總結（1 小時）
學習目標：
- 理解新興威脅與未來的安全挑戰
- 制定持續學習與改進策略
- 為組織 AI 安全計畫制定行動計劃
涵蓋主題：
- 新興威脅：深度偽造、進階提示注入、模型反轉
- 未來 OWASP GenAI 計畫的發展與路線圖
- 建立 AI 安全社群與知識共享
- 持續改進與威脅情報整合
行動計劃練習： 制定一份為期 90 天的行動計劃，以在學員的組織中實施 OWASP GenAI 安全實務
最低要求
- 具備 Web 應用安全原則的一般性理解
- 對 AI/ML 概念有基本熟悉度
- 有使用安全框架或風險評估方法論的經驗者佳
適用對象
- 資安專家
- AI 開發人員
- 系統架構師
- 合規官員
- 安全從業人員
客戶評論 (1)
我非常喜歡學習關於AI攻擊的內容，以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識，課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser，它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說，這是一門很棒的課程，我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯
