OWASP GenAI Security培訓

第一天：基礎與核心威脅

模組 1：OWASP GenAI Security Project 簡介（1 小時）

學習目標：

• 了解從 OWASP Top 10 到 GenAI 特定安全挑戰的演進。
• 探索 OWASP GenAI Security Project 的生態系與資源。
• 識別傳統應用安全與AI安全之間的主要差異。

涵蓋主題：

• OWASP GenAI Security Project 的使命與範圍概覽。
• Threat Defense COMPASS 框架簡介。
• 理解AI安全 landscape 與監管要求。
• AI 攻擊面與傳統網頁應用漏洞的比較。

實務練習： 設定 OWASP Threat Defense COMPASS 工具並進行初步威脅評估。

模組 2：OWASP LLM Top 10 - 第一部分（2.5 小時）

學習目標：

• 掌握前五項關鍵 LLM 漏洞。
• 理解攻擊向量與漏洞利用技術。
• 應用實用的緩解策略。

涵蓋主題：

LLM01：提示注入（Prompt Injection）

• 直接與間接提示注入技術。
• 隱藏指令攻擊與跨提示污染。
• 實例：破解聊天機器人及繞過安全措施。
• 防禦策略：輸入清理、提示過濾、差分隱私。

LLM02：敏感資訊洩露

• 訓練數據提取與系統提示洩露。
• 分析模型行為以偵測敏感資訊外洩。
• 隱私影響與監管合規考量。
• 緩解措施：輸出過濾、存取控制、數據匿名化。

LLM03：供應鏈漏洞

• 第三方模型依賴與插件安全。
• 受損的訓練數據集與模型投毒。
• AI 組件的供應商風險評估。
• 安全的模型部署與驗證實務。

實務練習： 動手實驗，針對易受攻擊的 LLM 應用進行提示注入攻擊示範，並實施防禦措施。

模組 3：OWASP LLM Top 10 - 第二部分（2 小時）

涵蓋主題：

LLM04：數據與模型投毒

• 訓練數據操縱技術。
• 透過投毒輸入修改模型行為。
• 後門攻擊與數據完整性驗證。
• 預防措施：數據驗證管道、來源追蹤。

LLM05：不適當的輸出處理

• LLM 生成內容的不安全處理。
• 透過AI生成輸出的代碼注入。
• 透過AI回應進行的跨站腳本攻擊（XSS）。
• 輸出驗證與清理框架。

實務練習： 模擬數據投毒攻擊並實施堅固的輸出驗證機制。

模組 4：進階 LLM 威脅（1.5 小時）

涵蓋主題：

LLM06：過度代理權（Excessive Agency）

• 自主決策風險與邊界違規。
• 代理授權與權限管理。
• 非預期的系統交互與特權提升。
• 實施護欄（Guardrails）與人類監督控制。

LLM07：系統提示洩露

• 系統指令暴露的漏洞。
• 透過提示洩露憑證與邏輯。
• 提取系統提示的攻擊技術。
• 保護系統指令與外部配置。

實務練習： 設計具有適當存取控制與監控的安全代理架構。

第二天：進階威脅與實施

模組 5：新興 AI 威脅（2 小時）

學習目標：

• 理解前沿的AI安全威脅。
• 實施進階偵測與預防技術。
• 設計能抵禦複雜攻擊的韌性AI系統。

涵蓋主題：

LLM08：向量與嵌入弱點

• RAG 系統漏洞與向量數據庫安全。
• 嵌入投毒與相似度操縱攻擊。
• 語義搜尋中的對抗樣本。
• 保護向量儲存庫並實施異常偵測。

LLM09：誤導資訊與模型可靠性

• 幻覺（Hallucination）偵測與緩解。
• 偏見放大與公平性考量。
• 事實查核與來源驗證機制。
• 內容驗證與人類監督整合。

LLM10：無界資源消耗

• 資源耗盡與拒絕服務（DoS）攻擊。
• 速率限制與資源管理策略。
• 成本優化與預算控制。
• 效能監控與警報系統。

實務練習： 建立安全的 RAG 管道，包含向量數據庫保護與幻覺偵測。

模組 6：代理式 AI 安全（Agentic AI Security）（2 小時）

學習目標：

• 理解自主AI代理的獨特安全挑戰。
• 將 OWASP Agentic AI 分類法應用於真實系統。
• 在多重代理環境中實施安全控制。

涵蓋主題：

• 代理式 AI 與自主系統簡介。
• OWASP Agentic AI 威脅分類法：代理設計、記憶體、規劃、工具使用、部署。
• 多重代理系統的安全與協調風險。
• 工具濫用、記憶體投毒與目標劫持攻擊。
• 保護代理通訊與決策過程。

實務練習： 使用 OWASP Agentic AI 分類法，針對多重代理客服系統進行威脅建模練習。

模組 7：OWASP Threat Defense COMPASS 實施（2 小時）

學習目標：

• 掌握 Threat Defense COMPASS 的實務應用。
• 將AI威脅評估整合至組織安全計畫中。
• 制定全面的AI風險管理策略。

涵蓋主題：

• 深入探討 Threat Defense COMPASS 方法論。
• 整合 OODA 循環：觀察、定向、決策、行動。
• 將威脅映射至 MITRE ATT&CK 與 ATLAS 框架。
• 建立AI威脅韌性策略儀表板。
• 與現有安全工具及流程整合。

實務練習： 使用 COMPASS 針對 Microsoft Copilot 部署場景進行完整的威脅評估。

模組 8：實務實施與最佳實務（2.5 小時）

學習目標：

• 從零開始設計安全的AI架構。
• 為AI系統實施監控與事件響應。
• 建立AI安全治理框架。

涵蓋主題：

安全的AI開發生命週期：

• AI 應用的安全設計原則。
• LLM 整合的代碼審查實務。
• 測試方法論與漏洞掃描。
• 部署安全與生產環境加固。

監控與偵測：

• AI 專屬的日誌與監控需求。
• AI 系統的異常偵測。
• AI 安全事件的事後回應程序。
• 鑑識與調查技術。

治理與合規：

• AI 風險管理框架與政策。
• 監管合規考量（GDPR, AI Act 等）。
• AI 供應商的第三方風險評估。
• 針對AI開發團隊的安全意識訓練。

實務練習： 為企業級AI聊天機器人設計完整的保安架構，包括監控、治理與事件回應程序。

模組 9：工具與技術（1 小時）

學習目標：

• 評估並實施AI安全工具。
• 了解目前的AI安全解決方案 landscape。
• 建立實務性的偵測與預防能力。

涵蓋主題：

• AI 安全工具生態系與供應商 landscape。
• 開源安全工具：Garak, PyRIT, Giskard。
• 用於AI安全與監控的商業解決方案。
• 整合模式與部署策略。
• 工具選擇標準與評估框架。

實務練習： AI 安全測試工具的動手示範與實施規劃。

模組 10：未來趨勢與總結（1 小時）

學習目標：

• 理解新興威脅與未來的安全挑戰。
• 制定持續學習與改進策略。
• 為組織的AI安全計畫制定行動計畫。

涵蓋主題：

• 新興威脅：Deepfakes、進階提示注入、模型反演。
• OWASP GenAI 專案的未來發展與路線圖。
• 建立AI安全社群與知識共享。
• 持續改進與威脅情報整合。

行動規劃練習： 為參與者所在組織制定實施 OWASP GenAI 安全實務的90天行動計畫。