課程簡介
第一天
現代AI代理的解剖
超越聊天機器人,代理作為自主推理和行動系統
反應式、主動式、混合式和目標導向的代理範式
核心組件:感知、規劃、記憶、工具使用、行動
單一代理與多代理設計的權衡
代理框架與現代堆疊
LangChain、LlamaIndex、AutoGen、CrewAI及其權衡
與JADE和SPADE等經典框架的比較
根據生產需求選擇框架
工具呼叫、函數呼叫及結構化輸出
實作:使用工具呼叫建構單一Python代理
多代理系統架構
集中式、去中心化、混合式和分層MAS設計
FIPA ACL、訊息傳遞及現代等效方案
協調模式:規劃、談判、同步
代理人口中的湧現行為和自組織
代理中的決策與學習
用於合作與競爭代理互動的博弈論
多代理環境中的強化學習
跨代理的遷移學習和知識共享
協調代理之間的衝突解決和信任
第二天
代理的多模態基礎
多模態AI作為跨越文字、圖像、語音和視頻的統一工作流程
領先的多模態模型:GPT-4 Vision、Gemini、Claude、Whisper
在代理推理循環中結合模態的融合技術
多模態管道中的延遲、成本和準確性權衡
建構感知層
代理的圖像處理:分類、標題生成、物件檢測
使用Whisper ASR進行語音識別及串流轉錄
文字轉語音合成和自然語音互動
將感知輸出連接到LLM驅動的推理和工具選擇
實作 - 使用Python建構多模態代理
定義代理的任務、上下文視窗和工具清單
端到端連接GPT-4 Vision和Whisper API
實現記憶、狀態和對話管理
添加產生真實世界副作用的安全工具呼叫
實作 - 協調多代理系統
使用AutoGen或CrewAI組建專用代理
定義角色、責任和代理間通信協議
模擬環境中的資源分配和協調
記錄代理推理、工具呼叫和決策以進行檢查和審計
第三天
生產AI代理的威脅面
什麼使代理AI相比傳統軟件獨特地易受攻擊
攻擊表面:數據、模型、提示、工具、輸出和界面層
具有自主工具使用的基於代理系統的威脅建模
將AI網絡安全實踐與傳統網絡安全進行比較
對抗性攻擊實作
對抗性樣本和擾動方法:FGSM、PGD、DeepFool
白盒與黑盒攻擊場景
模型逆襲和成員推斷攻擊
訓練期間的數據投毒和後門注入
基於LLM代理中的提示注入、越獄和工具濫用
防禦技術與模型加固
對抗性訓練和數據增強策略
防禦性蒸餾及其他韌性技術
輸入預處理、梯度遮蔽和正則化
差分隱私、噪聲注入和隱私預算
用於分布式訓練的聯邦學習和安全聚合
使用Adversarial Robustness Toolbox實作
模擬對第二天構建的多模態代理的攻擊
測量擾動下的韌性並量化衰退
迭代應用防禦措施並重新評估攻擊成功率
壓力測試工具呼叫路徑和提示注入向量
第四天
AI風險管理框架
NIST AI風險管理框架:治理、映射、測量、管理
ISO/IEC 42001和新興的特定於AI的標準
將AI風險映射到現有的企業GRC框架
AI問責制、可審計性和文檔要求
代理系統的監管合規性
EU AI Act:風險層級、禁止用途及高風險系統的義務
GDPR和CCPA對代理數據管道的影響
美國關於安全、可靠和可信賴AI的行政命令
針對金融、醫療保健和公共服務的行業特定指導
第三方風險和供應商AI工具使用
道德、偏見和可解釋性
跨代理感知和推理的偏見檢測與減輕
可解釋性和透明性作為相關安全的屬性
公平性、下游危害和負責任的部署
設計包容、可審計的代理行為
生產部署、監控與事件回應
單一和多代理系統的安全部署模式
持續監控漂移、異常和濫用
記錄、審計軌跡及代理行動的法醫準備
AI安全事件回應劇本和恢復
真實世界AI漏洞的案例研究和經驗教訓
綜合與總結
回顧課程中構建的多模態多代理系統
端到端管道回顧:設計、建構、安全化、治理、部署
根據NIST AI RMF功能對系統進行自我評估
展望代理AI和AI安全的未來趨勢
總結與後續步驟
最低要求
目標受眾
為生產用途建構代理系統的AI工程師與架構師。負責受監管行業(如金融、醫療保健和諮詢)中AI保證的安全、風險及合規專業人員。將多模態和多代理能力嵌入企業平台的高級開發人員和解決方案主管。
客戶評論 (3)
培訓師很有耐心,也非常樂於助人。他對主題非常瞭解。
CLIFFORD TABARES - Universal Leaf Philippines, Inc.
課程 - Agentic AI for Business Automation: Use Cases & Integration
機器翻譯
知識與實踐的良好結合
Ion Mironescu - Facultatea S.A.I.A.P.M.
課程 - Agentic AI for Enterprise Applications
機器翻譯
理論與實踐的結合,以及高層與底層視角的融合
Ion Mironescu - Facultatea S.A.I.A.P.M.
課程 - Autonomous Decision-Making with Agentic AI
機器翻譯