聯繫我們

課程簡介

1. 深度強化學習簡介

  • 什麼是強化學習?
  • 監督式、非監督式和強化學習之間的差異
  • DRL 在 2025 年的應用(機器人技術、醫療保健、金融、物流)
  • 理解智能體與環境的互動迴圈

2. 強化學習基礎

  • 馬可夫決策過程 (MDP)
  • 狀態、動作、獎勵、政策和價值函數
  • 探索與利用的權衡
  • 蒙特卡洛方法和時間差分 (TD) 學習

3. 實作基本 RL 演算法

  • 表格方法:動態規劃、政策評估和迭代
  • Q-Learning 和 SARSA
  • Epsilon-greedy 探索與衰減策略
  • 使用 OpenAI Gymnasium 實作 RL 環境

4. 過渡到深度強化學習

  • 表格方法的局限性
  • 使用神經網路進行函數逼近
  • 深度 Q 網路 (DQN) 架構與工作流程
  • 經驗回放和目標網路

5. 進階 DRL 演算法

  • Double DQN、Dueling DQN 和優先經驗回放
  • 政策梯度方法:REINFORCE 演算法
  • Actor-Critic 架構 (A2C, A3C)
  • 近端策略最佳化 (PPO)
  • 軟 Actor-Critic (SAC)

6. 處理連續動作空間

  • 連續控制中的挑戰
  • 使用 DDPG(深度確定性政策梯度)
  • Twin Delayed DDPG (TD3)

7. 實用工具和框架

  • 使用 Stable-Baselines3 和 Ray RLlib
  • 使用 TensorBoard 進行記錄和監控
  • DRL 模型的超參數調整

8. 獎勵工程與環境設計

  • 獎勵塑形與懲罰平衡
  • 模擬到真實世界的遷移學習概念
  • Gymnasium 中的自訂環境建立

9. 部分可觀測環境與泛化

  • 處理不完整狀態資訊 (POMDPs)
  • 使用 LSTM 和 RNN 的基於記憶的方法
  • 提高智能體的韌性和泛化能力

10. 博弈論與多智能體強化學習

  • 多智能體環境簡介
  • 合作與競爭
  • 在對抗訓練和策略最佳化中的應用

11. 案例研究與現實世界應用

  • 自駕車模擬
  • 動態定價和金融交易策略
  • 機器人技術和工業自動化

12. 除錯與最佳化

  • 診斷不穩定的訓練過程
  • 管理獎勵稀疏性和過度擬合
  • 在 GPU 和分散式系統上擴展 DRL 模型

13. 總結與後續步驟

  • DRL 架構和關鍵演算法回顧
  • 產業趨勢和研究方向(例如,RLHF、混合模型)
  • 進一步的資源和閱讀材料

最低要求

  • 具備 Python 程式設計能力
  • 理解微積分與線性代數
  • 具備機率與統計學基礎知識
  • 有使用 Python 及 NumPy 或 TensorFlow/PyTorch 建構機器學習模型的經驗

受眾

  • 對人工智慧和智慧系統感興趣的開發人員
  • 探索強化學習框架的資料科學家
  • 從事自主系統工作的機器學習工程師
 21 小時

人數


每位參與者的報價

客戶評論 (3)

即將到來的課程

課程分類