聯繫我們
 課程時長 14 時間:

課程簡介

人類回饋強化學習 (RLHF) 簡介

  • 什麼是 RLHF 及其重要性
  • 與監督學習微調方法的比較
  • RLHF 在現代 AI 系統中的應用

基於人類回饋的獎勵建模

  • 收集與整理人類回饋數據
  • 建立與訓練獎勵模型
  • 評估獎勵模型的有效性

使用近端策略優化 (PPO) 進行訓練

  • RLHF 中 PPO 算法概述
  • 結合獎勵模型實施 PPO
  • 迭代且安全地微調模型

語言模型的實用微調

  • 為 RLHF 工作流程準備數據集
  • 實作:使用 RLHF 微調小型 LLM
  • 挑戰與緩解策略

擴展 RLHF 至生產系統

  • 基礎設施與算力考量
  • 品質保證與持續回饋循環
  • 部署與維護的最佳實踐

倫理考量與偏差緩解

  • 處理人類回饋中的倫理風險
  • 偏差檢測與修正策略
  • 確保對齊性與輸出安全性

案例研究與真實世界範例

  • 案例研究:使用 RLHF 微調 ChatGPT
  • 其他成功的 RLHF 部署案例
  • 經驗教訓與業界洞察

最低要求

  • 了解監督學習與強化學習的基礎知識
  • 具備模型微調及神經網絡架構的經驗
  • 熟悉 Python 程式設計及深度學習框架(例如 TensorFlow、PyTorch)

受眾

  • 機器學習工程師
  • AI 研究者

即將到來的課程

課程分類