聯繫我們

課程簡介

大型語言模型 (LLMs) 簡介

  • LLM 概述
  • 定義及意義
  • 當今 AI 中的應用

轉換器架構

  • 什麼是轉換器及其運作原理?
  • 主要組件和功能特徵
  • 嵌入和位置編碼
  • 多頭注意力機制
  • 前饋神經網絡
  • 標準化及殘差連接

轉換器模型

  • 自注意力機制
  • 編碼器-解碼器架構
  • 位置嵌入
  • BERT(來自轉換器的雙向編碼器表示)
  • GPT(生成式預訓練變換器)

性能優化與陷阱

  • 上下文長度
  • Mamba 和狀態空間模型
  • Flash Attention
  • 稀疏轉換器
  • 視覺轉換器
  • 量化的重要性

改進轉換器

  • 檢索增強文本生成
  • 混合模型
  • 思維之樹

微調

  • 低秩適應理論
  • 使用 QLora 進行微調

LLM 中的擴展定律與優化

  • 擴展定律對 LLM 的重要性
  • 數據和模型規模擴展
  • 計算擴展
  • 參數效率擴展

最佳化

  • 模型大小、數據量、算力預算以及推理需求之間的關係
  • 優化 LLM 的性能和效率
  • 訓練和微調 LLM 的最佳實踐與工具

訓練與微調 LLMs

  • 從頭開始訓練 LLM 的步驟和挑戰
  • 數據獲取與維護
  • 大規模數據、CPU 及內存需求
  • 最佳化挑戰
  • 開源 LLM 全景

強化學習 (RL) 基礎

  • 強化學習簡介
  • 通過正向強化進行學習
  • 定義和核心概念
  • 馬爾可夫決策過程 (MDP)
  • 動態規劃
  • 蒙地卡羅方法
  • 時間差分學習

深度強化學習

  • 深度 Q-網絡 (DQN)
  • 近端策略優化 (PPO)
  • 強化學習的元素

LLM 與強化學習的整合

  • 將 LLM 與強化學習結合
  • 如何在 LLM 中使用 RL
  • 基於人類反饋的強化學習 (RLHF)
  • RLHF 的替代方案

案例研究和應用

  • 現實世界的應用
  • 成功案例與挑戰

高級主題

  • 高級技術
  • 高級優化方法
  • 前沿研究及發展

總結與下一步

最低要求

  • 對機器學習有基本了解

受眾

  • 數據科學家
  • 軟件工程師
 21 小時

人數


每位參與者的報價

即將到來的課程

課程分類