聯繫我們

課程簡介

騰訊混元生產基礎

  • 騰訊混元模型服務場景概述。
  • 大型及MoE模型的生產特性。
  • 常見的延遲、吞吐量與成本瓶頸。
  • 定義推理工作負載的服務級目標。

部署架構與服務流程

  • 生產推理堆疊的核心組件。
  • 選擇容器化、本地端或雲端部署模式。
  • 模型載入、請求路由與GPU分配基礎知識。
  • 設計可靠性與操作簡潔性。

延遲優化實務

  • 在適用情況下使用如TensorRT等優化的推理引擎。
  • KV快取概念與實作快取調優。
  • 減少啟動、預熱及回應的開銷。
  • 測量首Token時間與Token生成速度。

吞吐量、批處理與GPU效率

  • 連續批處理與請求批處理策略。
  • 管理並發性與佇列行為。
  • 在不影響使用者體驗下提升GPU利用率。
  • 處理長上下文與混合工作負載請求。

量化與成本控管

  • 量化對生產服務的重要性。
  • FP16、INT8及其他常見精度選項的實務取捨。
  • 平衡模型質量、延遲與基礎設施成本。
  • 建立簡易的成本優化檢查清單。

運營、監控與就緒度審查

  • 推理服務的自動擴充觸發條件。
  • 監控延遲、吞吐量、快取使用率及GPU健康狀況。
  • 日誌、警報與事件回應基礎知識。
  • 審查參考部署案例並制定改進計劃。

最低要求

  • 具備大型語言模型部署與推理工作流的基礎知識。
  • 有容器、雲端或本地端基礎設施及基於API服務的經驗。
  • 熟悉Python或系統工程任務。

受眾

  • 將LLM部署至生產環境的ML工程師。
  • 負責基於GPU推理服務的Platform工程師。
  • 設計擴展型AI服務平台的解決方案架構師。
 14 小時

人數


每位參與者的報價

即將到來的課程

課程分類