在生產環境中部署騰訊混元：低延遲推論與成本優化培訓
「在生產環境中部署騰訊混元：低延遲推論與成本優化」是一門實用的課程，旨在可靠地大規模服務騰訊混元模型。
這種由講師帶領的現場培訓（線上或線下）面向希望使用騰訊混元部署大型和MoE模型的中级工程師和架構師，以降低延遲、提高GPU利用率並控制運營成本。
完成本課程後，學員將能夠：
- 解釋服務騰訊混元模型的主要生產挑戰。
- 應用實際的推論優化技術，如TensorRT、KV緩存調優、量化和批處理。
- 設計具有自動擴展、監控和容量規劃的可擴展部署方法。
- 改善實際生產工作負載的延遲與成本權衡。
課程格式
- 互動式講座與討論。
- 大量的練習和實踐環節。
- 在實時實驗室環境中進行動手實作。
課程定制選項
- 如需為本課程請求定制培訓，請聯繫我們以安排。
感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
騰訊混元生產基礎
- 騰訊混元模型服務場景概覽。
- 大型和MoE模型的生產特性。
- 常見的延遲、吞吐量及成本瓶頸。
- 定義推論工作負載的服務級目標。
部署架構與服務流程
- 生產推論堆疊的核心組件。
- 選擇容器化、本地或雲端部署模式。
- 模型加載、請求路由和GPU分配基礎知識。
- 設計以可靠性與運維簡化為重點的架構。
實踐中的延遲優化
- 在適用的情況下使用優化的推論引擎，如TensorRT。
- KV緩存概念及實際緩存調優。
- 減少啟動、預熱和響應開銷。
- 測量首次令牌時間與令牌生成速度。
吞吐量、批處理與GPU效率
- 連續批處理與請求批處理策略。
- 管理併發量與隊列行為。
- 在不損害用戶體驗的情況下提高GPU利用率。
- 處理長上下文和混合工作負載請求。
量化與成本控制
- 量化為何對生產服務至關重要。
- FP16、INT8及其他常見精度選項的實際權衡。
- 平衡模型質量、延遲及基礎設施成本。
- 建立簡易的成本優化清單。
運維、監控與就緒審查
- 推論服務的自動擴展觸發器。
- 監控延遲、吞吐量、緩存使用情況及GPU健康狀態。
- 日誌記錄、警報及事件響應基礎知識。
- 審查參考部署案例並制定改進計劃。
最低要求
- 對大型語言模型部署和推論工作流的 basic 理解。
- 擁有容器、雲或本地基礎設施以及基於API的服務的經驗。
- 具備Python或系統工程任務的工作知識。
受眾
- 將LLM部署到生產環境的ML工程師。
- 負責基於GPU的推論服務的平台工程師。
- 設計可擴展AI服務平台的解決方案架構師。
公開培訓課程需要5名以上參與者。
在生產環境中部署騰訊混元：低延遲推論與成本優化培訓 - 訂單
在生產環境中部署騰訊混元：低延遲推論與成本優化培訓 - 詢問
在生產環境中部署騰訊混元：低延遲推論與成本優化 - 咨詢詢問
即將到來的課程
相關課程
進階 LangGraph：最佳化、除錯與監控複雜圖形
35 小時
這門由講師主導的 台灣 課程專為進階 AI 平台工程師、AI DevOps 專業人員及 ML 架構師設計，協助他們最佳化、除錯、監控並營運生產級 LangGraph 系統，以建構具有狀態、多參與者 LLM 應用程式的可組合圖形。
更多...
使用 Devstral 打造程式碼代理：從代理設計到工具整合
14 小時
在 台灣 舉行的這場即時訓練中掌握 Devstral。課程內容涵蓋架構、代理工作流設計及工具整合。本課程專為高階工程師打造，透過實作實驗室建構程式碼代理，以提升現代開發環境中的生產力與安全性。
更多...
開放原始碼模型運維：使用 Devstral 與 Mistral 模型進行自我託管、微調與治理
14 小時
此由講師主導的 台灣 培訓課程，旨在幫助機器學習工程師掌握 Devstral 與 Mistral 模型的自我託管與微調技巧。學員將學習實際的治理、監控與合規技術，以便在生產環境中自信地部署開放原始碼人工智慧。
更多...
金融領域中的 LangGraph 應用
35 小時
這門 台灣 授課式培訓協助專業人士設計基於 LangGraph 的金融解決方案。學員將學習如何實施符合監管要求的工作流程，整合數據標準，並部署具備強大治理、可觀察性及合規控制能力的系統。
更多...
LangGraph 基礎：基於圖的 LLM 提示與鏈接
14 小時
這門由 台灣 提供的 LangGraph 基礎課程，由講師主導，協助開發人員建置基於圖的 LLM 應用。學員將學習節點與邊等核心概念、狀態管理及分支邏輯，並整合工具、檢索增強生成及外部 API，透過實作實驗室測試並部署可靠的工作流。
更多...
LangGraph 在醫療領域的應用：針對受監管環境的流程編排
35 小時
透過這門在 台灣 舉行的實境培訓，探索 LangGraph 在醫療領域的應用，專門為中級至高級專業人員量身打造。學習設計具備狀態式與合規性的工作流，整合 FHIR 和 SNOMED CT 等標準，並應對受監管環境中的倫理與運營挑戰。
更多...
LangGraph 在legal應用中的實務
35 小時
透過這門 35 小時的授課式培訓，掌握 LangGraph 在 台灣 中的法務應用。本課程適合中階至高階專業人員，涵蓋工作流程設計、合規控制及人為介入審批機制。自信地建構可審計、具備生產就緒能力的 LLM 解決方案。
更多...
使用 LangGraph 與 LLM 代理建構動態工作流
14 小時
這門在 台灣 舉行的線上或現場課程，引導中級工程師透過 LangGraph 建構動態 LLM 工作流。學習如何設計具狀態的圖結構、實作分支邏輯，並整合檢索、API 與記憶功能，以打造穩健且具備情境感知能力的應用程式。
更多...
LangGraph 行銷自動化
14 小時
這堂由講師帶領的 台灣 課程介紹 LangGraph 在行銷自動化中的應用。學員將學習設計條件式內容工作流、整合 LLM 以打造個性化電子郵件活動，並管理多步驟管線中的狀態，從而掌握現代行銷的實用技能。
更多...
Le Chat Enterprise：私有 ChatOps、整合與管理員控制
14 小時
此 台灣 的實地培訓涵蓋 Le Chat Enterprise，這是一款用於安全、受管治對話式 AI 的私有 ChatOps 解決方案。學員將部署並配置該系統，與企業應用程式進行整合，啟用 RBAC、SSO 及基於合規要求的控制措施，以建立可擴展且安全的 AI 工作流。
更多...
高成本效益的 LLM 架構：大規模部署 Mistral（效能/成本工程）
14 小時
透過這項在 台灣 舉行為期 14 小時的即時訓練，掌握高成本效益的 Mistral LLM 架構。學習如何部署、最佳化並擴展 Mistral Medium 3，利用批處理、量化及高效能服務策略，在企業級工作負載中實現極致吞吐量與最低成本。
更多...
運用 Mistral Connectors 與整合功能將對話式助理產品化
14 小時
這門在 台灣 舉行的實時培訓涵蓋將 Mistral 對話式助理整合至企業工作流程的內容。參與者將學習如何連接 SaaS 工具、實施檢索增強生成技術，並為面向客戶及內部的聊天介面設計有效的用戶體驗模式。
更多...
使用 Mistral Medium 3 進行企業級部署
14 小時
這是由講師指導的 台灣 訓練，協助高級 AI 工程師部署並保護 Mistral Medium 3。您將優化推論成本、實現多模態用例，並應用企業合規實務。課程包含 API 及自託管配置的實作實驗室。
更多...
Mistral 負責任的 AI：隱私、數據主權與企業級管控
14 小時
在 台灣 舉行的這堂 Mistral 負責任 AI 現場培訓，專為合規與安全負責人量身打造。您將掌握隱私保護技術、數據主權策略，以及 RBAC 和 SSO 等企業級管控機制，以確保 AI 部署的安全與合規性。
更多...
使用 Mistral 模型開發多模態應用（視覺、OCR 及文件理解）
14 小時
學習如何使用 Mistral 模型建構多模態應用，重點涵蓋 OCR、文件理解及視覺文本搜尋。此實作培訓涵蓋流程實作、NLP 整合及企業級設計，可透過線上或 台灣 方式進行。
更多...
