感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
部署選項
- 託管 API 與自託管方案的權衡比較
- 本地端、邊緣與斷網環境的部署模式
- 單一模型與模型組合（model portfolio）的比較
- 單一決策成本比較
硬體尺寸規劃與容量
- 依據參數量計算記憶體佔用
- 純 CPU 與 GPU 加速的比較
- 並行度與吞吐量規劃
- 預留任務長度增長的空間
服務技術棧
- vLLM 與 SGLang 選項
- llama.cpp 與 GGUF 執行
- Ollama 用於本地開發
- 依據決策工作負載特性進行選擇
不損失校準的量化技術
- 精細格式與記憶體節省
- 測量品質與校準損失
- 逐張量（per-tensor）與重要性感知（importance-aware）變體
- 量化後的接受測試
延遲工程
- 中位數延遲與尾端延遲
- 隨上下文長度增加的延遲增長
- 暖啟動（warm start）與模型快取
- 批處理（batching）多個決策問題
邊緣與受限環境
- 在 CPU 上運行小型決策模型
- Apple Silicon 與嵌入式部署
- 離線運算與更新策略
- 斷網環境下的權重分發
容器化與擴展
- 模型服務映像設計
- 卷與快取管理
- 水平擴展與路由
- 資源限制與 GPU 共享
可觀察性
- 請求、延遲與錯誤指標
- 信心分佈監控
- 決策結果與升級處理追蹤
- 校準漂移（calibration drift）警報
版本管理與滾出
- 模型與適配器（adapter）版本管理
- 影子（shadow）與灰度（canary）部署
- 固定模型檔案以利稽核
- 回滾程序
安全性與多租戶
- 驗證與速率限制
- 提示詞與日誌的租戶隔離
- 網路隔離與出站控制
- 決策稽核日誌
最低要求
- Linux 系統管理與容器相關經驗。
- 熟悉模型推論伺服器與 GPU 管理。
- 對 REST API、負載平衡與監控有基本了解。
目標受眾
- 負責推論基礎設施的 MLOps 與平台工程師
- 支援 AI 服務的 SRE 團隊
- 在本地端部署決策模型的 AI 工程師
- 設計斷網或受監管 AI 部署方案的架構師
