感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
AI 主權與 LLM 本地部署
- 雲端 LLM 的風險：數據留存、輸入用於訓練及外部司法管轄權問題。
- Ollama 架構：模型伺服器、註冊表及與 OpenAI 相容的 API。
- 與 vLLM、llama.cpp 及 Text Generation Inference 的比較。
- 模型授權條款：Llama、Mistral、Qwen 及 Gemma 的相關規定。
安裝與硬體設定
- 在 Linux 上安裝 Ollama，支援 CUDA 與 ROCm。
- 純 CPU 回退機制及 AVX/AVX2 最佳化。
- Docker 部署及持久化卷映射。
- 多 GPU 設定與 VRAM 分配策略。
模型管理
- 從 Ollama 註冊表拉取模型：ollama pull llama3。
- 從 HuggingFace 及 TheBloke 匯入 GGUF 模型。
- 量化級別：Q4_K_M、Q5_K_M、Q8_0 的權衡取捨。
- 模型切換及並發模型載入限制。
自訂 Modelfile
- 撰寫 Modelfile 語法：FROM、PARAMETER、SYSTEM、TEMPLATE。
- 調優 temperature、top_p 及 repeat_penalty。
- 針對特定角色行為進行系統提示詞工程。
- 建立自訂模型並發布至本地註冊表。
API 整合
- 與 OpenAI 相容的 /v1/chat/completions 端點。
- 串流回應與 JSON 模式。
- 與 LangChain、LlamaIndex 及自訂應用程式整合。
- 使用反向代理進行身份驗證與速率限制。
效能最佳化
- 上下文窗口大小設定與 KV cache 管理。
- 批次推理與並行請求處理。
- CPU 執行緒分配與 NUMA 感知。
- 監控 GPU 使用率與記憶體壓力。
安全性與合規性
- 模型服務端點的網路隔離。
- 輸入過濾與輸出審查管線。
- 提示詞與補全內容的稽核日誌。
- 模型來源追溯與哈希驗證。
最低要求
- 具備中級的 Linux 與容器管理知識。
- 對機器學習與 Transformer 模型具備高層面的理解。
- 熟悉 REST API 與 JSON。
目標受眾
- 計畫取代雲端 LLM API 的 AI 工程師與開發者。
- 因數據敏感性而無法使用雲端模型的組織。
- 需要氣隙（air-gapped）語言模型的政府與國防團隊。
