使用 Ollama 部署和優化大型語言模型培訓
Ollama 提供了一種高效的方式,用於在本地或生產環境中部署和運行大型語言模型 (LLM),從而對效能、成本和安全性進行控制。
這項由講師主導的實時培訓(線上或線下)針對希望使用 Ollama 部署、優化並整合 LLM 的中級專業人士。
完成本培訓後,學員將能夠:
- 使用 Ollama 設置並部署 LLM。
- 針對效能和效率優化 AI 模型。
- 利用 GPU 加速提升推理速度。
- 將 Ollama 整合至工作流程和應用程序。
- 監控並隨時間維護 AI 模型的效能。
課程格式
- 互動式講解與討論。
- 大量的練習與實踐環節。
- 在實時實驗室環境中進行動手實施。
課程自定義選項
- 如需針對此課程申請自定義培訓,請聯繫我們以安排。
課程簡介
Ollama 用於 LLM 部署的簡介
- Ollama 功能概覽
- 本地 AI 模型部署的優勢
- 與雲端 AI 託管方案的比較
設置部署環境
- 安裝 Ollama 及必要依賴項
- 配置硬體和 GPU 加速
- 將 Ollama Docker 化以實現可擴展部署
使用 Ollama 部署 LLM
- 加載和管理 AI 模型
- 部署 Llama 3、DeepSeek、Mistral 及其他模型
- 為 AI 模型訪問創建 API 和端點
優化 LLM 效能
- 微調模型以提高效率
- 降低延遲並提升響應速度
- 管理記憶體和資源分配
將 Ollama 整合至 AI 工作流程
- 將 Ollama 連接至應用程序和服務
- 自動化 AI 驅動的流程
- 在邊緣計算環境中使用 Ollama
監控與維護
- 追蹤效能並調試問題
- 更新和管理 AI 模型
- 確保 AI 部署的安全性與合規性
擴展 AI 模型部署
- 處理高負載的最佳實踐
- 為企業用例擴展 Ollama
- 本地 AI 模型部署的未來進展
總結與下一步
最低要求
- 具備機器學習和 AI 模型的基礎經驗
- 熟悉命令行界面和腳本編程
- 理解部署環境(本地、邊緣、雲端)
受眾
- 優化本地及雲端 AI 部署的 AI 工程師
- 部署和微調 LLM 的機器學習從業者
- 管理 AI 模型整合的 DevOps 專家
公開培訓課程需要5名以上參與者。
使用 Ollama 部署和優化大型語言模型培訓 - 訂單
使用 Ollama 部署和優化大型語言模型培訓 - 詢問
使用 Ollama 部署和優化大型語言模型 - 咨詢詢問
即將到來的課程
相關課程
進階 Ollama 模型除錯與評估
35 小時使用 Ollama 建立私人 AI 工作流
14 小時這門課程由講師帶領進行實作演練,在 台灣(線上或線下)提供,主要對象為希望利用 Ollama 實現安全且高效的 AI 驅動工作流的進階專業人員。
完成本課程後,學員將能夠:
- 部署並設定 Ollama,用於私人 AI 處理。
- 將 AI 模型整合至企業級的安全工作流中。
- 在維持資料隱私的前提下優化 AI 效能。
- 利用本機端 AI 能力自動化業務流程。
- 確保符合企業資安與治理規範。
在 Ollama 上微調與自訂 AI 模型
14 小時這項在 台灣(線上或線下)舉辦的講師主導實作培訓,旨在針對進階專業人士,協助他們透過在 Ollama 上微調和自訂 AI 模型,以提升效能並應用於領域專屬場景。
完成本課程後,學員將能夠:
- 建立高效的環境以在 Ollama 上微調 AI 模型。
- 為監督式微調與強化學習準備數據集。
- 優化 AI 模型的效能、準確性與效率。
- 將自訂模型部署至生產環境。
- 評估模型改進成效,並確保其穩定性。
使用 Ollama 開發多模態應用
21 小時開始使用 Ollama:在本機執行 AI 模型
7 小時此導師指導的現場培訓在 台灣(線上或線下)進行,旨在幫助初級專業人員安裝、配置並使用 Ollama 在本機機器上運行 AI 模型。
參加完本課程後,學員將能夠:
- 了解 Ollama 的基本原理及其功能。
- 設置 Ollama 以運行本地 AI 模型。
- 使用 Ollama 部署和互動操作 LLMs。
- 優化 AI 工作負載的性能和資源使用情況。
- 探索各行業中本地 AI 部署的用例。
Ollama 與資料隱私:安全部署模式
14 小時Ollama 在金融領域的應用
14 小時Ollama在醫療領域的應用
14 小時Ollama:自建大型語言模型,取代 OpenAI 和 Claude API
14 小時Ollama 是一個開源工具,可在消費級和企業級硬體上本地運行大型語言模型。它將模型量化、GPU 配置和 API 服務抽象為單一命令列介面,使組織能夠自建 Llama、Mistral 和 Qwen 等 LLM,而無需將提示詞或資料發送給 OpenAI、Anthropic 或 Google。
Ollama 負責任的 AI 與治理
14 小時Ollama是一個平台,可在本地運行大型語言模型和多模態模型,並支援治理及負責任的 AI 實踐。
本課程由講師帶領進行 live 培訓(線上或線下),適合中階至高階專業人士,協助他們在 Ollama 驅動的应用程序中實現公平性、透明度與問責制。
完成本培訓後,學員將能夠:
- 在 Ollama 部署中應用負責任的 AI 原則。
- 實作內容篩選與偏見減緩策略。
- 設計 AI 對齊與可審計性的治理工作流程。
- 建立合規所需的監控與報告框架。
課程格式
- 互動式講授與討論。
- 實作治理工作流程設計實驗。
- 案例研究與專注於合規的練習。
課程客製化選項
- 如需為本課程申請客製化培訓,請聯繫我們安排。