Ollama 擴展與基礎設施優化培訓
Ollama 是一個用於在本地和規模化運行大型語言模型和多模態模型的平臺。
這門由講師主導的實時培訓(線上或線下)旨在針對希望將 Ollama 部署擴展至多用戶、高吞吐量且具備成本效益環境的中級到高級工程師。
在完成本培訓後,學員將能夠:
- 配置 Ollama 以支持多用戶和分佈式工作負載。
- 優化 GPU 和 CPU 資源分配。
- 實施自動擴展、批處理及延遲降低策略。
- 監控並優化基礎設施,以提升性能與成本效益。
課程格式
- 互動式講解與討論。
- 實操部署與擴展實驗。
- 在真實環境中進行實踐優化練習。
課程定制選項
- 如需為本課程申請定制化培訓,請聯繫我們以安排。
課程簡介
Ollama 擴展簡介
- Ollama 的架構與擴展考量
- 多用戶部署中的常見瓶頸
- 基礎設施準備的最佳實踐
資源分配與 GPU 優化
- CPU/GPU 的高效利用策略
- 內存與帶寬考量
- 容器級別的資源限制
基於容器與 Kubernetes 的部署
- 使用 Docker 對 Ollama 進行容器化
- 在 Kubernetes 集群中運行 Ollama
- 負載平衡與服務發現
自動擴展與批處理
- 設計 Ollama 的自動擴展策略
- 用於優化吞吐量的批推理技術
- 延遲與吞吐量之間的權衡
延遲優化
- 分析推理性能
- 緩存策略與模型預熱
- 降低 I/O 與通信開銷
監控可觀察性
- 集成 Prometheus 以獲取指標
- 使用 Grafana 構建儀表板
- Ollama 基礎設施的警報與事件響應
成本管理與擴展策略
- 成本意識型 GPU 分配
- 雲端與本地部署的考量
- 可持續擴展的策略
總結與下一步
最低要求
- 具備 Linux 系統管理經驗
- 理解容器化與編排技術
- 熟悉機器學習模型的部署
受眾對象
- DevOps 工程師
- ML 基礎設施團隊
- 站點可靠性工程師
公開培訓課程需要5名以上參與者。
Ollama 擴展與基礎設施優化培訓 - 訂單
Ollama 擴展與基礎設施優化培訓 - 詢問
Ollama 擴展與基礎設施優化 - 咨詢詢問
即將到來的課程
相關課程
進階 Ollama 模型除錯與評估
35 小時「進階 Ollama 模型除錯與評估」是一門深入課程,專注於在執行本機或私有 Ollama 部署時,對模型行為進行診斷、測試和測量。
這門由講師主導的培訓課程可線上或線下進行,旨在協助進階級別的人工智慧工程師、ML Ops 專業人員以及品質保證從業人員,確保基於 Ollama 的模型在生產環境中的可靠性、準確度和營運就绪狀態。
完成本課程後,參與者將能夠:
- 對託管於 Ollama 的模型進行系統性除錯,並可靠地重現失效模式。
- 設計並執行具備量化與質化指標的堅固評估管道。
- 實施可觀察性(日誌、追蹤、指標),以監控模型健康狀況和漂移。
- 自動化測試、驗證及回歸檢查,並將其整合至 CI/CD 管道中。
課程格式
- 互動式講授與討論。
- 使用 Ollama 部署的實作實驗室及除錯練習。
- 案例研究、團體問題排查 sessions 以及自動化工作坊。
課程客製化選項
- 如需此課程的客製化培訓,請聯繫我們以安排事宜。
使用 Ollama 建立私人 AI 工作流
14 小時這門課程由講師帶領進行實作演練,在 台灣(線上或線下)提供,主要對象為希望利用 Ollama 實現安全且高效的 AI 驅動工作流的進階專業人員。
完成本課程後,學員將能夠:
- 部署並設定 Ollama,用於私人 AI 處理。
- 將 AI 模型整合至企業級的安全工作流中。
- 在維持資料隱私的前提下優化 AI 效能。
- 利用本機端 AI 能力自動化業務流程。
- 確保符合企業資安與治理規範。
使用 Ollama 部署和優化大型語言模型
14 小時這項在 台灣 舉行的由講師主導的實時培訓(線上或線下),旨在幫助希望使用 Ollama 部署、優化並整合 LLM 的中級專業人士。
完成本培訓後,學員將能夠:
- 使用 Ollama 設置並部署 LLM。
- 針對效能和效率優化 AI 模型。
- 利用 GPU 加速提升推理速度。
- 將 Ollama 整合至工作流程和應用程序。
- 監控並隨時間維護 AI 模型的效能。
在 Ollama 上微調與自訂 AI 模型
14 小時這項在 台灣(線上或線下)舉辦的講師主導實作培訓,旨在針對進階專業人士,協助他們透過在 Ollama 上微調和自訂 AI 模型,以提升效能並應用於領域專屬場景。
完成本課程後,學員將能夠:
- 建立高效的環境以在 Ollama 上微調 AI 模型。
- 為監督式微調與強化學習準備數據集。
- 優化 AI 模型的效能、準確性與效率。
- 將自訂模型部署至生產環境。
- 評估模型改進成效,並確保其穩定性。
使用 Ollama 開發多模態應用
21 小時Ollama 是一個平台,可讓您在本地運行和微調大型語言模型及多模態模型。
本課程為講師主導的實戰培訓(線上或線下),針對希望使用 Ollama 構建和部署多模態應用的進階級 ML 工程師、AI 研究員以及產品開發人員。
完成本培訓後,參與者將能夠:
- 設置並運行使用 Ollama 的多模態模型。
- 整合文本、圖像和音頻輸入以服務於真實應用場景。
- 構建文檔理解與視覺問答系統。
- 開發能夠跨模態推理的多模態智能體。
課程形式
- 互動式講授與討論。
- 使用真實多模態數據集的實作練習。
- 利用 Ollama 實施多模態流水線的實驗室實作。
課程客製化選項
- 如需為本課程申請客製化培訓,請聯繫我們以進行安排。
開始使用 Ollama:在本機執行 AI 模型
7 小時此導師指導的現場培訓在 台灣(線上或線下)進行,旨在幫助初級專業人員安裝、配置並使用 Ollama 在本機機器上運行 AI 模型。
參加完本課程後,學員將能夠:
- 了解 Ollama 的基本原理及其功能。
- 設置 Ollama 以運行本地 AI 模型。
- 使用 Ollama 部署和互動操作 LLMs。
- 優化 AI 工作負載的性能和資源使用情況。
- 探索各行業中本地 AI 部署的用例。
Ollama 與資料隱私:安全部署模式
14 小時Ollama 是一個平台,允許在本地運行大型語言和多種模態模型,同時支援安全的部署策略。
這門由講師主導的直播培訓(線上或線下)針對希望部署 Ollama 並具備強大資料隱私和合規措施的初級至中級專業人士。
完成本培訓後,學員將能夠:
- 在容器化和本地環境中安全部署 Ollama。
- 應用差分隱私技術保護敏感數據。
- 實施安全的日誌記錄、監控和審計實踐。
- 實施符合合規要求的數據訪問控制。
課程格式
- 互動式講課和討論。
- 結合安全部署模式的實作實驗室。
- 專注於合規的案例研究和實踐練習。
課程客製化選項
- 如需此課程的自定義培訓,請聯繫我們進行安排。
Ollama 在金融領域的應用
14 小時Ollama 是一個輕量級平台,用於本地運行大型語言模型。
本課程由講師指導進行直播教學(線上或線下),主要面向希望在金融環境中實施、自定義和運營基於 Ollama 的 AI 解決方案的中级金融從業者及 IT 人員。
完成此培訓後,參加者將獲得以下技能:
- 部署並配置 Ollama,確保其在金融運營中的安全使用。
- 將本地 LLM 整合至分析與報告工作流程。
- 針對特定於金融領域的術語和任務調整模型。
- 套用安全性、隱私及合規最佳實踐。
課程格式
- 互動式講授與討論。
- 實務金融數據練習。
- 針對金融場景的實戰實驗室應用。
課程自定義選項
- 如需此課程的定制培訓,請聯繫我們安排。
Ollama在醫療領域的應用
14 小時Ollama 是一個輕量級平台,用於在本地運行大型語言模型。
本課程為由講師引導的實訓(線上或線下),旨在讓中階醫療從業人員及資訊團隊學習如何在臨床與行政環境中部署、客製化並實際運用基於 Ollama 的 AI 解決方案。
完成本培訓後,參與者將能夠:
- 安裝和配置 Ollama,確保其在醫療環境中的安全使用。
- 將本地大型語言模型整合至臨床工作流程與行政流程中。
- 針對醫療特定術語與任務對模型進行客製化調整。
- 應用隱私、安全性及法規合規的最佳實務。
課程格式
- 互動式講授與討論。
- 動手操作示範與引導練習。
- 在沙盒化醫療模擬環境中進行實際實施。
課程客製化選項
- 如需為本課程申請客製化培訓,請聯繫我們以便安排。
Ollama:自建大型語言模型,取代 OpenAI 和 Claude API
14 小時Ollama 是一個開源工具,可在消費級和企業級硬體上本地運行大型語言模型。它將模型量化、GPU 配置和 API 服務抽象為單一命令列介面,使組織能夠自建 Llama、Mistral 和 Qwen 等 LLM,而無需將提示詞或資料發送給 OpenAI、Anthropic 或 Google。
Ollama 負責任的 AI 與治理
14 小時Ollama是一個平台,可在本地運行大型語言模型和多模態模型,並支援治理及負責任的 AI 實踐。
本課程由講師帶領進行 live 培訓(線上或線下),適合中階至高階專業人士,協助他們在 Ollama 驅動的应用程序中實現公平性、透明度與問責制。
完成本培訓後,學員將能夠:
- 在 Ollama 部署中應用負責任的 AI 原則。
- 實作內容篩選與偏見減緩策略。
- 設計 AI 對齊與可審計性的治理工作流程。
- 建立合規所需的監控與報告框架。
課程格式
- 互動式講授與討論。
- 實作治理工作流程設計實驗。
- 案例研究與專注於合規的練習。
課程客製化選項
- 如需為本課程申請客製化培訓,請聯繫我們安排。
Ollama 提示工程精通
14 小時Ollama 是一個平台,使使用者能夠在本地運行大型語言模型和多模態模型。
這項由講師主導的即時培訓(線上或線下)針對希望精通提示工程技術以優化 Ollama 輸出的中級從業者。
完成本培訓後,學員將能夠:
- 為各種用例設計有效的提示。
- 應用引導和思維鏈結構化等技術。
- 實施提示模板和上下文管理策略。
- 為複雜工作流程構建多階段提示管道。
課程格式
- 互動式講解與討論。
- 提示設計的實作練習。
- 在即時實驗室環境中的實際實施。
課程自訂選項
- 如需此課程的客製化培訓,請聯絡我們安排。