聯繫我們

課程簡介

安全本地 AI 基礎

  • 在受管制環境中,本地與企業內網 AI 的定義。
  • 雲端 AI 與針對敏感工作負載的內部部署比較。
  • 私人助手與工作流程支援的常見企業應用場景。
  • 安全本地 AI 架構的核心組成元件。

Ollama 與開源模型基礎

  • Ollama 如何融入本地開發堆疊。
  • 在本地拉取、運行與管理模型。
  • 根據規模、品質、硬體與許可證選擇模型。
  • 將模型選項匹配至實際業務任務。

準備企業內網環境

  • 主機、工作站與伺服器的準備。
  • 安裝與配置 Ollama 以進行本地推論。
  • 使用容器與內部開發工具。
  • 驗證 API 存取權與基本運作就緒狀態。

有效利用本地模型

  • 運行提示詞並透過系統指令塑造輸出內容。
  • 重構模板以確保企業任務的一致性。
  • 管理模型版本與內部資產。
  • 針對 CPU 與 GPU 部署進行基本效能調整。

建構實用代理工作流程

  • 在受控設定中,使工作流程具備代理特性的關鍵。
  • 規劃、工具使用與回應迴圈的簡單模式。
  • 為內部營運設計專注於任務的助手。
  • 加入人工審查、後備邏輯與錯誤處理機制。

私人檢索工作流程

  • 用於內部知識存取之檢索增強生成的基礎。
  • 準備文件以供分塊、索引與搜尋。
  • 將本地向量資料庫連接到基於 Ollama 的應用程式。
  • 透過更優化的檢索模式提升相關性與回答品質。

安全、治理與合規實踐

  • 資料處理界線與隱私考量。
  • 存取控制、記錄與審計支援。
  • 提示詞安全、輸出控制與防護柵欄。
  • 受管制部署與運作的治理節點。

企業整合模式

  • 透過內部 API 公開本地 AI 功能。
  • 將助手整合至內部應用程式與服務。
  • 支援助手、批次處理與工作流程自動化應用場景。
  • 將解決方案保留在受控網路邊界內。

評估本地 AI 解決方案

  • 評估品質、可靠性與一致性。
  • 針對業務、政策與安全需求進行測試。
  • 比較特定企業任務的模型選項。
  • 建立內部團隊實用的持續改進循環。

動手實作實驗室

  • 使用 Ollama 與開源模型建構私人助手。
  • 針對核准的內部文件進行檢索整合。
  • 引入簡單的代理動作与安全控制機制。
  • 檢視部署、運作與治理節點。

採用計畫與後續步驟

  • 回顧關鍵設計與部署決策。
  • 識別受管制 AI 專案中的常見陷阱。
  • 規劃試點應用場景並達成利害關係人共識。
  • 定義安全本地 AI 採用的路線圖。

最低要求

  • 具備 AI 概念與軟體開發的基本理解。
  • 熟悉指令列工具、容器或本地開發環境。
  • 具備基本的腳本編寫或程式設計經驗。

目標受眾

  • 在內部基礎設施上建構私人 AI 解決方案之開發人員與技術團隊。
  • 支援受管制環境中 AI 應用之安全、合規與平台專業人士。
  • 金融、醫療保健、政府與防禦領域中,評估本地 AI 採用計畫的技術領導者。
 21 小時

人數


每位參與者的報價

即將到來的課程

課程分類