聯繫我們

課程簡介

安全本地 AI 基礎知識

  • 理解受監管環境中「本地」與「內部部署 (On-Prem) AI」的含義
  • 雲端 AI 與敏感工作負載的內部部署方案之比較
  • 私有助手及工作流支援在企業的常見用例
  • 安全本地 AI 架構的核心組件

Ollama 與開放模型基礎


  • Ollama 在本地開發堆疊中的定位
  • 拉取、運行及管理本地模型的方法
  • 根據大小、質量、硬體及授權選擇合適的模型
  • 將模型選項與實際業務任務相對應

準備內部部署 (On-Prem) 環境

  • 主機、工作站與伺服器的準備工作
  • 安裝並配置 Ollama 以進行本地推論
  • 使用容器及內部開發工具組
  • 驗證 API 存取權限與基本運作的就緒狀態

有效運用本地模型

  • 執行提示詞並透過系統指令塑造輸出結果
  • 重用模板以確保企業任務的一致性
  • 管理模型版本與內部資源
  • 針對 CPU 及 GPU 部署進行基本的效能調優

構建實用的智能體工作流

  • 理解受控環境下使工作流具備「智能體」特性的關鍵要素
  • 簡易的規劃、工具使用及回應迴圈模式
  • 為內部營運設計任務導向的助手
  • 加入人工審核、備用邏輯及錯誤處理機制

私有檢索工作流

  • 用於內部知識存取之檢索增強生成 (RAG) 基礎知識
  • 為分塊、索引與搜尋準備文檔
  • 將本地向量資料庫連接至基於 Ollama 的應用程式
  • 透過優化檢索模式提升相關性與答案質量

安全、治理與合規實務

  • 數據處理邊界與隱私考量
  • 存取控制、日誌記錄與審計支援
  • 提示詞安全、輸出控制及安全防護網 (Guardrails)
  • 受監管部署與運營的治理節點

企業整合模式

  • 透過內部 API 暴露本地 AI 能力
  • 將助手整合至內部應用程式與服務中
  • 支援助手、批次處理及工作流自動化用例
  • 確保解決方案位於受控網路邊界內

評估本地 AI 方案

  • 評估質量、可靠性與一致性
  • 針對業務目標、政策及安全要求進行測試
  • 比較特定企業任務的模型選項
  • 建立適合內部團隊的實務改進循環

實作實驗室

  • 結合 Ollama 與開放模型構建私有助手
  • 基於已核准的內部文檔增加檢索功能
  • 引入簡易的智能體動作及安全控制措施
  • 審查部署、運營及治理節點

採納計畫與後續步驟

  • 回顧關鍵設計與部署決策
  • 識別受監管 AI 專案中的常見陷阱
  • 規劃試點用例與利害關係人對齊
  • 制定安全本地 AI 採用的路線圖

最低要求

  • 具備 AI 概念與軟體開發的基本理解
  • 熟悉命令列工具、容器或本地開發環境
  • 具有基本腳本編寫或程式設計經驗

目標受眾

  • 在內部基礎設施上構建私有 AI 方案的開發人員與技術團隊
  • 在受監管環境中支援 AI 的資訊安全、合規及平台專業人士
  • 正評估內部部署 AI 採用的金融、醫療保健、政府及國防領域的技術主管
 21 小時

人數


每位參與者的報價

即將到來的課程

課程分類