Fine-Tuning for Retrieval-Augmented Generation (RAG) Systems培訓
Fine-Tuning 檢索增強生成(RAG)系統的過程是優化大型語言模型如何從外部來源檢索並生成相關信息,以用於企業應用。
這項由講師指導的培訓(線上或線下)針對中級NLP工程師和知識管理團隊,他們希望微調RAG管道,以提升在問答、企業搜索和摘要應用場景中的性能。
在培訓結束時,參與者將能夠:
- 理解RAG系統的架構和工作流程。
- 針對特定領域數據微調檢索器和生成器組件。
- 評估RAG性能,並通過PEFT技術進行改進。
- 部署優化的RAG系統以供內部或生產使用。
課程形式
- 互動式講座與討論。
- 大量練習與實踐。
- 在實時實驗室環境中進行動手實作。
課程定制選項
- 如需為此課程定制培訓,請聯繫我們安排。
課程簡介
檢索增強生成(RAG)簡介
- 什麼是RAG,以及它對企業AI的重要性
- RAG系統的組件:檢索器、生成器、文件存儲
- 與獨立LLM和向量搜索的比較
設置RAG管道
- 安裝和配置Haystack或類似框架
- 文件攝取和預處理
- 將檢索器連接到向量數據庫(例如FAISS、Pinecone)
Fine-Tuning 檢索器
- 使用特定領域數據訓練密集檢索器
- 使用句子轉換器和對比學習
- 通過top-k準確率評估檢索器質量
Fine-Tuning 生成器
- 選擇基礎模型(例如BART、T5、FLAN-T5)
- 指令微調與監督微調的比較
- 使用LoRA和PEFT方法進行高效更新
評估與優化
- 評估RAG性能的指標(例如BLEU、EM、F1)
- 延遲、檢索質量和幻覺減少
- 實驗跟踪和迭代改進
部署與現實世界集成
- 在內部搜索引擎和聊天機器人中部署RAG
- 安全性、數據訪問和治理考慮
- 與API、儀表板或知識門戶的集成
案例研究與最佳實踐
- 金融、醫療和法律領域的企業用例
- 管理領域漂移和知識庫更新
- 檢索增強LLM系統的未來方向
總結與下一步
最低要求
- 理解自然语言处理(NLP)概念
- 具备基于transformer的语言模型经验
- 熟悉Python及基本机器学习工作流程
受众
- NLP工程师
- 知识管理团队
Open Training Courses require 5+ participants.
Fine-Tuning for Retrieval-Augmented Generation (RAG) Systems培訓 - Booking
Fine-Tuning for Retrieval-Augmented Generation (RAG) Systems培訓 - Enquiry
Fine-Tuning for Retrieval-Augmented Generation (RAG) Systems - 咨詢詢問
咨詢詢問
Upcoming Courses
相關課程
Advanced Techniques in Transfer Learning
14 時間:這種由講師指導的 台灣 現場培訓(在線或現場)面向希望掌握尖端遷移學習技術並將其應用於複雜現實問題的高級機器學習專業人員。
在本次培訓結束時,參與者將能夠:
- 瞭解遷移學習中的高級概念和方法。
- 為預先訓練的模型實施特定於域的適應技術。
- 應用持續學習來管理不斷變化的任務和數據集。
- 掌握多任務微調,以提高跨任務的模型性能。
Deploying Fine-Tuned Models in Production
21 時間:這種由講師指導的 台灣 現場現場培訓(在線或現場)面向希望可靠、高效地部署微調模型的高級專業人員。
在本次培訓結束時,參與者將能夠:
- 瞭解將微調模型部署到生產環境中所面臨的挑戰。
- 使用 Docker 和 Kubernetes 等工具容器化和部署模型。
- 對已部署的模型實施監控和日誌記錄。
- 在實際場景中優化模型以實現延遲和可擴充性。
Domain-Specific Fine-Tuning for Finance
21 時間:這種由講師指導的 台灣 現場現場培訓(在線或現場)面向希望獲得為關鍵財務任務定製 AI 模型的實用技能的中級專業人士。
在本次培訓結束時,參與者將能夠:
- 瞭解財務應用程式微調的基礎知識。
- 利用預先訓練的模型執行財務領域特定的任務。
- 應用欺詐檢測、風險評估和財務建議生成技術。
- 確保遵守 GDPR 和 SOX 等財務法規。
- 在金融應用程式中實施數據安全和合乎道德的 AI 實踐。
Fine-Tuning Models and Large Language Models (LLMs)
14 時間:這種由講師指導的 台灣 現場培訓(在線或現場)面向希望為特定任務和數據集自定義預訓練模型的中高級專業人員。
在本次培訓結束時,參與者將能夠:
- 瞭解微調的原理及其應用。
- 準備數據集以微調預訓練模型。
- 為 NLP 任務微調大型語言模型 (LLM)。
- 優化模型性能並解決常見挑戰。
Efficient Fine-Tuning with Low-Rank Adaptation (LoRA)
14 時間:這種由講師指導的 台灣 現場培訓(在線或現場)面向希望在不需要大量計算資源的情況下為大型模型實施微調策略的中級開發人員和 AI 從業者。
在本次培訓結束時,參與者將能夠:
- 瞭解低秩適應 (LoRA) 的原理。
- 實施LoRA以高效微調大型模型。
- 針對資源受限的環境優化微調。
- 評估和部署LoRA調優模型以用於實際應用。
Fine-Tuning Multimodal Models
28 時間:這種由講師指導的 台灣 現場培訓(在線或現場)面向希望掌握創新 AI 解決方案的多模態模型微調的高級專業人員。
在本次培訓結束時,參與者將能夠:
- 瞭解 CLIP 和 Flamingo 等多模態模型的架構。
- 有效地準備和預處理多模態數據集。
- 針對特定任務微調多模態模型。
- 針對實際應用程式和性能優化模型。
Fine-Tuning for Natural Language Processing (NLP)
21 時間:這種由講師指導的 台灣 現場培訓(在線或現場)面向希望通過有效微調預先訓練的語言模型來增強其 NLP 專案的中級專業人員。
在本次培訓結束時,參與者將能夠:
- 瞭解 NLP 任務微調的基礎知識。
- 針對特定的 NLP 應用程式微調預訓練模型,例如 GPT、BERT 和 T5。
- 優化超參數以提高模型性能。
- 在實際場景中評估和部署微調的模型。
Fine-Tuning DeepSeek LLM for Custom AI Models
21 時間:這項 台灣(在線或現場)的教學型現場培訓旨在對希望微調DeepSeek LLM 模型以創建針對特定行業、領域或業務需求量身定制的專門 AI 應用程序的高級 AI 研究人員、機器學習工程師和開發人員進行培訓。
培訓結束時,參與者將能夠:
- 了解DeepSeek模型的架構和能力,包括DeepSeek-R1和DeepSeek-V3。
- 準備數據集並對數據進行預處理以進行微調。
- 對特定領域的應用程序進行微調DeepSeek LLM。
- 有效地優化和部署微調的模型。
Fine-Tuning Large Language Models Using QLoRA
14 時間:本課程為講師指導的台灣(線上或線下)培訓,適合中高級機器學習工程師、AI開發者和數據科學家,旨在學習如何使用QLoRA高效微調大型模型,以適應特定任務和定制需求。
在培訓結束時,學員將能夠:
- 理解QLoRA背後的理論以及大型語言模型的量化技術。
- 在特定領域應用中,使用QLoRA微調大型語言模型。
- 利用量化技術,在有限計算資源下優化微調性能。
- 高效部署並評估微調模型在實際應用中的表現。
Fine-Tuning Open-Source LLMs (LLaMA, Mistral, Qwen, etc.)
14 時間:這是一個由講師指導的台灣(線上或線下)培訓課程,針對中級機器學習從業者和AI開發者,他們希望微調並部署如LLaMA、Mistral和Qwen等開放權重模型,以用於特定的業務或內部應用。
在培訓結束時,參與者將能夠:
- 理解開源LLM的生態系統及其差異。
- 為LLaMA、Mistral和Qwen等模型準備數據集和微調配置。
- 使用Hugging Face Transformers和PEFT執行微調管道。
- 在安全環境中評估、保存和部署微調後的模型。
Fine-Tuning with Reinforcement Learning from Human Feedback (RLHF)
14 時間:這門由講師指導的台灣(線上或線下)培訓課程,針對高階機器學習工程師和AI研究人員,旨在教授如何應用RLHF來微調大型AI模型,以實現卓越的性能、安全性和一致性。
在培訓結束時,學員將能夠:
- 理解RLHF的理論基礎,以及它在現代AI開發中的重要性。
- 基於人類反饋實施獎勵模型,以指導強化學習過程。
- 使用RLHF技術微調大型語言模型,使輸出與人類偏好一致。
- 應用最佳實踐,擴展RLHF工作流程,以適用於生產級AI系統。
Fine-Tuning Vision-Language Models (VLMs)
14 時間:This instructor-led, live training in 台灣 (online or onsite) is aimed at advanced-level computer vision engineers and AI developers who wish to fine-tune VLMs such as CLIP and Flamingo to improve performance on industry-specific visual-text tasks.
By the end of this training, participants will be able to:
- Understand the architecture and pretraining methods of vision-language models.
- Fine-tune VLMs for classification, retrieval, captioning, or multimodal QA.
- Prepare datasets and apply PEFT strategies to reduce resource usage.
- Evaluate and deploy customized VLMs in production environments.
Optimizing Large Models for Cost-Effective Fine-Tuning
21 時間:這種由講師指導的現場培訓<現場>(在線或現場)面向希望掌握優化大型模型的技術,以便在實際場景中進行經濟高效的微調的高級專業人員。
在本次培訓結束時,參與者將能夠:
- 瞭解微調大型模型的挑戰。
- 將分散式訓練技術應用於大型模型。
- 利用模型量化和修剪提高效率。
- 優化微調任務的硬體利用率。
- 在生產環境中有效地部署微調的模型。
Prompt Engineering and Few-Shot Fine-Tuning
14 時間:這種由講師指導的 台灣 現場培訓(在線或現場)面向希望利用快速工程和少量學習的力量來優化實際應用的 LLM 性能的中級專業人士。
在本次培訓結束時,參與者將能夠:
- 瞭解快速工程和小樣本學習的原則。
- 為各種 NLP 任務設計有效的提示。
- 利用小樣本技術以最少的數據調整 LLM。
- 針對實際應用優化 LLM 性能。
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs
14 時間:這是由講師指導的台灣(線上或線下)培訓,旨在幫助中級數據科學家和AI工程師,使用LoRA、Adapter Tuning和Prefix Tuning等方法,以更經濟高效的方式微調大型語言模型。
在培訓結束時,參與者將能夠:
- 理解參數高效微調方法背後的理論。
- 使用Hugging Face PEFT實現LoRA、Adapter Tuning和Prefix Tuning。
- 比較PEFT方法與完整微調的性能和成本權衡。
- 部署和擴展微調後的LLM,並減少計算和存儲需求。