DeepSpeed 深度學習優化培訓
DeepSpeed 是一個深度學習優化庫,可以更輕鬆地在分散式硬體上擴展深度學習模型。DeepSpeed 由 Microsoft 開發,與 PyTorch 集成,以提供更好的擴展、更快的訓練和更高的資源利用率。
這種由講師指導的實時培訓(在線或現場)面向希望提高深度學習模型性能的初級到中級數據科學家和機器學習工程師。
在本次培訓結束時,參與者將能夠:
- 了解分散式深度學習的原理。
- 安裝和配置 DeepSpeed。
- 使用 DeepSpeed 在分散式硬體上擴展深度學習模型。
- 實施和試驗 DeepSpeed 功能以實現優化和記憶體效率。
課程形式
- 互動講座和討論。
- 大量的練習和練習。
- 在即時實驗室環境中動手實施。
課程自定義選項
- 要申請本課程的定製培訓,請聯繫我們進行安排。
課程簡介
介紹
- 深度學習擴展挑戰概述
- DeepSpeed 及其功能概述
- DeepSpeed 與其他分散式深度學習庫的比較
開始
- 設置開發環境
- 安裝 PyTorch 和 DeepSpeed
- 配置 DeepSpeed 進行分散式訓練
DeepSpeed 優化功能
- DeepSpeed 訓練管道
- ZeRO (記憶體優化)
- 激活檢查點
- 梯度檢查點
- 管道並行
使用 DeepSpeed 擴展模型
- 使用 DeepSpeed 進行基本擴展
- 高級縮放技術
- 性能注意事項和最佳實踐
- 調試和故障排除技術
高級 DeepSpeed 主題
- 高級優化技術
- 將 DeepSpeed 與混合精度訓練結合使用
- 不同硬體上的 DeepSpeed(例如 GPU、TPU)
- 具有多個訓練節點的 DeepSpeed
將 DeepSpeed 與 Py 集成Torch
- 將 DeepSpeed 與 PyTorch 工作流集成
- 將 DeepSpeed 與 PyTorch Lightning 結合使用
故障排除
- 調試常見的 DeepSpeed 問題
- 監控和日誌記錄
總結和後續步驟
- 關鍵概念和功能回顧
- 在生產中使用 DeepSpeed 的最佳實踐
- 了解有關 DeepSpeed 的更多資訊的更多資源
最低要求
- 深度學習原理的中級知識
- 使用 PyTorch 或類似深度學習框架的經驗
- 熟悉 Python 程式設計
觀眾
- 數據科學家
- 機器學習工程師
- 開發人員
公開培訓課程需要5名以上參與者。
DeepSpeed 深度學習優化培訓 - 訂單
DeepSpeed 深度學習優化培訓 - 詢問
DeepSpeed 深度學習優化 - 咨詢詢問
即將到來的課程
相關課程
高級Stable Diffusion:Deep Learning用於文本到圖像生成
21 小時這種由講師指導的 台灣 現場培訓(在線或現場)面向希望擴展深度學習以生成文本到圖像的知識和技能的中高級數據科學家、機器學習工程師、深度學習研究人員和計算機視覺專家。
在本次培訓結束時,參與者將能夠:
- 了解用於文字到圖像生成的高級深度學習架構和技術。
- 實施複雜模型和優化,以實現高品質的圖像合成。
- 優化大型數據集和複雜模型的性能和可擴充性。
- 優化超參數以獲得更好的模型性能和泛化。
- 與其他深度學習框架和工具整合 Stable Diffusion
AlphaFold
7 小時這種由 台灣 的講師指導的現場培訓(在線或現場) 面向希望瞭解 AlphaFold 工作原理並在實驗研究中使用 AlphaFold 模型作為指導的生物學家。
在本次培訓結束時,參與者將能夠:
- 理解 AlphaFold 的基本原理。
- 瞭解 AlphaFold 的工作原理。
- 瞭解如何解釋 AlphaFold 預測和結果。
Deep Learning Neural Networks 與 Chainer
14 小時這種由 講師指導的 台灣 現場培訓(在線或現場)面向希望使用 Chainer 在 Python 中構建和訓練神經網路,同時使代碼易於調試的研究人員和開發人員。
在本次培訓結束時,參與者將能夠:
- 設置必要的開發環境以開始開發神經網路模型。
- 使用易於理解的原始程式碼定義和實現神經網路模型。
- 執行範例並修改現有演算法以優化深度學習訓練模型,同時利用 GPU 實現高性能。
使用計算機網絡工具包 (CNTK)
28 小時Computer Network ToolKit (CNTK) 是 Microsoft 的開源、多機器、多 GPU、高效的 RNN 訓練機器學習框架,用於語音、文本和圖像。
觀眾
本課程針對旨在在其專案中使用 CNTK 的工程師和架構師。
使用Google Colab和TensorFlow進行計算機視覺
21 小時本次由講師指導的線下或線上培訓面向希望深入瞭解計算機視覺並探索TensorFlow在Google Colab上開發複雜視覺模型能力的高級專業人員。
培訓結束後,參與者將能夠:
- 使用TensorFlow構建和訓練卷積神經網絡(CNN)。
- 利用Google Colab進行可擴展且高效的基於雲的模型開發。
- 爲計算機視覺任務實施圖像預處理技術。
- 部署計算機視覺模型以用於實際應用。
- 使用遷移學習提升CNN模型的性能。
- 可視化並解釋圖像分類模型的結果。
在 Google Colab 中使用 TensorFlow 進行深度學習
14 小時本課程為講師指導的台灣(線上或線下)培訓,旨在幫助中級數據科學家和開發人員理解並應用深度學習技術,使用Google Colab環境。
培訓結束後,參與者將能夠:
- 設置並導航Google Colab,用於深度學習項目。
- 理解神經網絡的基本原理。
- 使用TensorFlow實現深度學習模型。
- 訓練和評估深度學習模型。
- 利用TensorFlow的高級功能進行深度學習。
Deep Learning for NLP (Natural Language Processing)
28 小時在這個由講師指導的台灣現場培訓中,參與者將學習使用Python 庫進行NLP,因為他們創建了一個處理 一組圖片並生成標題的應用程式。
在培訓結束時,參與者將能夠:
- 使用 Python 庫為 NLP 設計和編寫 DL。
- 創建 Python 代碼,讀取大量圖片並生成關鍵字。
- 創建 Python 代碼,用於 從檢測到的關鍵字生成標題。
Edge AI with TensorFlow Lite
14 小時本課程爲講師指導的線下或線上培訓,面向中級開發者、數據科學家和AI從業者,旨在幫助他們利用TensorFlow Lite開發Edge AI應用。
通過本培訓,學員將能夠:
- 理解TensorFlow Lite的基礎知識及其在Edge AI中的作用。
- 使用TensorFlow Lite開發和優化AI模型。
- 在各種邊緣設備上部署TensorFlow Lite模型。
- 掌握模型轉換和優化的工具與技術。
- 使用TensorFlow Lite實現實際的Edge AI應用。
使用FPGA和OpenVINO加速深度學習
35 小時這種由講師指導的 台灣 現場實時培訓(在線或現場)面向希望加速即時機器學習應用程式並大規模部署它們的數據科學家。
在本次培訓結束時,參與者將能夠:
- 安裝 OpenVINO 工具包。
- 使用 FPGA 加速電腦視覺應用程式。
- 在 FPGA 上執行不同的 CNN 層。
- 在 Kubernetes 群集中的多個節點之間擴展應用程式。
使用Horovod進行分佈式深度學習
7 小時這種由 講師指導的 台灣 現場實時培訓(在線或現場)面向希望使用 Horovod 運行分散式深度學習訓練並將其擴展為在多個 GPU 之間並行運行的開發人員或數據科學家。
在本次培訓結束時,參與者將能夠:
- 設置必要的開發環境以開始運行深度學習訓練。
- 安裝並配置 Horovod 以使用 TensorFlow、Keras、PyTorch 和 Apache MXNet 訓練模型。
- 使用 Horovod 擴展深度學習訓練以在多個 GPU 上運行。
使用Keras進行深度學習
21 小時這種由講師指導的現場培訓在 台灣(在線或現場)進行,面向希望將深度學習模型應用於圖像識別應用的技術人員。
在本次培訓結束時,參與者將能夠:
- 安裝和配置 Keras。
- 快速構建深度學習模型的原型。
- 實現卷積網路。
- 實現循環網路。
- 在 CPU 和 GPU 上執行深度學習模型。
Stable Diffusion文本生成圖像入門
21 小時這種講師指導的現場培訓(在線或現場)面向希望 利用 Stable Diffusion 為各種使用案例生成高品質圖像的數據科學家、機器學習工程師和計算機視覺研究人員。
在本次培訓結束時,參與者將能夠:
- 瞭解 Stable Diffusion 的原理以及它如何用於圖像生成。
- 為圖像生成任務構建和訓練 Stable Diffusion 模型。
- 將 Stable Diffusion 應用於各種圖像生成方案,例如修復、出海和圖像到圖像的轉換。
- 優化 Stable Diffusion 模型的性能和穩定性。
Tensorflow Lite for Microcontrollers
21 小時這種以講師為主導的台灣現場培訓(現場或遠端)面向希望在非常小的嵌入式設備上編寫,載入和運行機器學習模型的工程師。
在培訓結束時,參與者將能夠:
- 安裝 TensorFlow Lite。
- 將機器學習模型載入式設備上,使其能夠檢測語音、對圖像進行分類等。
- 將 AI 添加到硬體設備,而無需依賴網路連接。