課程簡介
第1部分——深度學習與DNN概念
人工智能、機器學習與深度學習簡介
- 人工智能的歷史、基本概念及常見應用,遠離該領域的幻想
- 集體智能:聚合多個虛擬代理共享的知識
- 遺傳算法:通過選擇進化虛擬代理的羣體
- 常見的機器學習:定義。
- 任務類型:監督學習、無監督學習、強化學習
- 動作類型:分類、迴歸、聚類、密度估計、降維
- 機器學習算法示例:線性迴歸、樸素貝葉斯、隨機樹
- 機器學習與深度學習:機器學習仍然是當今最先進的問題(隨機森林與XGBoosts)
神經網絡的基本概念(應用:多層感知器)
- 數學基礎回顧。
- 神經網絡的定義:經典架構、激活和
- 先前激活的權重,網絡的深度
- 神經網絡的學習定義:成本函數、反向傳播、隨機梯度下降、最大似然。
- 神經網絡的建模:根據問題類型(迴歸、分類等)對輸入和輸出數據進行建模。維度詛咒。
- 多特徵數據與信號的區別。根據數據選擇成本函數。
- 通過神經網絡逼近函數:介紹和示例
- 通過神經網絡逼近分佈:介紹和示例
- 數據增強:如何平衡數據集
- 神經網絡結果的泛化。
- 神經網絡的初始化和正則化:L1/L2正則化,批量歸一化
- 優化和收斂算法
標準ML/DL工具
將進行簡單的介紹,包括優點、缺點、在生態系統中的位置及使用。
- 數據管理工具:Apache Spark、Apache Hadoop工具
- 機器學習:Numpy、Scipy、Sci-kit
- 高級DL框架:PyTorch、Keras、Lasagne
- 低級DL框架:Theano、Torch、Caffe、Tensorflow
卷積神經網絡(CNN)。
- CNN的介紹:基本原理和應用
- CNN的基本操作:卷積層、使用內核、
- 填充和步幅,特徵圖的生成,池化層。1D、2D和3D擴展。
- 介紹在圖像分類中帶來最先進技術的不同CNN架構
- LeNet、VGG網絡、網絡中的網絡、Inception、Resnet。介紹每種架構帶來的創新及其更廣泛的應用(1x1卷積或殘差連接)
- 使用注意力模型。
- 應用於常見分類案例(文本或圖像)
- CNN用於生成:超分辨率、像素到像素分割。介紹
- 用於圖像生成的主要策略,以增加特徵圖。
循環神經網絡(RNN)。
- RNN的介紹:基本原理和應用。
- RNN的基本操作:隱藏激活、通過時間的反向傳播、展開版本。
- 向門控循環單元(GRUs)和長短期記憶(LSTM)的演變。
- 介紹不同狀態及這些架構帶來的演變
- 收斂和梯度消失問題
- 經典架構:時間序列預測、分類...
- RNN編碼器解碼器類型架構。使用注意力模型。
- NLP應用:詞/字符編碼、翻譯。
- 視頻應用:預測視頻序列的下一個生成圖像。
生成模型:變分自編碼器(VAE)和生成對抗網絡(GAN)。
- 生成模型的介紹,與CNN的聯繫
- 自編碼器:降維和有限生成
- 變分自編碼器:生成模型和給定分佈的近似。潛在空間的定義和使用。重參數化技巧。應用和觀察到的限制
- 生成對抗網絡:基礎。
- 雙網絡架構(生成器和判別器)與交替學習,可用的成本函數。
- GAN的收斂及遇到的困難。
- 改進的收斂:Wasserstein GAN、Began。地球移動距離。
- 用於圖像或照片生成、文本生成、超分辨率的應用。
深度強化學習。
- 強化學習的介紹:在定義的環境中控制代理
- 通過狀態和可能的動作
- 使用神經網絡近似狀態函數
- 深度Q學習:經驗回放,並應用於視頻遊戲的控制。
- 學習策略的優化。在線策略與離線策略。演員-評論家架構。A3C。
- 應用:控制單個視頻遊戲或數字系統。
第2部分——Theano深度學習
Theano基礎
- 介紹
- 安裝與配置
Theano函數
- 輸入、輸出、更新、給定
使用Theano進行神經網絡的訓練與優化
- 神經網絡建模
- 邏輯迴歸
- 隱藏層
- 訓練網絡
- 計算與分類
- 優化
- 對數損失
測試模型
第3部分——使用TensorFlow的DNN
TensorFlow基礎
- 創建、初始化、保存和恢復TensorFlow變量
- 輸入、讀取和預加載TensorFlow數據
- 如何使用TensorFlow基礎設施大規模訓練模型
- 使用TensorBoard可視化和評估模型
TensorFlow機制
- 準備數據
- 下載
- 輸入與佔位符
-
構建圖S
- 推理
- 損失
- 訓練
-
訓練模型
- 圖
- 會話
- 訓練循環
-
評估模型
- 構建評估圖
- 評估輸出
感知器
- 激活函數
- 感知器學習算法
- 使用感知器進行二元分類
- 使用感知器進行文檔分類
- 感知器的侷限性
從感知器到支持向量機
- 核與核技巧
- 最大間隔分類與支持向量
人工神經網絡
- 非線性決策邊界
- 前饋與反饋人工神經網絡
- 多層感知器
- 最小化成本函數
- 前向傳播
- 反向傳播
- 改進神經網絡的學習方式
卷積神經網絡
- 目標
- 模型架構
- 原理
- 代碼組織
- 啓動與訓練模型
- 評估模型
將提供以下模塊的基本介紹(根據時間提供簡要介紹):
TensorFlow高級用法
- 線程與隊列
- 分佈式TensorFlow
- 編寫文檔並共享模型
- 自定義數據讀取器
- 操作TensorFlow模型文件
TensorFlow Serving
- 介紹
- 基礎服務教程
- 高級服務教程
- Inception模型服務教程
最低要求
具備物理、數學和編程背景,並參與過圖像處理活動。
學員應事先了解機器學習概念,並應具備Python編程和庫的使用經驗。
客戶評論 (5)
亨特很棒,非常有吸引力,知識淵博,風度翩翩。 做得很好。
Rick Johnson - Laramie County Community College
課程 - Artificial Intelligence (AI) Overview
機器翻譯
The trainer explained the content well and was engaging throughout. He stopped to ask questions and let us come to our own solutions in some practical sessions. He also tailored the course well for our needs.
Robert Baker
課程 - Deep Learning with TensorFlow 2.0
Tomasz really know the information well and the course was well paced.
Raju Krishnamurthy - Google
課程 - TensorFlow Extended (TFX)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
課程 - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.