課程簡介

第1部分——深度學習與DNN概念

人工智能、機器學習與深度學習簡介

  • 人工智能的歷史、基本概念及常見應用,遠離該領域的幻想
  • 集體智能:聚合多個虛擬代理共享的知識
  • 遺傳算法:通過選擇進化虛擬代理的羣體
  • 常見的機器學習:定義。
  • 任務類型:監督學習、無監督學習、強化學習
  • 動作類型:分類、迴歸、聚類、密度估計、降維
  • 機器學習算法示例:線性迴歸、樸素貝葉斯、隨機樹
  • 機器學習與深度學習:機器學習仍然是當今最先進的問題(隨機森林與XGBoosts)

神經網絡的基本概念(應用:多層感知器)

  • 數學基礎回顧。
  • 神經網絡的定義:經典架構、激活和
  • 先前激活的權重,網絡的深度
  • 神經網絡的學習定義:成本函數、反向傳播、隨機梯度下降、最大似然。
  • 神經網絡的建模:根據問題類型(迴歸、分類等)對輸入和輸出數據進行建模。維度詛咒。
  • 多特徵數據與信號的區別。根據數據選擇成本函數。
  • 通過神經網絡逼近函數:介紹和示例
  • 通過神經網絡逼近分佈:介紹和示例
  • 數據增強:如何平衡數據集
  • 神經網絡結果的泛化。
  • 神經網絡的初始化和正則化:L1/L2正則化,批量歸一化
  • 優化和收斂算法

標準ML/DL工具

將進行簡單的介紹,包括優點、缺點、在生態系統中的位置及使用。

  • 數據管理工具:Apache Spark、Apache Hadoop工具
  • 機器學習:Numpy、Scipy、Sci-kit
  • 高級DL框架:PyTorch、Keras、Lasagne
  • 低級DL框架:Theano、Torch、Caffe、Tensorflow

卷積神經網絡(CNN)。

  • CNN的介紹:基本原理和應用
  • CNN的基本操作:卷積層、使用內核、
  • 填充和步幅,特徵圖的生成,池化層。1D、2D和3D擴展。
  • 介紹在圖像分類中帶來最先進技術的不同CNN架構
  • LeNet、VGG網絡、網絡中的網絡、Inception、Resnet。介紹每種架構帶來的創新及其更廣泛的應用(1x1卷積或殘差連接)
  • 使用注意力模型。
  • 應用於常見分類案例(文本或圖像)
  • CNN用於生成:超分辨率、像素到像素分割。介紹
  • 用於圖像生成的主要策略,以增加特徵圖。

循環神經網絡(RNN)。

  • RNN的介紹:基本原理和應用。
  • RNN的基本操作:隱藏激活、通過時間的反向傳播、展開版本。
  • 向門控循環單元(GRUs)和長短期記憶(LSTM)的演變。
  • 介紹不同狀態及這些架構帶來的演變
  • 收斂和梯度消失問題
  • 經典架構:時間序列預測、分類...
  • RNN編碼器解碼器類型架構。使用注意力模型。
  • NLP應用:詞/字符編碼、翻譯。
  • 視頻應用:預測視頻序列的下一個生成圖像。

生成模型:變分自編碼器(VAE)和生成對抗網絡(GAN)。

  • 生成模型的介紹,與CNN的聯繫
  • 自編碼器:降維和有限生成
  • 變分自編碼器:生成模型和給定分佈的近似。潛在空間的定義和使用。重參數化技巧。應用和觀察到的限制
  • 生成對抗網絡:基礎。
  • 雙網絡架構(生成器和判別器)與交替學習,可用的成本函數。
  • GAN的收斂及遇到的困難。
  • 改進的收斂:Wasserstein GAN、Began。地球移動距離。
  • 用於圖像或照片生成、文本生成、超分辨率的應用。

深度強化學習。

  • 強化學習的介紹:在定義的環境中控制代理
  • 通過狀態和可能的動作
  • 使用神經網絡近似狀態函數
  • 深度Q學習:經驗回放,並應用於視頻遊戲的控制。
  • 學習策略的優化。在線策略與離線策略。演員-評論家架構。A3C。
  • 應用:控制單個視頻遊戲或數字系統。

第2部分——Theano深度學習

Theano基礎

  • 介紹
  • 安裝與配置

Theano函數

  • 輸入、輸出、更新、給定

使用Theano進行神經網絡的訓練與優化

  • 神經網絡建模
  • 邏輯迴歸
  • 隱藏層
  • 訓練網絡
  • 計算與分類
  • 優化
  • 對數損失

測試模型

第3部分——使用TensorFlow的DNN

TensorFlow基礎

  • 創建、初始化、保存和恢復TensorFlow變量
  • 輸入、讀取和預加載TensorFlow數據
  • 如何使用TensorFlow基礎設施大規模訓練模型
  • 使用TensorBoard可視化和評估模型

TensorFlow機制

  • 準備數據
  • 下載
  • 輸入與佔位符
  • 構建圖S
    • 推理
    • 損失
    • 訓練
  • 訓練模型
    • 會話
    • 訓練循環
  • 評估模型
    • 構建評估圖
    • 評估輸出

感知器

  • 激活函數
  • 感知器學習算法
  • 使用感知器進行二元分類
  • 使用感知器進行文檔分類
  • 感知器的侷限性

從感知器到支持向量機

  • 核與核技巧
  • 最大間隔分類與支持向量

人工神經網絡

  • 非線性決策邊界
  • 前饋與反饋人工神經網絡
  • 多層感知器
  • 最小化成本函數
  • 前向傳播
  • 反向傳播
  • 改進神經網絡的學習方式

卷積神經網絡

  • 目標
  • 模型架構
  • 原理
  • 代碼組織
  • 啓動與訓練模型
  • 評估模型

將提供以下模塊的基本介紹(根據時間提供簡要介紹):

TensorFlow高級用法

  • 線程與隊列
  • 分佈式TensorFlow
  • 編寫文檔並共享模型
  • 自定義數據讀取器
  • 操作TensorFlow模型文件

TensorFlow Serving

  • 介紹
  • 基礎服務教程
  • 高級服務教程
  • Inception模型服務教程

最低要求

具備物理、數學和編程背景,並參與過圖像處理活動。

學員應事先了解機器學習概念,並應具備Python編程和庫的使用經驗。

 35 時間:

人數


每位參與者的報價

客戶評論 (5)

即將到來的課程

課程分類