Understanding Deep Neural Networks培訓

第1部分——深度學習與DNN概念

人工智能、機器學習與深度學習簡介

• 人工智能的歷史、基本概念及常見應用，遠離該領域的幻想
• 集體智能：聚合多個虛擬代理共享的知識
• 遺傳算法：通過選擇進化虛擬代理的羣體
• 常見的機器學習：定義。
• 任務類型：監督學習、無監督學習、強化學習
• 動作類型：分類、迴歸、聚類、密度估計、降維
• 機器學習算法示例：線性迴歸、樸素貝葉斯、隨機樹
• 機器學習與深度學習：機器學習仍然是當今最先進的問題（隨機森林與XGBoosts）

神經網絡的基本概念（應用：多層感知器）

• 數學基礎回顧。
• 神經網絡的定義：經典架構、激活和
• 先前激活的權重，網絡的深度
• 神經網絡的學習定義：成本函數、反向傳播、隨機梯度下降、最大似然。
• 神經網絡的建模：根據問題類型（迴歸、分類等）對輸入和輸出數據進行建模。維度詛咒。
• 多特徵數據與信號的區別。根據數據選擇成本函數。
• 通過神經網絡逼近函數：介紹和示例
• 通過神經網絡逼近分佈：介紹和示例
• 數據增強：如何平衡數據集
• 神經網絡結果的泛化。
• 神經網絡的初始化和正則化：L1/L2正則化，批量歸一化
• 優化和收斂算法

標準ML/DL工具

將進行簡單的介紹，包括優點、缺點、在生態系統中的位置及使用。

• 數據管理工具：Apache Spark、Apache Hadoop工具
• 機器學習：Numpy、Scipy、Sci-kit
• 高級DL框架：PyTorch、Keras、Lasagne
• 低級DL框架：Theano、Torch、Caffe、Tensorflow

卷積神經網絡（CNN）。

• CNN的介紹：基本原理和應用
• CNN的基本操作：卷積層、使用內核、
• 填充和步幅，特徵圖的生成，池化層。1D、2D和3D擴展。
• 介紹在圖像分類中帶來最先進技術的不同CNN架構
• LeNet、VGG網絡、網絡中的網絡、Inception、Resnet。介紹每種架構帶來的創新及其更廣泛的應用（1x1卷積或殘差連接）
• 使用注意力模型。
• 應用於常見分類案例（文本或圖像）
• CNN用於生成：超分辨率、像素到像素分割。介紹
• 用於圖像生成的主要策略，以增加特徵圖。

循環神經網絡（RNN）。

• RNN的介紹：基本原理和應用。
• RNN的基本操作：隱藏激活、通過時間的反向傳播、展開版本。
• 向門控循環單元（GRUs）和長短期記憶（LSTM）的演變。
• 介紹不同狀態及這些架構帶來的演變
• 收斂和梯度消失問題
• 經典架構：時間序列預測、分類...
• RNN編碼器解碼器類型架構。使用注意力模型。
• NLP應用：詞/字符編碼、翻譯。
• 視頻應用：預測視頻序列的下一個生成圖像。

生成模型：變分自編碼器（VAE）和生成對抗網絡（GAN）。

• 生成模型的介紹，與CNN的聯繫
• 自編碼器：降維和有限生成
• 變分自編碼器：生成模型和給定分佈的近似。潛在空間的定義和使用。重參數化技巧。應用和觀察到的限制
• 生成對抗網絡：基礎。
• 雙網絡架構（生成器和判別器）與交替學習，可用的成本函數。
• GAN的收斂及遇到的困難。
• 改進的收斂：Wasserstein GAN、Began。地球移動距離。
• 用於圖像或照片生成、文本生成、超分辨率的應用。

深度強化學習。

• 強化學習的介紹：在定義的環境中控制代理
• 通過狀態和可能的動作
• 使用神經網絡近似狀態函數
• 深度Q學習：經驗回放，並應用於視頻遊戲的控制。
• 學習策略的優化。在線策略與離線策略。演員-評論家架構。A3C。
• 應用：控制單個視頻遊戲或數字系統。

第2部分——Theano深度學習

Theano基礎

• 介紹
• 安裝與配置

Theano函數

• 輸入、輸出、更新、給定

使用Theano進行神經網絡的訓練與優化

• 神經網絡建模
• 邏輯迴歸
• 隱藏層
• 訓練網絡
• 計算與分類
• 優化
• 對數損失

測試模型

第3部分——使用TensorFlow的DNN

TensorFlow基礎

• 創建、初始化、保存和恢復TensorFlow變量
• 輸入、讀取和預加載TensorFlow數據
• 如何使用TensorFlow基礎設施大規模訓練模型
• 使用TensorBoard可視化和評估模型

TensorFlow機制

• 準備數據
• 下載
• 輸入與佔位符
• 構建圖S
  • 推理
  • 損失
  • 訓練
• 訓練模型
  • 圖
  • 會話
  • 訓練循環
• 評估模型
  • 構建評估圖
  • 評估輸出

感知器

• 激活函數
• 感知器學習算法
• 使用感知器進行二元分類
• 使用感知器進行文檔分類
• 感知器的侷限性

從感知器到支持向量機

• 核與核技巧
• 最大間隔分類與支持向量

人工神經網絡

• 非線性決策邊界
• 前饋與反饋人工神經網絡
• 多層感知器
• 最小化成本函數
• 前向傳播
• 反向傳播
• 改進神經網絡的學習方式

卷積神經網絡

• 目標
• 模型架構
• 原理
• 代碼組織
• 啓動與訓練模型
• 評估模型

將提供以下模塊的基本介紹（根據時間提供簡要介紹）：

TensorFlow高級用法

• 線程與隊列
• 分佈式TensorFlow
• 編寫文檔並共享模型
• 自定義數據讀取器
• 操作TensorFlow模型文件

TensorFlow Serving

• 介紹
• 基礎服務教程
• 高級服務教程
• Inception模型服務教程