Understanding Deep Neural Networks培訓

第一部分 – 深度學習與DNN概念

AI、機器學習與深度學習簡介

• 人工智能的發展歷史、基本概念，以及該領域常見的應用範疇。
• 集體智慧：聚合由眾多虛擬代理共同分享的知識
• 基因演算法：透過選擇機制來進化虛擬代理族群
• 常見機器學習定義
• 任務類型：監督式學習、非監督式學習、增強式學習
• 操作類型：分類、迴歸、叢集分群、密度估計、維度削減
• 機器學習演算法範例：線性迴歸、樸素貝葉斯、隨機樹
• 機器學習與深度學習對比：機器學習至今仍處於最先进狀態的問題領域（例如隨機森林和XGBoost）

神經網路基本概念（應用：多層感知器）

• 數學基礎回顧
• 神經網路定義：經典架構、激勵函數及激活機制
• 先前激活的加權處理、網路深度
• 神經網路學習定義：成本函數、反向傳播、隨機梯度下降、最大似然估計
• 神經網路建模：根據問題類型（如迴歸、分類等）建立輸入和輸出數據模型。維度災難問題。
• 多特徵數據與信號的區別。根據數據類型選擇合適的成本函數
• 使用神經網路逼近函數：概念說明與範例
• 使用神經網路逼近分佈：概念說明與範例
• 資料增強：如何平衡數據集
• 神經網路結果的泛化能力
• 神經網路初始化與正則化：L1/L2正則化、批次歸一化
• 最佳化與收斂演算法

標準ML/DL工具

將進行簡要的介紹，涵蓋各工具的優點、缺點、在生態系統中的定位及使用時機。

• 資料管理工具：Apache Spark、Apache Hadoop工具
• 機器學習：Numpy、Scipy、Sci-kit
• 高階深度學習框架：PyTorch、Keras、Lasagne
• 低階深度學習框架：Theano、Torch、Caffe、Tensorflow

卷積神經網路(CNN)

• CNN介紹：基本原理與應用場景
• CNN基本運作：卷積層、內核的使用
• 填充與步幅、特徵圖生成、池化層。擴展至1D、2D和3D。
• 介紹帶來分類領域突破的不同CNN架構
• 影像應用：LeNet、VGG Networks、Network in Network、Inception、Resnet。介紹每種架構帶來的創新及其更廣泛的應用（如1x1卷積或殘差連接）
• 使用注意力機制
• 常見分類案例應用（文字或影像）
• 用於生成的CNN技術：超解析度、像素到像素分割。介紹...
• 增加圖像生成特徵圖的主要策略

循環神經網路(RNN)

• RNN介紹：基本原理與應用場景。
• RNN基本運作：隱藏層激活、時間反向傳播、展開版本
• 向閾值循環單元(GRU)和LSTM（長短期記憶）的演進
• 介紹這些架構帶來的不同狀態變化與演进
• 收斂問題與梯度消失問題
• 經典架構：時間序列預測、分類等...
• RNN編碼器-解碼器類型架構。使用注意力機制。
• 自然語言處理(NLP)應用：詞元/字元編碼、翻譯。
• 影片應用：預測影片序列中下一幀生成的影像。

生成模型：變分自編碼器(VAE)與生成對抗網路(GAN)

• 介紹生成模型及其與CNN的關聯
• 自編碼器：維度削減與受限生成
• 變分自編碼器：生成模型及對給定數據分佈的逼近。潛空間的定義與使用。重參數化技巧。應用場景與觀察到的限制
• 生成對抗網路：基本原理。
• 雙重網路架構（生成器和判别器），採用交替學習及可用的成本函數。
• GAN的收斂性及面臨的困難。
• 改進收斂性：Wasserstein GAN、Begins。 Earth Moving Distance。
• 應用於生成圖像或照片、文字生成、超解析度。

深度增強式學習。

• 介紹增強式學習：在定義環境中控制智能體
• 基於狀態和可能的動作
• 使用神經網路逼近狀態函數
• 深度Q學習：經驗回放，以及應用於視頻遊戲控制。
• 學習策略最佳化。On-policy與off-policy。Actor-critic架構。A3C。
• 應用：單一電子遊戲或數位系統的控制。

第二部分 – Theano用於深度學習

Theano基礎

• 介紹
• 安裝與配置

Theano函式

• 輸入、輸出、更新、給定值

使用Theano進行神經網路訓練與最佳化

• 神經網路建模
• 邏輯迴歸
• 隱藏層
• 訓練網路
• 計算與分類
• 最佳化
• 對數損失(Log Loss)

測試模型

第三部分 – 使用Tensorflow進行DNN開發

TensorFlow基礎

• TensorFlow變數的建立、初始化、儲存和還原
• TensorFlow數據的饋入、讀取和預加載
• 如何運用TensorFlow基礎設施進行大規模模型訓練
• 使用TensorBoard可視化和評估模型

TensorFlow機制

• 準備數據
• 下載數據
• 輸入與佔位符(Placeholders)
• 構建圖(Graphs)
  • 推論(Inference)
  • 損失(Loss)
  • 訓練
• 訓練模型
  • 圖(Graph)
  • 工作階段(Session)
  • 訓練循環
• 評估模型
  • 建立評估圖
  • 評估輸出(Eval Output)

感知器(Perceptron)

• 激勵函數
• 感知器學習演算法
• 使用感知器進行二元分類
• 使用感知器進行文件分類
• 感知器的局限性

從感知器到支持向量機(SVM)

• 內核與內核技巧
• 最大邊界分類和支持向量

人工神經網路

• 非線性決策邊界
• 前饋和反饋人工神經網路
• 多層感知器
• 最小化成本函數
• 前向傳播
• 反向傳播
• 改進神經網路學習方式

卷積神經網路

• 目標
• 模型架構
• 原理
• 程式碼組織
• 啟動與訓練模型
• 評估模型

以下模組的基本介紹（視時間情況提供簡短介紹）：

Tensorflow - 進階應用

• 執行緒與隊列
• 分布式TensorFlow
• 撰寫文件並分享您的模型
• 自定義數據讀取器
• 操控TensorFlow模型文件

TensorFlow Serving

• 介紹
• 基礎Serving教程
• 進階Serving教程
• Serving Inception模型教程