Natural Language Processing - AI/Robotics培訓

詳細訓練大綱

1. NLP 簡介
   • 理解 NLP
   • NLP 架構
   • NLP 的商業應用
   • 從網路抓取數據
   • 利用各種 API 獲取文字數據
   • 處理並儲存文字語料庫，保存內容及相關元數據
   • 使用 Python 的優勢及 NLTK 速成課程
2. 實務上對語料庫與數據集的認識
   • 為何需要語料庫？
   • 語料庫分析
   • 數據屬性類型
   • 語料庫的不同檔案格式
   • 為 NLP 應用準備數據集
3. 理解句子結構
   • NLP 的組成元件
   • 自然語言理解
   • 形態分析 - 詞幹、單詞、標記、詞性標籤
   • 句法分析
   • 語義分析
   • 處理歧義
4. 文字數據預處理
   • 語料庫 - 原始文字
     • 句子標記化
     • 原始文字的詞幹提取
     • 原始文字的詞形還原
     • 停用詞移除
   • 語料庫 - 原始句子
     • 單詞標記化
     • 單詞詞形還原
   • 處理詞項-文件／文件-詞項矩陣
   • 將文字標記化為 n-grams 及句子
   • 實務與客製化預處理
5. 分析文字數據
   • NLP 的基本功能
     • 解析器與解析
     • 詞性標記與標記器
     • 命名實體識別
     • N-grams
     • 詞袋模型
   • NLP 的統計特徵
     • NLP 中的線性代數概念
     • NLP 中的機率理論
     • TF-IDF
     • 向量化
     • 編碼器與解碼器
     • 正規化
     • 機率模型
   • 進階特徵工程與 NLP
     • word2vec 基礎
     • word2vec 模型的組成
     • word2vec 模型的邏輯
     • word2vec 概念的延伸
     • word2vec 模型的應用
   • 案例研究：詞袋模型的應用：使用簡化版及真實 Luhn 演算法進行自動文字摘要
6. 文件聚類、分類與主題建模
   • 文件聚類與模式挖掘（階層式聚類、k-means、聚类等）
   • 使用 TFIDF、Jaccard 及餘弦距離指標比較與分類文件
   • 使用 Naïve Bayes 及最大熵進行文件分類
7. 識別重要文字元素
   • 降低維度：主成分分析、單值分解、非負矩陣因式分解
   • 使用潛在語義分析進行主題建模與信息檢索
8. 實體抽取、情感分析與進階主題建模
   • 正面與負面：情感程度
   • 項目反應理論
   • 詞性標記及其應用：在文字中尋找提及的人員、地點和組織
   • 進階主題建模：潛在狄利克雷分配
9. 案例研究
   • 挖掘非結構化用戶評論
   • 產品評論數據的情感分類與可視化
   • 挖掘搜尋日誌以分析使用模式
   • 文字分類
   • 主題建模