聯繫我們

課程簡介

課程介紹

理解大數據

Spark 概觀

Python 概觀

PySpark 概觀

  • 使用彈性分散式資料集 (RDD) 框架分佈資料
  • 使用 Spark API 運算子分佈計算任務

設定 Python 與 Spark 環境

設定 PySpark

使用 Amazon Web Services (AWS) EC2 實例進行 Spark 運算

設定 Databricks

設定 AWS EMR 叢集

Python 程式設計基礎

  • Python 入門
  • 使用 Jupyter Notebook
  • 使用變數與簡單資料類型
  • 處理清單 (Lists)
  • 使用 if 條件判斷式
  • 處理使用者輸入
  • 使用 while 迴圈
  • 實作函式 (Functions)
  • 處理類別 (Classes)
  • 處理檔案與例外狀況
  • 處理專案、資料與 API

Spark DataFrame 基礎

  • Spark DataFrames 入門
  • 實作 Spark 基本操作
  • 使用 Groupby 與聚合運算
  • 處理時間戳記與日期

Spark DataFrame 專案練習

理解 MLlib 中的機器學習

運用 MLlib、Spark 與 Python 進行機器學習

理解迴歸分析 (Regressions)

  • 學習線性迴歸理論
  • 實作迴歸評估程式碼
  • 完成線性迴歸範例練習
  • 學習邏輯迴歸理論
  • 實作邏輯迴歸程式碼
  • 完成邏輯迴歸範例練習

理解隨機森林與決策樹

  • 學習樹模型理論
  • 實作決策樹與隨機森林程式碼
  • 完成隨機森林分類範例練習

處理 K-means 聚類

  • 理解 K-means 聚類理論
  • 實作 K-means 聚類程式碼
  • 完成聚類範例練習

處理推薦系統

實作自然語言處理

  • 理解自然語言處理 (NLP)
  • NLP 工具概觀
  • 完成 NLP 範例練習

使用 Python 進行 Spark 串流處理

  • Spark 串流處理概觀
  • Spark 串流處理範例練習

最低要求

  • 具備基本的程式設計技能

適用對象

  • 軟體開發人員
  • IT 專業人員
  • 數據科學家
 21 小時

人數


每位參與者的報價

客戶評論 (6)

即將到來的課程

課程分類