Python 和 Spark for Big Data (PySpark)培訓

課程介紹

理解大數據

Spark 概述

Python 概述

PySpark 概述

• 使用彈性分散式資料集框架分配數據。
• 透過 Spark API 算子進行計算分配。

在 Spark 中設定 Python

設定 PySpark

使用 Amazon Web Services (AWS) EC2 執行個體運行 Spark

設定 Databricks

設定 AWS EMR 叢集

學習 Python 程式設計基礎

• 開始接觸 Python。
• 使用 Jupyter Notebook。
• 使用變數與基本資料類型。
• 操作列表 (Lists)。
• 使用條件判斷式 (if Statements)。
• 處理使用者輸入。
• 使用 while 迴圈。
• 實作函式 (Functions)。
• 操作類別 (Classes)。
• 處理檔案與例外狀況 (Exceptions)。
• 專案、數據與 API 的應用。

學習 Spark DataFrame 基礎

• 開始接觸 Spark DataFrames。
• 實作 Spark 基本操作。
• 使用 Groupby 與聚合操作。
• 處理時間戳記與日期。

進行 Spark DataFrame 專案練習

理解 MLlib 中的機器學習

使用 MLlib、Spark 和 Python 進行機器學習實作

理解回歸分析 (Regressions)

• 學習線性回歸理論。
• 實作回歸評估程式碼。
• 完成線性回歸範例練習。
• 學習邏輯回歸理論。
• 實作邏輯回歸程式碼。
• 完成邏輯回歸範例練習。

理解隨機森林與決策樹

• 學習樹狀演算法理論。
• 實作決策樹和隨機森林程式碼。
• 完成隨機森林分類範例練習。

使用 K-means 叢集演算法

• 理解 K-means 叢集理論。
• 實作 K-means 叢集程式碼。
• 完成叢集範例練習。

推薦系統應用

實作自然語言處理 (NLP)

• 理解自然語言處理 (NLP)。
• NLP 工具概述。
• 完成 NLP 範例練習。

使用 Spark 進行 Python 串流處理

• Spark 串流處理概述。
• Spark 串流處理範例練習。

課程總結與結語。