Apache Spark 管理培訓

本課程為講師主導的實作培訓（在 台灣 提供線上或線下形式），適合具備中階技能、希望運用 Google Colab 和 Apache Spark 進行大數據處理與分析的数据科学家和工程師。

完成培訓後，學員將能夠：

• 利用 Google Colab 和 Spark 建立大數據環境。
• 使用 Apache Spark 高效處理並分析大型資料集。
• 在協作環境中視覺化大數據。
• 將 Apache Spark 與雲端工具整合。

本培訓由講師現場指導，可線上或線下進行，主要面向希望使用 Databricks 和 PySpark 構建可扩展數據流水線並遷移現有 SQL 工作流程的數據工程師、數據分析師及其他數據專業人士。

本培訓提供實用入門課程，教導如何使用 PySpark 建構可擴展的數據處理和機器學習工作流程。學員將了解 Apache Spark 如何在現代大數據生態系統中運行，以及如何利用分散式計算原理高效處理大型資料集。

這門三天的實務課程著重於在Kubernetes 環境中使用 PySpark、Pandas 和 Polars建置與優化高效能的資料處理工作負載。

學員將深入理解 Spark 應用程式如何在 Kubernetes 上執行，以及應用程式層級的設定決策如何影響效能、擴展性、資源消耗與成本。課程涵蓋關鍵的優化領域，包括執行器（Executor）尺寸設定、記憶體分配、動態資源分配、分區策略、Shuffle 行為、小檔案問題以及高效的 Parquet 處理技術。

課程也探討使用Pandas時的常見挑戰，如記憶體限制與記憶體溢出（OOM）錯誤，並介紹Polars作為特定資料處理工作負載的高效能替代方案。透過實作練習，學員將診斷效能與記憶體問題、比較不同的設定策略，並針對真實的 ETL 與機器學習情境應用優化技術。

整個課程的核心在於實務決策能力：學會識別瓶頸、選擇合適的工具、高效配置 Spark，並在效能與基礎設施資源消耗及成本之間取得平衡。

本培訓課程由講師現場指導，可以線上或進行的形式進行。旨在幫助工程師部署Apache Spark系統，以處理大量數據。

在本培訓結束後，參與者將能夠：

• 安裝並配置Apache Spark
• 快速處理並分析大量數據
• 了解Apache Spark和Hadoop MapReduce之間的差異以及何時使用哪一種
• 將Apache Spark與其他機器學習工具整合

在此由講師主導的 台灣 實作課程中，學員將透過實際練習，學習如何結合 Python 與 Spark 來分析大數據。

完成本課程後，學員將能夠：

• 學會運用 Spark 搭配 Python 分析大數據。
• 處理模擬真實情境的練習題。
• 使用 PySpark 的不同工具與技術進行大數據分析。

本課程在台灣（線上或線下）以導師指導的方式進行，旨在幫助希望使用並整合 Spark、Hadoop 和 Python 來處理、分析和轉換大型且複雜數據集的開發者。

在完成本課程後，學員將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心組件及架構。
• 學習如何整合 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MLlib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 建立類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習算法。