數據串流與即時資料處理培訓

此於 台灣（線上或線下）舉辦之講師主導實作訓練，旨在針對希望優化數據處理工作流、確保數據完整性並實施能應對現代大數據應用複雜性的強大數據湖倉解決方案的進階級數據專業人士。

課程結束後，參與者將能夠：

• 深入了解 Iceberg 的架構，包括元資料管理與檔案配置。
• 為在不同環境中達到最佳效能而設定 Iceberg，並將其與多個數據處理引擎整合。
• 管理大規模 Iceberg 表格，執行複雜的模式變更，並處理分區演化。
• 掌握優化查詢效能和大規模數據集資料掃描效率的技巧。
• 實施機制以確保數據一致性，管理交易保證，並在分散式環境中處理故障。

這門在 台灣（線上或線下）舉行的講師主導的現場培訓旨在幫助初級數據專業人士獲取有效利用 Apache Iceberg 管理大規模資料集、確保資料完整性以及優化資料處理工作流程所需的知識和技能。

完成此培訓後，學員將能夠：

• 深入了解 Apache Iceberg 的架構、功能和優勢。
• 學習關於表格格式、分區、結構演變以及時間旅行功能。
• 在不同環境中安裝和配置 Apache Iceberg。
• 建立、管理和操作 Iceberg 表格。
• 理解從其他表格式遷移資料到 Iceberg 的過程。

本課程為講師主導的實作培訓（在 台灣 提供線上或線下形式），適合具備中階技能、希望運用 Google Colab 和 Apache Spark 進行大數據處理與分析的数据科学家和工程師。

完成培訓後，學員將能夠：

• 利用 Google Colab 和 Spark 建立大數據環境。
• 使用 Apache Spark 高效處理並分析大型資料集。
• 在協作環境中視覺化大數據。
• 將 Apache Spark 與雲端工具整合。

本培訓由講師現場指導，可線上或線下進行，主要面向希望使用 Databricks 和 PySpark 構建可扩展數據流水線並遷移現有 SQL 工作流程的數據工程師、數據分析師及其他數據專業人士。

本培訓提供實用入門課程，教導如何使用 PySpark 建構可擴展的數據處理和機器學習工作流程。學員將了解 Apache Spark 如何在現代大數據生態系統中運行，以及如何利用分散式計算原理高效處理大型資料集。

這門三天的實務課程著重於在Kubernetes 環境中使用 PySpark、Pandas 和 Polars建置與優化高效能的資料處理工作負載。

學員將深入理解 Spark 應用程式如何在 Kubernetes 上執行，以及應用程式層級的設定決策如何影響效能、擴展性、資源消耗與成本。課程涵蓋關鍵的優化領域，包括執行器（Executor）尺寸設定、記憶體分配、動態資源分配、分區策略、Shuffle 行為、小檔案問題以及高效的 Parquet 處理技術。

課程也探討使用Pandas時的常見挑戰，如記憶體限制與記憶體溢出（OOM）錯誤，並介紹Polars作為特定資料處理工作負載的高效能替代方案。透過實作練習，學員將診斷效能與記憶體問題、比較不同的設定策略，並針對真實的 ETL 與機器學習情境應用優化技術。

整個課程的核心在於實務決策能力：學會識別瓶頸、選擇合適的工具、高效配置 Spark，並在效能與基礎設施資源消耗及成本之間取得平衡。

本培訓課程由講師現場指導，可以線上或進行的形式進行。旨在幫助工程師部署Apache Spark系統，以處理大量數據。

在本培訓結束後，參與者將能夠：

• 安裝並配置Apache Spark
• 快速處理並分析大量數據
• 了解Apache Spark和Hadoop MapReduce之間的差異以及何時使用哪一種
• 將Apache Spark與其他機器學習工具整合

本課程由講師主導，提供 台灣（線上或現場）的實作訓練，旨在幫助初級至中級系統管理人員學習部署、維護並最佳化 Spark 叢集。

完成此培訓後，學員將能夠：

• 在各種環境中安裝並設定 Apache Spark。
• 管理叢集資源並監控 Spark 應用程式。
• 最佳化 Spark 叢集的效能。
• 實施安全措施並確保高可用性。
• 診斷並排除常見的 Spark 問題。

在此由講師主導的 台灣 實作課程中，學員將透過實際練習，學習如何結合 Python 與 Spark 來分析大數據。

完成本課程後，學員將能夠：

• 學會運用 Spark 搭配 Python 分析大數據。
• 處理模擬真實情境的練習題。
• 使用 PySpark 的不同工具與技術進行大數據分析。

本課程在台灣（線上或線下）以導師指導的方式進行，旨在幫助希望使用並整合 Spark、Hadoop 和 Python 來處理、分析和轉換大型且複雜數據集的開發者。

在完成本課程後，學員將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心組件及架構。
• 學習如何整合 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MLlib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 建立類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習算法。