台灣現場Big Data培訓

本課程為講師主導的實作培訓（在 台灣 提供線上或線下形式），適合具備中階技能、希望運用 Google Colab 和 Apache Spark 進行大數據處理與分析的数据科学家和工程師。

完成培訓後，學員將能夠：

• 利用 Google Colab 和 Spark 建立大數據環境。
• 使用 Apache Spark 高效處理並分析大型資料集。
• 在協作環境中視覺化大數據。
• 將 Apache Spark 與雲端工具整合。

完成此由講師主導、在台灣的現場培訓的參與者，將獲得關於大數據及其相關技術、方法和工具的實務性、真實世界理解。

參與者有機會透過動手練習將此知識付諸實踐。團體互動和講師反饋是課程的重要組成部分。

課程從大數據的基本概念介紹開始，然後進展到用於執行數據分析的程式語言和方法。最後，我們將討論支持大數據存儲、分佈式處理和可擴展性的工具和基礎設施。

此於 台灣（線上或線下）舉辦之講師主導實作訓練，旨在針對希望優化數據處理工作流、確保數據完整性並實施能應對現代大數據應用複雜性的強大數據湖倉解決方案的進階級數據專業人士。

課程結束後，參與者將能夠：

• 深入了解 Iceberg 的架構，包括元資料管理與檔案配置。
• 為在不同環境中達到最佳效能而設定 Iceberg，並將其與多個數據處理引擎整合。
• 管理大規模 Iceberg 表格，執行複雜的模式變更，並處理分區演化。
• 掌握優化查詢效能和大規模數據集資料掃描效率的技巧。
• 實施機制以確保數據一致性，管理交易保證，並在分散式環境中處理故障。

這門在 台灣（線上或線下）舉行的講師主導的現場培訓旨在幫助初級數據專業人士獲取有效利用 Apache Iceberg 管理大規模資料集、確保資料完整性以及優化資料處理工作流程所需的知識和技能。

完成此培訓後，學員將能夠：

• 深入了解 Apache Iceberg 的架構、功能和優勢。
• 學習關於表格格式、分區、結構演變以及時間旅行功能。
• 在不同環境中安裝和配置 Apache Iceberg。
• 建立、管理和操作 Iceberg 表格。
• 理解從其他表格式遷移資料到 Iceberg 的過程。

在 台灣（線上或線下）舉辦的這門由講師主導的培訓，旨在幫助中階IT專業人士提升數據架構、治理、雲端計算和大數據技術方面的技能，以有效地管理和分析組織內用於數據遷移的大型數據集。

在本培訓結束時，參與者將能夠：

• 了解各種數據架構的基本概念和組件。
• 全面掌握數據治理原則及其在合規環境中的重要性。
• 實施和管理像Dama和Togaf這樣的數據治理框架。
• 利用雲端平台進行高效的資料存儲、處理和管理工作。

這項在 台灣（線上或線下）進行的由講師主導的實時培訓，針對的是希望學習如何使用 Azure Data Lake Storage Gen2 構建有效數據分析解決方案的中級數據工程師。

完成本培訓後，學員將能夠：

• 理解 Azure Data Lake Storage Gen2 的架構和主要功能。
• 優化數據存儲和訪問以平衡成本與性能。
• 將 Azure Data Lake Storage Gen2 與其他 Azure 服務集成，用於分析和數據處理。
• 使用 Azure Data Lake Storage Gen2 API 開發解決方案。
• 排除常見問題並優化存儲策略。

本課程在台灣（線上或線下）以導師指導的方式進行，旨在幫助希望使用並整合 Spark、Hadoop 和 Python 來處理、分析和轉換大型且複雜數據集的開發者。

在完成本課程後，學員將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心組件及架構。
• 學習如何整合 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MLlib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 建立類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習算法。

此由講師帶領的實作培訓於 台灣（線上或線下）進行，針對中級 IT 專業人士，旨在從管理與開發角度全面掌握 IBM DataStage，使學員能有效在職場中使用該工具。

完成培訓後，學員將能：

• 理解 DataStage 的核心概念。
• 學習如何有效安裝、設定及管理 DataStage 環境。
• 連接各類資料來源，並從資料庫、平面檔案及外部來源高效提取資料。
• 實施有效的資料載入技術。

本課程由講師主導，提供 台灣（線上或現場）的實作訓練，旨在幫助初級至中級系統管理人員學習部署、維護並最佳化 Spark 叢集。

完成此培訓後，學員將能夠：

• 在各種環境中安裝並設定 Apache Spark。
• 管理叢集資源並監控 Spark 應用程式。
• 最佳化 Spark 叢集的效能。
• 實施安全措施並確保高可用性。
• 診斷並排除常見的 Spark 問題。

在此由講師主導的 台灣 實作課程中，學員將透過實際練習，學習如何結合 Python 與 Spark 來分析大數據。

完成本課程後，學員將能夠：

• 學會運用 Spark 搭配 Python 分析大數據。
• 處理模擬真實情境的練習題。
• 使用 PySpark 的不同工具與技術進行大數據分析。

在本次台灣舉行的導師指導實時培訓中，參與者將學習應對大數據技術的心態，評估其對現有流程和政策的影響，並實施這些技術以識別犯罪活動和預防犯罪。我們將檢視來自全球執法組織的案例研究，了解他們的採用方法、挑戰和成果。

在完成本培訓後，參與者將能夠：

• 將大數據技術與傳統的數據收集過程相結合，在調查中拼湊出完整的故事。
• 實施工業級大數據存儲和處理方案以進行數據分析。
• 準備一份提案，推薦採用最合適的工具和流程，以實現基於數據的刑事調查方法。

本培訓由講師現場指導，可線上或線下進行，主要面向希望使用 Databricks 和 PySpark 構建可扩展數據流水線並遷移現有 SQL 工作流程的數據工程師、數據分析師及其他數據專業人士。

本培訓提供實用入門課程，教導如何使用 PySpark 建構可擴展的數據處理和機器學習工作流程。學員將了解 Apache Spark 如何在現代大數據生態系統中運行，以及如何利用分散式計算原理高效處理大型資料集。

這門三天的實務課程著重於在Kubernetes 環境中使用 PySpark、Pandas 和 Polars建置與優化高效能的資料處理工作負載。

學員將深入理解 Spark 應用程式如何在 Kubernetes 上執行，以及應用程式層級的設定決策如何影響效能、擴展性、資源消耗與成本。課程涵蓋關鍵的優化領域，包括執行器（Executor）尺寸設定、記憶體分配、動態資源分配、分區策略、Shuffle 行為、小檔案問題以及高效的 Parquet 處理技術。

課程也探討使用Pandas時的常見挑戰，如記憶體限制與記憶體溢出（OOM）錯誤，並介紹Polars作為特定資料處理工作負載的高效能替代方案。透過實作練習，學員將診斷效能與記憶體問題、比較不同的設定策略，並針對真實的 ETL 與機器學習情境應用優化技術。

整個課程的核心在於實務決策能力：學會識別瓶頸、選擇合適的工具、高效配置 Spark，並在效能與基礎設施資源消耗及成本之間取得平衡。

本培訓課程由講師現場指導，可以線上或進行的形式進行。旨在幫助工程師部署Apache Spark系統，以處理大量數據。

在本培訓結束後，參與者將能夠：

• 安裝並配置Apache Spark
• 快速處理並分析大量數據
• 了解Apache Spark和Hadoop MapReduce之間的差異以及何時使用哪一種
• 將Apache Spark與其他機器學習工具整合

這門在台灣（線上或線下）舉行的由講師帶領的實時培訓，旨在幫助希望部署Talend Open Studio for Big Data以簡化讀取和處理大數據流程的技術人員。

完成本培訓後，學員將能夠：

• 安裝和配置Talend Open Studio for Big Data。
• 連接Cloudera、HortonWorks、MapR、Amazon EMR和Apache等大數據系統。
• 理解和設置Open Studio的大數據組件和連接器。
• 配置參數以自動生成MapReduce代碼。
• 使用Open Studio的拖放界面運行Hadoop作業。
• 構建大數據管道的原型。
• 自動化大數據集成項目。