Talend 大數據整合培訓

此於 台灣（線上或線下）舉辦之講師主導實作訓練，旨在針對希望優化數據處理工作流、確保數據完整性並實施能應對現代大數據應用複雜性的強大數據湖倉解決方案的進階級數據專業人士。

課程結束後，參與者將能夠：

• 深入了解 Iceberg 的架構，包括元資料管理與檔案配置。
• 為在不同環境中達到最佳效能而設定 Iceberg，並將其與多個數據處理引擎整合。
• 管理大規模 Iceberg 表格，執行複雜的模式變更，並處理分區演化。
• 掌握優化查詢效能和大規模數據集資料掃描效率的技巧。
• 實施機制以確保數據一致性，管理交易保證，並在分散式環境中處理故障。

這門在 台灣（線上或線下）舉行的講師主導的現場培訓旨在幫助初級數據專業人士獲取有效利用 Apache Iceberg 管理大規模資料集、確保資料完整性以及優化資料處理工作流程所需的知識和技能。

完成此培訓後，學員將能夠：

• 深入了解 Apache Iceberg 的架構、功能和優勢。
• 學習關於表格格式、分區、結構演變以及時間旅行功能。
• 在不同環境中安裝和配置 Apache Iceberg。
• 建立、管理和操作 Iceberg 表格。
• 理解從其他表格式遷移資料到 Iceberg 的過程。

本課程為講師主導的實作培訓（在 台灣 提供線上或線下形式），適合具備中階技能、希望運用 Google Colab 和 Apache Spark 進行大數據處理與分析的数据科学家和工程師。

完成培訓後，學員將能夠：

• 利用 Google Colab 和 Spark 建立大數據環境。
• 使用 Apache Spark 高效處理並分析大型資料集。
• 在協作環境中視覺化大數據。
• 將 Apache Spark 與雲端工具整合。

Apache NiFi 是一個開源的、基於流程的數據整合與事件處理平台。它提供自動化的實時數據路由、轉換以及不同系統間的中介功能，並配備基於網頁的使用者介面及細粒度的控制能力。

此課程由講授導師現場指導進行（可選擇線上或線下），適合希望部署、管理、確保安全並優化生產環境中 NiFi 數據流的初級管理員與工程師參與。

完成本課程後，學員將能夠：

• 安裝、配置和維護 Apache NiFi 叢集。
• 設計和管理來自各種來源與目標端的數據流。
• 實施流程自動化、路由及轉換邏輯。
• 優化效能、監控操作並排除問題。

課程格式

• 互動式講座，結合實際架構討論。
• 實作演練：建立、部署及管理數據流。
• 在即時實驗室環境中進行情境模擬練習。

課程客製化選項

• 如需為此課程申請客製化培訓，請聯繫我們以安排。

本培訓提供實用入門課程，教導如何使用 PySpark 建構可擴展的數據處理和機器學習工作流程。學員將了解 Apache Spark 如何在現代大數據生態系統中運行，以及如何利用分散式計算原理高效處理大型資料集。

本培訓課程由講師現場指導，可以線上或進行的形式進行。旨在幫助工程師部署Apache Spark系統，以處理大量數據。

在本培訓結束後，參與者將能夠：

• 安裝並配置Apache Spark
• 快速處理並分析大量數據
• 了解Apache Spark和Hadoop MapReduce之間的差異以及何時使用哪一種
• 將Apache Spark與其他機器學習工具整合

本課程採用講師指導的現場培訓模式（線上或線下），適合希望部署、維護和優化 Spark 集群的初級至中級系統管理員參加。

完成培訓後，參與者將能夠：

• 在各種環境中安裝和配置 Apache Spark。
• 管理集群資源並監控 Spark 應用程序。
• 優化 Spark 集群的性能。
• 實施安全措施並確保高可用性。
• 調試和排除常見 Spark 問題。

Apache Spark 的學習曲線在初期較為陡峭，需要投入大量努力才能獲得初步成效。本課程旨在幫助學員跨越這道難關。完成本課程後，學員將掌握 Apache Spark 的基本概念，清楚區分 RDD 與 DataFrame，學習 Python 和 Scala API，並理解執行器（executors）與任務（tasks）的運作機制等。此外，課程遵循最佳實踐，重點講解雲端部署、Databricks 及 AWS 相關的應用。學員也將了解 AWS EMR 與 AWS Glue 之間的差異，AWS Glue 是 AWS 最新推出的 Spark 服務之一。

適用對象：

數據工程師、DevOps 工程師、數據科學家

在這堂由導師帶領的 台灣 培訓中，參與者將在實踐練習的同時學習如何結合使用 Python 和 Spark 來分析大數據。

培訓結束後，參與者將能夠：

• 學會如何使用 PySpark 結合 Spark 與 Python 來分析大數據。
• 進行模擬真實世界案例的練習。
• 使用不同的工具和技術，透過 PySpark 進行大數據分析。

本課程在台灣（線上或線下）以導師指導的方式進行，旨在幫助希望使用並整合 Spark、Hadoop 和 Python 來處理、分析和轉換大型且複雜數據集的開發者。

在完成本課程後，學員將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心組件及架構。
• 學習如何整合 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MLlib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 建立類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習算法。

Stratio 是一個以數據為中心的平台，將大數據、AI 和治理整合到一個解決方案中。其 Rocket 和 Intelligence 模塊能夠在企業環境中快速探索、轉換和分析數據。

這項由講師主導的現場培訓（線上或線下）旨在幫助初級到中級水平的數據專業人員有效使用 Stratio 中的 Rocket 和 Intelligence 模塊，並專注於循環結構、自定義函數以及高級數據邏輯。

在本課程結束後，學員將能夠：

• 在 Stratio 平台中導航及使用 Rocket 和 Intelligence 模塊。
• 在數據採集、轉換和分析的情境下應用 PySpark。
• 使用循環和條件邏輯控制工作流程並執行特徵工程任務。
• 建立和管理自定義函數（UDF），用於在 PySpark 中重用數據操作。

課程形式

• 互動式講授和討論。
• 大量的練習和實踐機會。
• 在實時實驗室環境中的動手實施。

課程客製化選項

• 如需為該課程請求定制培訓，請聯繫我們進行安排。

此讲师主导的现场培训在 台灣（线上或线下）进行，旨在帮助系统管理员、数据科学家及业务分析师设置 Talend Administration Center，以部署和管理组织的角色与任务。

完成本培训后，参与者将能够：

• 安装和配置 Talend Administration Center。
• 理解并实施 Talend 管理基础概念。
• 在 Talend 中构建、部署和运行业务项目或任务。
• 监控数据集的安全性，并基于 TAC 框架构建业务常规流程。
• 更深入地理解大数据应用。

本課程以線上或線下培訓形式進行，由講師親自指導。對象為初級至中級的資料分析師，旨在深化其使用Talend Data Stewardship管理和改善資料品質的專業理解與實務技能。

完成培訓後，學員將能夠：

• 全面了解資料監督在維持資料品質中的關鍵角色。
• 運用Talend Data Stewardship管理各項資料品質任務。
• 在Talend Data Stewardship中建立、指派及管理任務，包括工作流程的自訂。
• 利用工具的報告和監控功能，追蹤資料品質及資料監督工作成果。

在台灣的導師指導現場培訓中，參與者將學習如何使用Talend Open Studio for ESB來建立、連線、中介及管理服務及其互動。

完成此培訓後，參與者將能夠：

• 在多種部署環境中，以單一套件形式整合、增強並交付ESB技術。
• 理解並運用Talend Open Studio最常用的元件。
• 整合任何應用程式、資料庫、API或Web服務。
• 無縫整合異質系統與應用程式。
• 嵌入現有的Java程式碼庫，以擴展專案。
• 利用社群提供的元件與程式碼來擴展專案。
• 在Eclipse拖放環境中，快速整合系統、應用程式及資料來源。
• 透過生成優化且可重複使用的程式碼，降低開發時間與維護成本。