Sqoop and Flume for Big Data培訓

在這個由講師指導的台灣現場培訓中，參與者將學習如何構建Data Vault。

在培訓結束時，參與者將能夠：

• 瞭解 Data Vault 2.0 背後的架構和設計概念，以及它與大數據、NoSQL 和 AI 的互動。
• 使用數據保險存儲技術對數據倉庫中的歷史數據進行審計、跟蹤和檢查。
• 開發一致且可重複的 ETL（提取、轉換、載入）流程。
• 構建和部署高度可擴展且可重複的倉庫。

這種由講師指導的台灣現場現場培訓針對的是希望使用Spark Streaming功能處理和分析即時數據的數據工程師，數據科學家和程式師。

在培訓結束時，參與者將能夠使用 Spark Streaming 處理實時數據流，以便在資料庫、文件系統和即時儀錶板中使用。

這種以講師為主導的台灣現場培訓（現場或遠端）針對的是希望在不編寫代碼的情況下實現Apache Kafka流處理的開發人員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Confluent KSQL。
• 僅使用 SQL 命令（不使用 Java 或 Python 編碼）設置流處理管道。
• 完全在 SQL 中執行資料過濾、轉換、聚合、聯接、視窗化和會話化。
• 設計和部署互動式連續查詢，用於流式 ETL 和即時分析。

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam是一個開源的統一編程模型，用于定義和執行並行數據處理管道。它的強大之處在于它能夠同時運行批處理流和流式管道，並且由Beam支持的分布式處理後端之一執行：Apache Apex，Apache Flink，Apache Spark和Google Cloud Dataflow。 Apache Beam可用于ETL（提取，轉換和加載）任務，如在不同存儲介質和數據源之間移動數據，將數據轉換爲更理想的格式以及將數據加載到新系統中。 在這個有指導意義的現場培訓（現場或遠程）中，參與者將學習如何在Java或Python應用程序中實現Apache Beam SDK，該應用程序定義了一個數據處理管道，用于將大數據集分解爲更小的塊，以進行獨立的並行處理。 在培訓結束後，參與者將能夠： 安裝並配置Apache Beam。 使用單一編程模型來執行批處理和流處理，而不是使用其Java或Python應用程序。 在多個環境中執行管道。 聽衆 開發商 課程的格式 部分講座，部分討論，練習和沈重的練習 注意 此課程將在未來可用于Scala。請聯系我們安排。

Apache Apex是一個統一流和批處理的YARNnative平台。它以可伸縮，高性能，容錯，有狀態，安全，分布式和易于操作的方式處理大型數據移動。 這個有指導性的現場培訓介紹了Apache Apex的統一流處理架構，並向參與者介紹了如何在Hadoop上使用Apex創建分布式應用程序。 在培訓結束後，參與者將能夠： 了解數據處理管道概念，例如源和彙的連接器，通用數據轉換等。 構建，擴展和優化Apex應用程序可靠地處理實時數據流，延遲時間最短使用Apex Core和Apex Malhar庫實現快速應用程序開發使用Apex API來編寫和重用現有的Java代碼將Apex作爲處理引擎集成到其他應用程序中調整，測試和縮放Apex應用程序 聽衆 開發商企業架構師 課程的格式 部分講座，部分討論，練習和沈重的練習

Apache Storm是一個分布式的實時計算引擎，用于實現實時商業智能。它通過使應用程序可靠地處理不受限制的數據流（又名流處理）來實現。 “Storm是爲了實時處理Hadoop用于批處理的！” 在這個有指導性的實時培訓中，參與者將學習如何安裝和配置Apache Storm，然後開發和部署Apache Storm應用程序以實時處理大數據。 本次培訓中包含的一些主題包括： Apache Storm在Hadoop的環境中處理無限數據連續計算實時分析分布式RPC和ETL處理立即申請此課程！ 聽衆 軟件和ETL開發人員大型機專業人員數據科學家大數據分析師 Hadoop專業人員 課程的格式 部分講座，部分討論，練習和沈重的練習

在這個由講師指導的台灣現場（現場或遠端）的現場培訓中，參與者將學習如何在現場實驗室環境中部署和管理Apache NiFi。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apachi NiFi。
• 從不同的分散式數據源（包括資料庫和大數據湖）中獲取、轉換和管理數據。
• 自動化數據流。
• 啟用流式分析。
• 應用各種方法進行數據引入。
• 轉換 Big Data 並轉化為業務見解。

在這個由講師指導的台灣現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用Apache NiFi開發許多演示擴展，元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同且不常見的檔案格式和數據源中提取和處理實時數據。

這個由講師指導的台灣 現場（遠端或遠端）的現場培訓介紹了分散式流和批處理數據處理背後的原理和方法，並引導參與者在Apache Flink中創建實時數據流應用程式。

在培訓結束時，參與者將能夠：

設置用於開發數據分析應用程式的環境。 瞭解 Apache Flink 的 圖形處理庫 （Gelly） 是如何工作的。 打包、執行和監控基於 Flink 的容錯數據流應用程式。 管理各種工作負載。 執行高級分析。 設置多節點 Flink 集群。 衡量和優化性能。 將 Flink 與不同的 Big Data 系統集成。 將 Flink 的能力與其他大數據處理框架進行比較。

在這個由講師指導的 台灣 現場培訓中，參與者將學習如何在動手練習時結合使用 Python 和 Spark 來分析大數據。

在培訓結束時，參與者將能夠：

• 瞭解如何將Spark與 Python 結合使用來分析大數據。
• 進行模仿真實案例的練習。
• 使用不同的工具和技術使用 PySpark 進行大數據分析。

在這個以講師為主導的台灣現場培訓中，參與者將瞭解用於處理圖形數據的技術產品和實施方法。目的是識別真實世界的物件、它們的特徵和關係，然後對這些關係進行建模，並使用 Graph Computing（也稱為圖形分析）方法將它們作為數據進行處理。我們從廣泛的概述開始，並在逐步完成一系列案例研究、動手練習和即時部署時縮小具體工具的範圍。

在培訓結束時，參與者將能夠：

• 瞭解如何持久化和遍歷圖形數據。
• 為給定任務選擇最佳框架（從圖形資料庫到批處理框架）。
• 實現 Hadoop、Spark、GraphX 和 Pregel，在多台機器上並行進行圖計算。
• 從圖形、流程和遍歷的角度查看現實世界的大數據問題。

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在現場實驗室環境中動手實施。

課程自定義選項

• 如需申請本課程的定製培訓，請聯繫我們進行安排。

數據庫中的知識發現（KDD）是從數據集合中發現有用知識的過程。這種數據挖掘技術的實際應用包括營銷，欺詐檢測，電信和製造。

在這個以講師為主導的實踐課程中，我們介紹了KDD中涉及的過程，並開展了一系列練習來實踐這些過程。

聽眾

• 數據分析師或任何有興趣學習如何解釋數據以解決問題的人

課程格式

• 在對KDD進行理論討論之後，教師將提出真實案例，要求應用KDD來解決問題。參與者將準備，選擇和清理樣本數據集，並使用他們先前的數據知識，根據他們的觀察結果提出解決方案。