Building Data Pipelines with Apache Kafka培訓

本課程適用於企業架構師，開發人員，系統管理員以及任何想要了解和使用高吞吐量分佈式消息傳遞系統的人員。如果您有更多特定要求（例如，僅限系統管理方），可以根據您的需求定製本課程。

Apache Samza是一個用於流處理的開源近實時異步計算框架。它使用Apache Kafka進行消息傳遞，使用Apache Kafka Hadoop YARN進行容錯，處理器隔離，安全性和資源管理。

這個由講師指導的實時培訓介紹了消息傳遞系統和分佈式流處理背後的原理，同時通過創建基於Samza的示例項目和作業執行來引導參與者。

在培訓結束時，參與者將能夠：

• 使用Samza簡化生成和使用消息所需的代碼。
• 解耦來自應用程序的消息處理。
• 使用Samza實現近實時異步計算。
• 使用流處理為消息傳遞系統提供更高級別的抽象。

聽眾

• 開發商

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Kafka Streams是一個客戶端庫，用於構建應用程序和微服務，其數據傳入和傳出Kafka消息傳遞系統。傳統上， Apache Kafka依靠Apache Spark或Apache Storm來處理消息生成者和消費者之間的數據。通過在應用程序內調用Kafka Streams API，可以直接在Kafka中處理數據，從而無需將數據發送到單獨的集群進行處理。

在這個由講師指導的實時培訓中，參與者將學習如何將Kafka Streams集成到一組示例Java應用程序中，這些應用程序將數據傳入和傳出Apache Kafka以進行流處理。

在培訓結束時，參與者將能夠：

• 了解Kafka Streams的功能和優勢，而不是其他流處理框架
• 直接在Kafka集群中處理流數據
• 編寫與Kafka和Kafka Streams集成的Java或Scala應用程序或微服務
• 編寫簡潔的代碼，將輸入的Kafka主題轉換為輸出Kafka主題
• 構建，打包和部署應用程序

聽眾

• 開發商

課程 格式

• 部分講座，部分討論，練習和繁重的實踐練習

筆記

• 要申請本課程的定制培訓，請聯繫我們安排

在這個以講師為主導的台灣現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

這種以講師為主導的現場培訓（現場或遠程）是針對希望使用Confluent（Kafka的分發）為其應用程序構建和管理實時數據處理平台的工程師。

在培訓結束時，參與者將能夠：

• 安裝和配置Confluent Platform。
• 使用Confluent的管理工具和服務可以更輕鬆地運行Kafka。
• 存儲和處理傳入的流數據。
• 優化和管理Kafka集群。
• 安全的數據流。

課程格式

• 互動講座和討論。
• 大量的練習和練習。
• 在實時實驗室環境中親自實施。

課程自定義選項

• 本課程基於Confluent：Confluent Open Source的開源版本。
• 要申請本課程的定制培訓，請聯繫我們安排。

這種以講師為主導的台灣現場培訓（現場或遠端）針對的是希望使用Spring Cloud，Kafka，Docker，Kubernetes和Redis將傳統架構轉換為高度併發的基於微服務的架構的開發人員。

在培訓結束時，參與者將能夠：

• 設置構建微服務所需的開發環境。
• 使用 Spring Cloud、Kafka、Redis、Docker 和 Kubernetes 設計和實現高度併發的微服務生態系統。
• 將單體式和SOA服務轉變為基於微服務的架構。
• 採用 DevOps 方法來開發、測試和發佈軟體。
• 確保生產中微服務之間的高併發性。
• 監控微服務並實施恢復策略。
• 執行性能調優。
• 瞭解微服務架構的未來趨勢。

這種以講師為主導的台灣現場現場培訓針對的是希望將Apache Kafka與現有資料庫和應用程式集成以進行處理，分析等的開發人員。

在培訓結束時，參與者將能夠：

使用 Kafka
• Connect 將大量數據從資料庫引入到 Kafka 主題中。
將
• 應用伺服器產生的日誌數據引入 Kafka 主題。
• 使收集的任何數據可用於流處理。
• 將數據從 Kafka 主題匯出到輔助系統進行存儲和分析。

這種以講師為主導的台灣現場培訓（現場或遠端）針對的是希望在不編寫代碼的情況下實現Apache Kafka流處理的開發人員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Confluent KSQL。
• 僅使用 SQL 命令（不使用 Java 或 Python 編碼）設置流處理管道。
• 完全在 SQL 中執行資料過濾、轉換、聚合、聯接、視窗化和會話化。
• 設計和部署互動式連續查詢，用於流式 ETL 和即時分析。

這種以講師為主導的台灣現場現場培訓針對的是希望設置，部署，管理和優化企業級Kafka集群的系統管理員。

在培訓結束時，參與者將能夠：

• 設置和管理 Kafka 集群。
• 評估在本地部署 Kafka 與在雲中部署 Kafka 的優缺點。
• 使用各種本地和雲環境工具部署和監控 Kafka。

這種以講師為主導的台灣現場現場培訓（現場或遠端）針對的是希望在Apache Kafka應用程式中實施網路安全 措施 的軟體測試人員。

在培訓結束時，參與者將能夠：

• 將 Apache Kafka 部署到基於雲端的伺服器上。
• 實施SSL加密以防止攻擊。
• 添加 ACL 身份驗證以跟蹤和控制用戶訪問。
• 確保可信客戶端能夠使用 SSL 和 SASL 身份驗證存取 Kafka 集群。

這種以講師為主導的台灣現場現場培訓針對的是希望使用SMACK堆棧為大數據解決方案構建數據處理平臺的數據科學家。

在培訓結束時，參與者將能夠：

• 實施用於處理大數據的數據管道體系結構。
• 使用 Apache Mesos 和 Docker 開發集群基礎架構。
• 使用 Spark 和 Scala 分析數據。
• 使用 Apache Cassandra 管理非結構化數據。

這種以講師為主導的台灣現場現場培訓面向希望在數據流中使用Apache Kafka功能的數據工程師，數據科學家和程式師Python。

在培訓結束時，參與者將能夠使用Apache Kafka 通過 Python 程式設計來監控和管理連續數據流中的條件。

這種由講師指導的台灣現場現場培訓針對的是希望使用Spark Streaming功能處理和分析即時數據的數據工程師，數據科學家和程式師。

在培訓結束時，參與者將能夠使用 Spark Streaming 處理實時數據流，以便在資料庫、文件系統和即時儀錶板中使用。

這種由講師指導的現場培訓台灣（現場或遠端）面向希望使用 Apache Kafka 開發大數據應用程式的中級開發人員。

在本次培訓結束時，參與者將能夠：

開發 Kafka 生產者和消費者，以便從 Kafka 發送和讀取數據。 使用 Kafka Connect 將 Kafka 與外部系統整合。 使用 Kafka Streams 和 ksqlDB 撰寫流應用程式。 將 Kafka 用戶端應用程式與 Confluent Cloud 整合，以實現基於雲端的 Kafka 部署。 通過動手練習和實際用例獲得實踐經驗。

這種以講師為主導的台灣現場現場培訓針對的是希望學習Kafka基礎知識並將其與Spring Boot集成的中級開發人員。

在培訓結束時，參與者將能夠：

瞭解 Kafka 及其架構。 瞭解如何安裝、配置和設置基本的 Kafka 環境。 將 Kafka 與 Spring Boot 集成。