課程簡介

介紹

  • Apache Beam vs MapReduce、Spark Streaming、Kafka Streaming、Storm 和 Flink

安裝與設定Apache Beam

Apache Beam 功能和體系結構概述

  • 梁模型、SDK、梁管線流道
  • 分散式處理後端

瞭解 Apache Beam Programming 模型

  • 管道的執行方式

運行示例管道

  • 準備 WordCount 管道
  • 在本地執行流水線

設計管道

  • 規劃結構、選擇轉換以及確定輸入和輸出方法

創建管道

  • 編寫驅動程式並定義管道
  • 使用 Apache Beam 類
  • 數據集、轉換、I/O、數據編碼等。

執行流水線

  • 在本地、遠端電腦和公有雲上執行管道
  • 選擇跑步者
  • 特定於流道的配置

測試與調試 Apache Beam

  • 使用類型提示模擬靜態類型
  • 管理 Python 流水線依賴關係

處理有界和無界數據集

  • 視窗化和觸發器

使管道可重用和維護

創建新的數據源和接收器

  • Apache Beam 源和接收器 API

將 Apache Beam 與其他 Big Data 系統整合

  • Apache Hadoop, Apache Spark, Apache Kafka

故障排除

總結和結論

最低要求

  • 具有 Python 程式設計經驗。
  • 具有 Linux 命令行的經驗。

觀眾

  • 開發人員
  14 時間:

人數


開始於

結束於


Dates are subject to availability and take place between 09:30 and 16:30.

每位參與者的報價

客戶評論 (1)

相關課程

課程分類