Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
課程簡介
介紹
- Apache Beam vs MapReduce、Spark Streaming、Kafka Streaming、Storm 和 Flink
安裝與設定Apache Beam
Apache Beam 功能和體系結構概述
- 梁模型、SDK、梁管線流道
- 分散式處理後端
瞭解 Apache Beam Programming 模型
- 管道的執行方式
運行示例管道
- 準備 WordCount 管道
- 在本地執行流水線
設計管道
- 規劃結構、選擇轉換以及確定輸入和輸出方法
創建管道
- 編寫驅動程式並定義管道
- 使用 Apache Beam 類
- 數據集、轉換、I/O、數據編碼等。
執行流水線
- 在本地、遠端電腦和公有雲上執行管道
- 選擇跑步者
- 特定於流道的配置
測試與調試 Apache Beam
- 使用類型提示模擬靜態類型
- 管理 Python 流水線依賴關係
處理有界和無界數據集
- 視窗化和觸發器
使管道可重用和維護
創建新的數據源和接收器
- Apache Beam 源和接收器 API
將 Apache Beam 與其他 Big Data 系統整合
- Apache Hadoop, Apache Spark, Apache Kafka
故障排除
總結和結論
最低要求
- 具有 Python 程式設計經驗。
- 具有 Linux 命令行的經驗。
觀眾
- 開發人員
14 時間:
客戶評論 (1)
Sufficient hands on, trainer is knowledgable