課程簡介

介紹

Spark Streaming 功能和體系結構概述

  • 支持的數據源
  • 核心 API

準備環境

  • 依賴
  • Spark 和流式處理上下文
  • 連接到 Kafka

處理消息

  • 將入站消息解析為 JSON
  • ETL 過程
  • 啟動流式處理上下文

執行視窗化Stream Processing

  • 滑動間隔
  • 檢查點交付配置
  • 啟動環境

處理代碼的原型設計

  • 連接到 Kafka 主題
  • 使用 Paw 從數據源檢索 JSON
  • 變化和附加處理

流式傳輸代碼

  • 作業控制變數
  • 定義要匹配的值
  • 功能和條件

獲取流輸出

  • 計數器
  • Kafka 輸出(符合和非符合)

故障排除

總結和結論

最低要求

  • 具有 Python 和 Apache Kafka 的經驗
  • 熟悉流處理平臺

觀眾

  • 數據工程師
  • 數據科學家
  • 程式師
 7 時間:

人數



每位參與者的報價

客戶評論 (5)

相關課程

課程分類