課程簡介
介紹
Scala 程式設計深度回顧
- 語法和結構
- 流量控制和功能
Spark 內部結構
- 彈性分散式資料集 (RDD)
- Spark 腳本到圖形到群集
Spark Streaming概述
- 流式處理體系結構
- 流式處理中的間隔
- 容錯
準備開發環境
- 安裝和配置 Apache Spark
- 安裝和配置 Scala IDE
- 安裝和配置 JDK
Spark Streaming 初級到高級
- 使用鍵/值 RDD
- 過濾 RDD
- 使用正則表達式改進Spark腳本
- 在集群上共享數據
- 使用網路數據集
- 實現BFS演算法
- 創建 Spark 驅動程式文稿
- 使用腳本進行實時跟蹤
- 編寫連續應用程式
- 流式線性回歸
- 使用 Spark Machine Learning 庫
Spark 和群集
- 使用 SBT 工具捆綁依賴項和 Spark 腳本
- 使用 EMR 說明集群
- 通過對 RDD 進行分區進行優化
- 使用Spark日誌
集成在 Spark Streaming 中
- 集成 Apache Kafka 並使用 Kafka 主題
- 集成 Apache Fume 並使用基於拉取/基於推送的 Flume 配置
- 編寫自定義接收器類
- 集成 Cassandra 並將數據公開為實時服務
生產中
- 打包應用程式並使用Spark-Submit運行它
- 故障排除、優化和調試 Spark 作業和群集
總結和結論
最低要求
- Programming 和腳本編寫經驗
觀眾
- 軟體工程師
客戶評論 (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Course - Python and Spark for Big Data (PySpark)
很多實際的例子,處理同一問題的不同方法,有時還不那麼明顯的技巧如何改進當前的解決方案
Rafał - Nordea
Course - Apache Spark MLlib
機器翻譯
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Course - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Course - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.