Apache Spark Streaming with Scala培訓

在這個由講師指導的 台灣 現場培訓中，參與者將學習如何在動手練習時結合使用 Python 和 Spark 來分析大數據。

在培訓結束時，參與者將能夠：

• 瞭解如何將Spark與 Python 結合使用來分析大數據。
• 進行模仿真實案例的練習。
• 使用不同的工具和技術使用 PySpark 進行大數據分析。

在這個以講師為主導的台灣現場培訓中，參與者將瞭解用於處理圖形數據的技術產品和實施方法。目的是識別真實世界的物件、它們的特徵和關係，然後對這些關係進行建模，並使用 Graph Computing（也稱為圖形分析）方法將它們作為數據進行處理。我們從廣泛的概述開始，並在逐步完成一系列案例研究、動手練習和即時部署時縮小具體工具的範圍。

在培訓結束時，參與者將能夠：

• 瞭解如何持久化和遍歷圖形數據。
• 為給定任務選擇最佳框架（從圖形資料庫到批處理框架）。
• 實現 Hadoop、Spark、GraphX 和 Pregel，在多台機器上並行進行圖計算。
• 從圖形、流程和遍歷的角度查看現實世界的大數據問題。

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在現場實驗室環境中動手實施。

課程自定義選項

• 如需申請本課程的定製培訓，請聯繫我們進行安排。

該培訓旨在提供Scala語言的機會，學習編程範式的語法和空間應用程序。

本課程的目的是提供在實踐中應用Machine Learning方法的基本熟練程度。通過使用Scala編程語言及其各種庫，並基於大量實際示例，本課程教授如何使用Machine Learning最重要的構建塊，如何制定數據建模決策，解釋算法的輸出和驗證結果。

我們的目標是讓您自信地理解和使用Machine Learning工具箱中最基本的工具，並避免Data Science應用程序的常見缺陷。

Scala是一種簡潔的面向對象語言，具有函數式編程功能，包括currying，類型推斷，不變性，惰性求值和模式匹配。 Scala代碼在JVM上運行，旨在解決Java一些缺點。

在這個由講師指導的實時培訓參與者將學習如何使用Scala的高級功能（包括其類型系統），使用對像功能方法編寫更好的代碼。

在培訓結束時，參與者將能夠：

• 利用Scala的類型系統獲得最大利益
• 在功能上處理異常
• 使用Scala創建庫和DSL
• 使用Scala的高級功能進行模式匹配

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Scala是一種簡潔的面向對象語言，具有函數式編程功能，包括currying，類型推斷，不變性，惰性求值和模式匹配。

在這位由講師主導的實踐培訓參與者中，他們將學習如何使用Scala的高級功能來開發易於編寫，閱讀，測試和更改的構造良好的軟件。本培訓的重點是功能性編程，使用真實案例研究和討論作為實驗練習和活動的參考。

在培訓結束時，參與者將能夠：

• 實現高級函數編程技術
• 理解複雜類型的簽名
• 通過類型和替換來理解代碼
• 在功能上處理異常
• 使用Scala創建庫和DSL
• 使用Scala的高級功能進行模式匹配

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

本研讨会旨在将参与者从初学者到中间/先进的水平,了解和了解框架。

整个课程是手动的,主要是由教练在开始时驱动,并逐渐转向参与者自己制作代码(并下载执行 / 解决方案由教练写的)。

观众不应该有事先了解(0),教练将花费必要的时间来解释和澄清与使用(0)代码有关的所有细节。

目的：

本課程將介紹Apache Spark 。學生將學習Spark如何適應Big Data生態系統，以及如何使用Spark進行數據分析。該課程涵蓋Spark shell，用於交互式數據分析，Spark內部，Spark API，Spark SQL ，Spark流，機器學習和graphX。

聽眾：

開發人員/數據分析師

這個由講師指導的台灣現場培訓（現場或遠端）介紹了Hortonworks Data Platform (HDP)，並引導參與者完成Spark + Hadoop解決方案的部署。

在培訓結束時，參與者將能夠：

使用 Hortonworks 大規模可靠地運行 Hadoop。 將 Hadoop 的安全、治理和運營功能與Spark的敏捷分析工作流統一起來。 使用 Hortonworks 調查、驗證、認證和支援 Spark 專案中的每個元件。 處理不同類型的數據，包括結構化、非結構化、動態和靜態數據。

Spark SQL是Apache Spark用於處理結構化和非結構化數據的模塊。 Spark SQL提供有關數據結構以及正在執行的計算的信息。此信息可用於執行優化。 Spark SQL兩個常見用途是：
- 執行SQL查詢。
- 從現有Hive安裝中讀取數據。

在這個由講師指導的實時培訓（現場或遠程）中，參與者將學習如何使用Spark SQL分析各種類型的數據集。

在培訓結束時，參與者將能夠：

• 安裝和配置Spark SQL 。
• 使用Spark SQL執行數據分析。
• 以不同格式查詢數據集。
• 可視化數據和查詢結果。

課程格式

• 互動講座和討論。
• 大量的練習和練習。
• 在實時實驗室環境中親自實施。

課程自定義選項

• 要申請本課程的定制培訓，請聯繫我們安排。

在這個以講師為主導的台灣現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

大數據分析涉及檢查大量不同數據集的過程，以便發現相關性，隱藏模式和其他有用的見解。

健康產業擁有大量複雜的異構醫學和臨床數據。對健康數據應用大數據分析在獲得改善醫療保健服務的見解方面具有巨大潛力。然而，這些數據集的巨大性給分析和臨床環境的實際應用帶來了巨大挑戰。

在這個以講師為主導的現場培訓（遠程）中，參與者將學習如何在健康狀況下進行大數據分析，因為他們將逐步進行一系列動手實踐練習。

在培訓結束時，參與者將能夠：

• 安裝和配置大數據分析工具，如Hadoop MapReduce和Spark
• 了解醫療數據的特徵
• 應用大數據技術處理醫療數據
• 在健康應用的背景下研究大數據系統和算法

聽眾

• 開發商
• 數據科學家

課程格式

• 部分講座，部分討論，練習和繁重的實踐練習。

注意

• 要申請本課程的定制培訓，請聯繫我們安排。