Hadoop and Spark for Administrators培訓

在這個由講師指導的 台灣 現場培訓中，參與者將學習如何在動手練習時結合使用 Python 和 Spark 來分析大數據。

在培訓結束時，參與者將能夠：

• 瞭解如何將Spark與 Python 結合使用來分析大數據。
• 進行模仿真實案例的練習。
• 使用不同的工具和技術使用 PySpark 進行大數據分析。

在這個以講師為主導的台灣現場培訓中，參與者將瞭解用於處理圖形數據的技術產品和實施方法。目的是識別真實世界的物件、它們的特徵和關係，然後對這些關係進行建模，並使用 Graph Computing（也稱為圖形分析）方法將它們作為數據進行處理。我們從廣泛的概述開始，並在逐步完成一系列案例研究、動手練習和即時部署時縮小具體工具的範圍。

在培訓結束時，參與者將能夠：

• 瞭解如何持久化和遍歷圖形數據。
• 為給定任務選擇最佳框架（從圖形資料庫到批處理框架）。
• 實現 Hadoop、Spark、GraphX 和 Pregel，在多台機器上並行進行圖計算。
• 從圖形、流程和遍歷的角度查看現實世界的大數據問題。

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在現場實驗室環境中動手實施。

課程自定義選項

• 如需申請本課程的定製培訓，請聯繫我們進行安排。

這個由講師指導的台灣現場培訓（現場或遠端）介紹了Hortonworks Data Platform (HDP)，並引導參與者完成Spark + Hadoop解決方案的部署。

在培訓結束時，參與者將能夠：

使用 Hortonworks 大規模可靠地運行 Hadoop。 將 Hadoop 的安全、治理和運營功能與Spark的敏捷分析工作流統一起來。 使用 Hortonworks 調查、驗證、認證和支援 Spark 專案中的每個元件。 處理不同類型的數據，包括結構化、非結構化、動態和靜態數據。

Apache Ambari是一個開源管理平台，用於配置，管理，監控和保護Apache Hadoop集群。

在這個由講師指導的實時培訓中，參與者將學習Ambari提供的管理工具和實踐，以成功管理Hadoop集群。

在培訓結束時，參與者將能夠：

• 使用Ambari設置實時Big Data集群
• 將Ambari的高級功能和功能應用於各種用例
• 根據需要無縫添加和刪除節點
• 通過調整和調整來改善Hadoop集群的性能

聽眾

• DevOps
• 系統管理員
• 數據庫管理員
• Hadoop測試專業人士

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

本課程介紹如何從Hive提取數據的人員使用Hive SQL語言（AKA： Hive HQL， Hive SQL ， Hive QL）

目的：

本課程將介紹Apache Spark 。學生將學習Spark如何適應Big Data生態系統，以及如何使用Spark進行數據分析。該課程涵蓋Spark shell，用於交互式數據分析，Spark內部，Spark API，Spark SQL ，Spark流，機器學習和graphX。

聽眾：

開發人員/數據分析師

Spark SQL是Apache Spark用於處理結構化和非結構化數據的模塊。 Spark SQL提供有關數據結構以及正在執行的計算的信息。此信息可用於執行優化。 Spark SQL兩個常見用途是：
- 執行SQL查詢。
- 從現有Hive安裝中讀取數據。

在這個由講師指導的實時培訓（現場或遠程）中，參與者將學習如何使用Spark SQL分析各種類型的數據集。

在培訓結束時，參與者將能夠：

• 安裝和配置Spark SQL 。
• 使用Spark SQL執行數據分析。
• 以不同格式查詢數據集。
• 可視化數據和查詢結果。

課程格式

• 互動講座和討論。
• 大量的練習和練習。
• 在實時實驗室環境中親自實施。

課程自定義選項

• 要申請本課程的定制培訓，請聯繫我們安排。

在這個以講師為主導的台灣現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

大數據分析涉及檢查大量不同數據集的過程，以便發現相關性，隱藏模式和其他有用的見解。

健康產業擁有大量複雜的異構醫學和臨床數據。對健康數據應用大數據分析在獲得改善醫療保健服務的見解方面具有巨大潛力。然而，這些數據集的巨大性給分析和臨床環境的實際應用帶來了巨大挑戰。

在這個以講師為主導的現場培訓（遠程）中，參與者將學習如何在健康狀況下進行大數據分析，因為他們將逐步進行一系列動手實踐練習。

在培訓結束時，參與者將能夠：

• 安裝和配置大數據分析工具，如Hadoop MapReduce和Spark
• 了解醫療數據的特徵
• 應用大數據技術處理醫療數據
• 在健康應用的背景下研究大數據系統和算法

聽眾

• 開發商
• 數據科學家

課程格式

• 部分講座，部分討論，練習和繁重的實踐練習。

注意

• 要申請本課程的定制培訓，請聯繫我們安排。

Apache Spark的學習曲線在開始時逐漸增加，需要付出很多努力來獲得第一次回歸。本課程旨在突破第一個艱難的部分。參加本課程後，參與者將了解Apache Spark的基礎知識，他們將明確區分RDD和DataFrame，他們將學習Python和Scala API，他們將理解執行者和任務等。同樣遵循最佳實踐，本課程重點關注雲部署，Databricks和AWS。學生還將了解AWS EMR與AWS Glue之間的差異，AWS Glue是AWS最新的Spark服務之一。

聽眾：

數據工程師， DevOps ，數據科學家