Python、Spark和Hadoop在大數據中的應用培訓

受众：

本课程面向希望在分布式系统环境中存储和处理大规模数据集的IT专业人员。

Goal：

深入了解Hadoop集群管理。

這是一個由講師指導的台灣（線上或線下）培訓課程，針對希望使用Google Colab和Apache Spark進行大數據處理和分析的中級數據科學家和工程師。

在培訓結束時，參與者將能夠：

• 使用Google Colab和Spark建立大數據環境。
• 使用Apache Spark高效處理和分析大型數據集。
• 在協作環境中可視化大數據。
• 將Apache Spark與雲端工具集成。

大數據分析涉及檢查大量不同數據集的過程，以便發現相關性，隱藏模式和其他有用的見解。

健康產業擁有大量複雜的異構醫學和臨床數據。對健康數據應用大數據分析在獲得改善醫療保健服務的見解方面具有巨大潛力。然而，這些數據集的巨大性給分析和臨床環境的實際應用帶來了巨大挑戰。

在這個以講師為主導的現場培訓（遠程）中，參與者將學習如何在健康狀況下進行大數據分析，因為他們將逐步進行一系列動手實踐練習。

在培訓結束時，參與者將能夠：

• 安裝和配置大數據分析工具，如Hadoop MapReduce和Spark
• 了解醫療數據的特徵
• 應用大數據技術處理醫療數據
• 在健康應用的背景下研究大數據系統和算法

聽眾

• 開發商
• 數據科學家

課程格式

• 部分講座，部分討論，練習和繁重的實踐練習。

注意

• 要申請本課程的定制培訓，請聯繫我們安排。

本課程專為IT專業人士設計，他們正在尋找在分散式系統環境中儲存和處理大數據集的解決方案。

課程目標：

獲取有關Hadoop集群管理的知識

這種由講師指導的台灣現場培訓（現場或遠端）針對的是希望學習如何在組織內設置，部署和管理Hadoop集群的系統管理員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Hadoop。
• 瞭解 Hadoop 生態系統中的四個主要元件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分散式檔案系統 （HDFS） 將集群擴展到數百或數千個節點。  
• 將 HDFS 設定為本地 Spark 部署的記憶體引擎。
• 設置 Spark 以存取替代儲存解決方案，例如 Amazon S3 和 NoSQL 資料庫系統，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 執行管理任務，例如配置、管理、監控和保護 Apache Hadoop 集群。

在這次由講師指導的台灣（線下或遠程）培訓中，學員將學習如何設置和集成不同的流處理框架與現有的大數據存儲系統及相關軟件應用和微服務。

培訓結束後，學員將能夠：

• 安裝和配置不同的流處理框架，如Spark Streaming和Kafka Streaming。
• 理解並選擇最適合的框架。
• 以連續、併發和逐條記錄的方式處理數據。
• 將流處理解決方案與現有數據庫、數據倉庫、數據湖等集成。
• 將最適合的流處理庫與企業應用和微服務集成。

本課程爲講師指導的台灣（線上或線下）培訓，面向希望使用SMACK堆棧構建大數據解決方案的數據科學家。

通過本培訓，參與者將能夠：

• 實現用於處理大數據的數據管道架構。
• 使用Apache Mesos和Docker開發集羣基礎設施。
• 使用Spark和Scala進行數據分析。
• 使用Apache Cassandra管理非結構化數據。

這種以講師為主導的台灣現場培訓（現場或遠端）針對的是希望建立和部署Apache Spark系統以處理大量數據的工程師。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Spark。
• 快速處理和分析非常大的數據集。
• 瞭解Apache Spark和Hadoop MapReduce之間的區別，以及何時使用哪個。
• 將 Apache Spark 與其他機器學習工具整合。

這種由講師指導的現場培訓台灣（遠端或遠端）面向希望部署、維護和優化Spark集群的初級到中級系統管理員。

在培訓結束時，參與者將能夠：

• 在各種環境中安裝和配置 Apache Spark。
• 管理群集資源並監視Spark應用程式。
• 優化Spark集群性能。
• 實施安全措施並確保高可用性。
• 調試和排查常見的Spark問題。

Apache Spark的學習曲線在開始時較爲平緩，但需要付出大量努力才能獲得初步回報。本課程旨在幫助學員跳過最初的學習難關。完成本課程後，學員將掌握Apache Spark的基礎知識，能夠清晰區分RDD與DataFrame，學習Python和Scala API，理解執行器和任務等。此外，課程還將遵循最佳實踐，重點關注雲部署、Databricks和AWS。學員還將瞭解AWS EMR與AWS Glue之間的區別，後者是AWS最新的Spark服務之一。

受衆：

數據工程師、DevOps、數據科學家

目標：

本課程將介紹Apache Spark。學員將瞭解Spark如何融入大數據生態系統，以及如何使用Spark進行數據分析。課程涵蓋Spark shell的交互式數據分析、Spark內部機制、Spark API、Spark SQL、Spark流處理、機器學習和GraphX。

受衆：

開發者/數據分析師

這種由 講師指導的 台灣 現場培訓（在線或現場）面向希望使用 Spark NLP（基於 Apache Spark 構建）來開發、實施和擴展自然語言文本處理模型和管道的數據科學家和開發人員。

在本次培訓結束時，參與者將能夠：

• 設置必要的開發環境以開始使用 Spark NLP 構建 NLP 管道。
• 瞭解使用 Spark NLP 的功能、架構和優勢。
• 使用 Spark NLP 中提供的預訓練模型來實現文本處理。
• 瞭解如何為生產級項目構建、訓練和擴展 Spark NLP 模型。
• 對實際使用案例（臨床數據、客戶行為洞察等）應用分類、推理和情緒分析。

在這個由講師指導的 台灣 現場培訓中，參與者將學習如何在動手練習中同時使用 Python 和 Spark 來分析大數據。

在培訓結束時，參與者將能夠：

• 瞭解如何將Spark與 Python 結合使用來分析 Big Data。
• 進行模仿真實世界案例的練習。
• 使用 PySpark 使用不同的工具和技術進行大數據分析。

Spark SQL 是 Apache Spark 中用於處理結構化和非結構化數據的模塊。Spark SQL 提供了關於數據結構以及正在執行的計算的信息。這些信息可用於執行優化。Spark SQL 的兩個常見用途是：
- 執行 SQL 查詢。
- 從現有的 Hive 安裝中讀取數據。

在這個由講師指導的線下或遠程培訓中，參與者將學習如何使用 Spark SQL 分析各種類型的數據集。

培訓結束時，參與者將能夠：

• 安裝和配置 Spark SQL。
• 使用 Spark SQL 進行數據分析。
• 查詢不同格式的數據集。
• 可視化數據和查詢結果。

課程形式

• 互動講座和討論。
• 大量練習和實踐。
• 在即時實驗室環境中進行實際操作。

課程定製選項

• 如需爲此課程定製培訓，請聯繫我們安排。

Stratio 是一個以數據為中心的平台，將大數據、人工智慧和治理整合到單一解決方案中。其 Rocket 和 Intelligence 模組使企業環境中的數據探索、轉換和高級分析變得迅速。

這是一個由講師指導的培訓（線上或線下），針對希望有效使用 Stratio 中 Rocket 和 Intelligence 模組的中級數據專業人員，重點關注循環結構、用戶自定義函數和高級數據邏輯。

在培訓結束時，參與者將能夠：

• 使用 Rocket 和 Intelligence 模組在 Stratio 平台中導航和工作。
• 在數據擷取、轉換和分析的背景下應用 PySpark。
• 使用循環和條件邏輯來控制數據工作流和特徵工程任務。
• 創建和管理用戶自定義函數 (UDFs)，以在 PySpark 中進行可重用的數據操作。

課程形式

• 互動式講座和討論。
• 大量練習和實踐。
• 在實時實驗室環境中進行實踐操作。

課程定制選項

• 如需為此課程請求定制培訓，請聯繫我們安排。