大數據培訓 | Big Data培訓

This instructor-led, live training in 台灣 (online or onsite) is aimed at developers who wish to use and integrate Spark, Hadoop, and Python to process, analyze, and transform large and complex data sets. By the end of this training, participants will be able to:

• Set up the necessary environment to start processing big data with Spark, Hadoop, and Python.
• Understand the features, core components, and architecture of Spark and Hadoop.
• Learn how to integrate Spark, Hadoop, and Python for big data processing.
• Explore the tools in the Spark ecosystem (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, and Flume).
• Build collaborative filtering recommendation systems similar to Netflix, YouTube, Amazon, Spotify, and Google.
• Use Apache Mahout to scale machine learning algorithms.

This instructor-led, live training in 台灣 (online or onsite) is aimed at beginner to intermediate-level data analysts and data scientists who wish to use Weka to perform data mining tasks. By the end of this training, participants will be able to:

• Install and configure Weka.
• Understand the Weka environment and workbench.
• Perform data mining tasks using Weka.

This instructor-led, live training in 台灣 (online or onsite) is aimed at data analysts or anyone who wishes to use SPSS Modeler to perform data mining activities. By the end of this training, participants will be able to:

• Understand the fundamentals of data mining.
• Learn how to import and assess data quality with the Modeler.
• Develop, deploy, and evaluate data models efficiently.

參與者完成此次培訓後，將會對大數據及其相關技術、方法、工具有一個實際和真實的理解。 參與者將有機會通過動手練習將這些知識付諸實踐。小組互動和講師反饋是課堂的重要組成部分。 本課程首先介紹大數據的基本概念，然後講解用于執行數據分析的編程語言和方法，最後我們會討論可啓用大數據存儲、分布式處理及可擴展性的工具和基礎架構。 受衆

• 開發人員/程序員
• IT顧問

課程形式

• 部分講座、部分討論、實操、偶爾測評進度

In this instructor-led, live training in 台灣, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises. By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

This course covers how to use Hive SQL language (AKA: Hive HQL, SQL on Hive, HiveQL) for people who extract data from Hive

數據庫中的知識發現（KDD）是從數據集合中發現有用知識的過程。這種數據挖掘技術的實際應用包括營銷，欺詐檢測，電信和製造。 在這個以講師為主導的實踐課程中，我們介紹了KDD中涉及的過程，並開展了一系列練習來實踐這些過程。 聽眾

• 數據分析師或任何有興趣學習如何解釋數據以解決問題的人

課程格式

• 在對KDD進行理論討論之後，教師將提出真實案例，要求應用KDD來解決問題。參與者將準備，選擇和清理樣本數據集，並使用他們先前的數據知識，根據他們的觀察結果提出解決方案。

Apache Kylin是一種用於大數據的極端分佈式分析引擎。 在這個由講師指導的現場培訓中，參與者將學習如何使用Apache Kylin建立實時數據倉庫。 在培訓結束時，參與者將能夠：

• 使用Kylin消耗實時流數據
• 利用Apache Kylin的強大功能，豐富的SQL界面，火花立方體和亞秒查詢延遲

注意

• 我們使用最新版本的Kylin（截至本文撰寫時， Apache Kylin v2.0）

聽眾

• 大數據工程師
• Big Data分析師

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Datameer是基于Hadoop構建的商業智能和分析平台。它允許最終用戶以易用的方式訪問，探索和關聯大規模，結構化，半結構化和非結構化數據。 在這個有指導意義的實時培訓中，參與者將學習如何使用Datameer來克服Hadoop陡峭的學習曲線，因爲他們將逐步完成對一系列大數據源的設置和分析。 在培訓結束後，參與者將能夠： 創建，策劃和交互式地探索企業數據湖訪問商業智能數據倉庫，交易數據庫和其他分析商店使用電子表格用戶界面設計端對端數據處理管道訪問預建功能來探索複雜的數據關系使用拖放式向導來可視化數據並創建儀表板使用表格，圖表，圖形和地圖來分析查詢結果 聽衆 數據分析師 課程的格式 部分講座，部分討論，練習和沈重的練習

數據挖掘是使用諸如機器學習之類的數據科學方法識別大數據中的模式的過程。使用Excel作為數據分析套件，用戶可以執行數據挖掘和分析。 這種由講師指導的實時培訓（現場或遠程）針對希望使用Excel進行數據挖掘的數據科學家。 在培訓結束時，參與者將能夠：

• 使用Excel探索數據以執行數據挖掘和分析。
• 使用Microsoft算法進行數據挖掘。
• 了解Excel數據挖掘中的概念。

課程形式

• 互動式講座和討論。
• 很多練習和練習。
• 在現場實驗室環境中動手實施。

課程自定義選項

• 要請求此課程的定制培訓，請與我們聯繫以安排。

Dremio是一個開源的“自助數據平台”，可加速查詢不同類型的數據源。 Dremio與關系數據庫，Apache Hadoop，MongoDB，Amazon S3，ElasticSearch和其他數據源集成。它支持SQL並提供用于構建查詢的Web UI。 在這個有指導意義的實時培訓中，參與者將學習如何安裝，配置和使用Dremio作爲數據分析工具和底層數據存儲庫的統一層。 在培訓結束後，參與者將能夠： 安裝和配置Dremio 執行針對多個數據源的查詢，無論位置，大小或結構如何將Dremio與BI和數據源（如Tableau和Elasticsearch）集成 聽衆 數據科學家業務分析師數據工程師 課程的格式 部分講座，部分討論，練習和沈重的練習 筆記 要請求本課程的定制培訓，請聯系我們安排。

Apache Drill是一種無模式、分布式、內存列式SQL查詢引擎，用于Hadoop、NoSQL及其他雲和文件存儲系統。Apache Drill的強大之處在于它能夠使用單個查詢連接來自多個數據存儲的數據。Apache Drill支持許多NoSQL數據庫和文件系統，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、Amazon S3、Azure Blob Storage、Google Cloud Storage、Swift、NAS和本地文件。 在這一由講師引導的現場培訓中，學員將學習Apache Drill的基礎知識，然後利用SQL的強大功能和便利性在無需編寫代碼的情況下交互式查詢大數據。學員還將學習如何優化分布式SQL執行的Drill查詢。 在本次培訓結束後，學員將能夠：

• 對Hadoop上的結構化和半結構化數據進行“自助式”探索
• 使用SQL查詢來查詢已知以及未知數據
• 了解Apache Drills如何接收和執行查詢
• 編寫SQL查詢來分析不同類型的數據，包括Hive中的結構化數據，HBase或MapR-DB表中的半結構化數據，以及Parquet和JSON文件中保存的數據。
• 使用Apache Drill執行即時模式發現，繞過對複雜ETL和模式操作的需求
• 將Apache Drill與BI（商業智能）工具（如Tableau、Qlikview、MicroStrategy、Excel）集成在一起

受衆

• 數據分析師
• 數據科學家
• SQL程序員

課程形式

• 部分講座、部分討論、練習和大量實操

Apache Arrow is an open-source in-memory data processing framework. It is often used together with other data science tools for accessing disparate data stores for analysis. It integrates well with other technologies such as GPU databases, machine learning libraries and tools, execution engines, and data visualization frameworks. In this onsite instructor-led, live training, participants will learn how to integrate Apache Arrow with various Data Science frameworks to access data from disparate data sources. By the end of this training, participants will be able to:

• Install and configure Apache Arrow in a distributed clustered environment
• Use Apache Arrow to access data from disparate data sources
• Use Apache Arrow to bypass the need for constructing and maintaining complex ETL pipelines
• Analyze data across disparate data sources without having to consolidate it into a centralized repository

Audience

• Data scientists
• Data engineers

Format of the Course

• Part lecture, part discussion, exercises and heavy hands-on practice

Note

• To request a customized training for this course, please contact us to arrange.

The objective of the course is to enable participants to gain a mastery of how to work with the SQL language in Oracle database for data extraction at intermediate level.

Advances in technologies and the increasing amount of information are transforming how business is conducted in many industries, including government. Government data generation and digital archiving rates are on the rise due to the rapid growth of mobile devices and applications, smart sensors and devices, cloud computing solutions, and citizen-facing portals. As digital information expands and becomes more complex, information management, processing, storage, security, and disposition become more complex as well. New capture, search, discovery, and analysis tools are helping organizations gain insights from their unstructured data. The government market is at a tipping point, realizing that information is a strategic asset, and government needs to protect, leverage, and analyze both structured and unstructured information to better serve and meet mission requirements. As government leaders strive to evolve data-driven organizations to successfully accomplish mission, they are laying the groundwork to correlate dependencies across events, people, processes, and information. High-value government solutions will be created from a mashup of the most disruptive technologies:

• Mobile devices and applications
• Cloud services
• Social business technologies and networking
• Big Data and analytics

IDC predicts that by 2020, the IT industry will reach $5 trillion, approximately $1.7 trillion larger than today, and that 80% of the industry's growth will be driven by these 3rd Platform technologies. In the long term, these technologies will be key tools for dealing with the complexity of increased digital information. Big Data is one of the intelligent industry solutions and allows government to make better decisions by taking action based on patterns revealed by analyzing large volumes of data — related and unrelated, structured and unstructured. But accomplishing these feats takes far more than simply accumulating massive quantities of data.“Making sense of thesevolumes of Big Datarequires cutting-edge tools and technologies that can analyze and extract useful knowledge from vast and diverse streams of information,” Tom Kalil and Fen Zhao of the White House Office of Science and Technology Policy wrote in a post on the OSTP Blog. The White House took a step toward helping agencies find these technologies when it established the National Big Data Research and Development Initiative in 2012. The initiative included more than $200 million to make the most of the explosion of Big Data and the tools needed to analyze it. The challenges that Big Data poses are nearly as daunting as its promise is encouraging. Storing data efficiently is one of these challenges. As always, budgets are tight, so agencies must minimize the per-megabyte price of storage and keep the data within easy access so that users can get it when they want it and how they need it. Backing up massive quantities of data heightens the challenge. Analyzing the data effectively is another major challenge. Many agencies employ commercial tools that enable them to sift through the mountains of data, spotting trends that can help them operate more efficiently. (A recent study by MeriTalk found that federal IT executives think Big Data could help agencies save more than $500 billion while also fulfilling mission objectives.). Custom-developed Big Data tools also are allowing agencies to address the need to analyze their data. For example, the Oak Ridge National Laboratory’s Computational Data Analytics Group has made its Piranha data analytics system available to other agencies. The system has helped medical researchers find a link that can alert doctors to aortic aneurysms before they strike. It’s also used for more mundane tasks, such as sifting through résumés to connect job candidates with hiring managers.

聽眾如果您試圖理解您可以訪問或想要分析網絡上可用的非結構化數據（如Twitter，鏈接等等），那麼本課程適合您。 它主要針對決策者和需要選擇哪些數據值得收集以及值得分析的人。 它不是針對人們配置解決方案，但這些人將從大局中受益。 交貨方式在課程期間，代表們將獲得大多數開源技術的工作示例。 講座後將進行簡短的講座，參加者將進行簡單的練習使用的內容和軟件每次運行課程時都會更新所有使用的軟件，因此我們會檢查最新版本。 它涵蓋了從獲取，格式化，處理和分析數據的過程，以解釋如何使用機器學習自動化決策制定過程。

第1天 - 提供重要的Big Data主題領域的高級概述。該模塊分為一系列部分，每個部分都附有實踐練習。 第2天 - 探討一系列與Big Data環境相關的分析實踐和工具的主題。它沒有涉及實現或編程細節，而是將概念保持在概念層面，重點放在使參與者能夠全面了解Big Data解決方案提供的常見分析功能和特性的主題上。 第3天 - 概述與Big Data解決方案平台架構相關的基本和必要主題領域。它涵蓋了開發Big Data解決方案平台所需的Big Data機制以及用於組裝數據處理平台的架構選項。還提供了常見方案，以便基本了解Big Data解決方案平台的使用方式。 第4天 - 通過探索與Big Data解決方案平台架構相關的高級主題，在第3天構建。特別是，介紹和討論了構成Big Data解決方案平台的不同架構層，包括數據源，數據入口，數據存儲，數據處理和安全性。 第5天 - 涵蓋了一系列練習和問題，旨在測試代表們應用第3天和第4天所涵蓋主題知識的能力。

Big Data是指用於存儲和處理大型數據集的解決方案。最初由Go ogle開發，這些Big Data解決方案已經發展並啟發了其他類似的項目，其中許多項目都是開源的。 R是金融行業中流行的編程語言。

當傳統存儲技術無法處理您需要存儲的數據量時，就會有大量的替代方案。本課程試圖引導參與者存儲和分析Big Data替代方案以及他們的優缺點。 本課程主要側重於解決方案的討論和介紹，但可根據需要提供動手練習。

該課程是數據科學家技能集（領域：數據和技術）的一部分。

大數據是如此龐大和復雜的數據集，傳統的數據處理應用軟件不足以處理它們。大數據挑戰包括捕獲數據，數據存儲，數據分析，搜索，共享，傳輸，可視化，查詢，更新和信息隱私。

Vespa是由雅虎創建的開源大數據處理和服務引擎。它用于響應用戶查詢，提出建議，並實時提供個性化內容和廣告。 這種有指導意義的實時培訓引入了服務大型數據的挑戰，並通過創建可實時計算大型數據集中的用戶請求響應的應用程序來引導參與者。 在培訓結束後，參與者將能夠： 使用Vespa可以在用戶等待時在服務時間快速計算數據（存儲，搜索，排名，組織） 將Vespa實施到涉及功能搜索，建議和個性化的現有應用程序中將Vespa與現有的大數據系統（如Hadoop和Storm）集成並部署。 聽衆 開發商 課程的格式 部分講座，部分討論，練習和沈重的練習

為了滿足監管機構的合規性，CSP（ Communication服務提供商）可以利用大數據分析，這不僅可以幫助他們滿足合規性，而且在同一項目的範圍內，他們可以提高客戶滿意度，從而減少客戶流失。事實上，由於合規性與合同相關的服務質量有關，因此任何實現合規性的舉措都將提高CSP的“競爭優勢”。因此，監管機構應該能夠為監管機構和CSP之間互利的CSP建議/指導一套Big Data分析實踐，這一點非常重要。 該課程包括8個模塊（第1天4個，第2天4個）

技術的進步和越來越多的信息正在改變執法的方式。 Big Data帶來的挑戰幾乎與Big Data的承諾一樣令人生畏。有效存儲數據是這些挑戰之一;有效地分析它是另一回事。 在以講師為主導的現場培訓中，參與者將學習處理Big Data技術的思維方式，評估其對現有流程和政策的影響，並實施這些技術，以識別犯罪活動和預防犯罪。將審查世界各地執法組織的案例研究，以深入了解其採用方法，挑戰和結果。 在培訓結束時，參與者將能夠：

• 將Big Data技術與傳統的數據收集流程相結合，在調查過程中拼湊出一個故事
• 實施工業大數據存儲和處理數據分析解決方案
• 準備一份提案，以採用最適當的工具和程序，使數據驅動的方法能夠進行刑事調查

聽眾

• 具有技術背景的執法專家

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

This classroom based training session will explore Big Data. Delegates will have computer based examples and case study exercises to undertake with relevant big data tools

目標 ：該培訓課程旨在幫助與會者了解為什麼Big Data正在改變我們的生活，以及它如何改變企業將我們視為消費者的方式。實際上，企業中的大數據用戶發現大數據釋放出大量信息和見解，從而轉化為更高的利潤，更低的成本和更低的風險。然而，缺點是有時候在過分強調個別技術並且沒有足夠關注大數據管理的支柱時會感到沮喪。 與會者將在本課程中學習如何使用數據集成，數據治理和數據安全三大支柱管理大數據，以便將大數據轉化為實際業務價值。對客戶管理案例研究進行的不同練習將有助於與會者更好地理解基礎流程。

這一由講師指導的實時培訓（現場或遠程）面向的是希望學習如何實施機器學習策略同時最大限度地利用大數據的技術人員。 在本次培訓結束後，學員將能夠：

• 了解機器學習的發展和趨勢。
• 了解機器學習如何在不同行業中使用。
• 熟悉在組織內實現機器學習的工具、技能、服務。
• 了解機器學習如何用于增強數據挖掘和分析。
• 了解數據中台是什麽，以及企業如何使用它。
• 了解大數據和智能應用程序在各個行業中的作用。

課程形式

• 互動講座和討論。
• 大量練習和實操。
• 在現場實驗室環境中動手實現。

課程自定義選項

• 如需本課程的定制培訓，請聯系我們以作安排。

Apache Sqoop是一個命令列介面，用於從關係資料庫和Hadoop移動資料。Apache Flume是一種用於管理大資料的分散式軟體。使用 Sqoop 和 Flume，使用者可以在系統之間傳輸資料，並將大資料導入存儲體系結構，如Hadoop。 此講師指導的現場培訓（現場或遠端）針對的軟體工程師，他們希望使用 Sqoop 和 Flume 在系統之間傳輸資料。 培訓結束時，學員將能夠：

• 使用 Sqoop 和 Flume 引入大資料。
• 從多個資料來源中引入資料。
• 將資料從關係資料庫移動到 HDFS 和Hive。
• 將資料從 HDFS 匯出到關係資料庫。

課程格式

• 互動講座和討論。
• 大量的練習和練習。
• 在即時實驗室環境中實際實現。

課程自訂選項

• 如需申請本課程的定制培訓，請聯繫我們安排。

This instructor-led, live training in 台灣 (online or onsite) is aimed at technical persons who wish to deploy Talend Open Studio for Big Data to simplifying the process of reading and crunching through Big Data. By the end of this training, participants will be able to:

• Install and configure Talend Open Studio for Big Data.
• Connect with Big Data systems such as Cloudera, HortonWorks, MapR, Amazon EMR and Apache.
• Understand and set up Open Studio's big data components and connectors.
• Configure parameters to automatically generate MapReduce code.
• Use Open Studio's drag-and-drop interface to run Hadoop jobs.
• Prototype big data pipelines.
• Automate big data integration projects.

The course is dedicated to IT specialists that are looking for a solution to store and process large data sets in distributed system environment Course goal: Getting knowledge regarding Hadoop cluster administration