Apache Accumulo: Building Highly Scalable Big Data Applications培訓

To meet compliance of the regulators, CSPs (Communication service providers) can tap into Big Data Analytics which not only help them to meet compliance but within the scope of same project they can increase customer satisfaction and thus reduce the churn. In fact since compliance is related to Quality of service tied to a contract, any initiative towards meeting the compliance, will improve the “competitive edge” of the CSPs. Therefore, it is important that Regulators should be able to advise/guide a set of Big Data analytic practice for CSPs that will be of mutual benefit between the regulators and CSPs.

The course consists of 8 modules (4 on day 1, and 4 on day 2)

技术的进步和信息量的增加正在改变包括政府在内的许多行业的业务开展方式。Go由于移动设备和应用程序、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，数据生成和数字归档率正在上升。随着数字信息的扩展和日益复杂，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得见解。政府市场正处于一个转折点，他们意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以便更好地服务和满足任务要求。随着政府领导者努力发展数据驱动型组织以成功完成使命，他们正在为关联事件、人员、流程和信息之间的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术混合而成：

• 移动设备和应用程序
• 云服务
• 社交商业技术和网络
• Big Data 和分析

IDC 预测，到 2020 年，IT 行业将达到 5 万亿美元，比现在大约 1.7 万亿美元，而该行业 80% 的增长将由这些第三平台技术推动。从长远来看，这些技术将成为处理日益增长的数字信息复杂性的关键工具。Big Data 是智能行业解决方案之一，它允许政府根据分析大量数据（相关和不相关、结构化和非结构化）所揭示的模式采取行动，从而做出更好的决策。

“理解这些大量的Big Data需要尖端的工具和技术，这些工具和技术可以从大量不同的信息流中分析和提取有用的知识，”白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客上的一篇文章中写道。

白宫在2012年建立国家Big Data研究与开发计划（National Big Data Research and Development Initiative）时，在帮助各机构发现这些技术方面迈出了一步。该计划包括超过 2 亿美元，以充分利用 Big Data 的爆炸式增长以及分析它所需的工具。

Big Data 带来的挑战几乎与它的承诺一样令人生畏。高效存储数据是这些挑战之一。与往常一样，预算紧张，因此机构必须最大限度地降低每兆字节的存储价格，并使数据易于访问，以便用户可以在需要时以需要的方式获取数据。备份海量数据加剧了这一挑战。

有效分析数据是另一个重大挑战。许多机构采用商业工具，使他们能够筛选海量数据，发现可以帮助他们更有效地运营的趋势。（MeriTalk 最近的一项研究发现，联邦 IT 高管认为 Big Data 可以帮助机构节省超过 5000 亿美元，同时实现任务目标。

定制开发的 Big Data 工具还使机构能够满足分析其数据的需求。例如，橡树岭国家实验室的计算数据分析小组已将其食人鱼数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种联系，可以在主动脉瘤发作之前提醒医生注意主动脉瘤。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

第1天 - 提供重要的Big Data主題領域的高級概述。該模塊分為一系列部分，每個部分都附有實踐練習。

第2天 - 探討一系列與Big Data環境相關的分析實踐和工具的主題。它沒有涉及實現或編程細節，而是將概念保持在概念層面，重點放在使參與者能夠全面了解Big Data解決方案提供的常見分析功能和特性的主題上。

第3天 - 概述與Big Data解決方案平台架構相關的基本和必要主題領域。它涵蓋了開發Big Data解決方案平台所需的Big Data機制以及用於組裝數據處理平台的架構選項。還提供了常見方案，以便基本了解Big Data解決方案平台的使用方式。

第4天 - 通過探索與Big Data解決方案平台架構相關的高級主題，在第3天構建。特別是，介紹和討論了構成Big Data解決方案平台的不同架構層，包括數據源，數據入口，數據存儲，數據處理和安全性。

第5天 - 涵蓋了一系列練習和問題，旨在測試代表們應用第3天和第4天所涵蓋主題知識的能力。

技術的進步和越來越多的信息正在改變執法的方式。 Big Data帶來的挑戰幾乎與Big Data的承諾一樣令人生畏。有效存儲數據是這些挑戰之一;有效地分析它是另一回事。

在以講師為主導的現場培訓中，參與者將學習處理Big Data技術的思維方式，評估其對現有流程和政策的影響，並實施這些技術，以識別犯罪活動和預防犯罪。將審查世界各地執法組織的案例研究，以深入了解其採用方法，挑戰和結果。

在培訓結束時，參與者將能夠：

• 將Big Data技術與傳統的數據收集流程相結合，在調查過程中拼湊出一個故事
• 實施工業大數據存儲和處理數據分析解決方案
• 準備一份提案，以採用最適當的工具和程序，使數據驅動的方法能夠進行刑事調查

聽眾

• 具有技術背景的執法專家

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Big Data是指用於存儲和處理大型數據集的解決方案。最初由Go ogle開發，這些Big Data解決方案已經發展並啟發了其他類似的項目，其中許多項目都是開源的。 R是金融行業中流行的編程語言。

當傳統存儲技術無法處理您需要存儲的數據量時，就會有大量的替代方案。本課程試圖引導參與者存儲和分析Big Data替代方案以及他們的優缺點。

本課程主要側重於解決方案的討論和介紹，但可根據需要提供動手練習。

在台灣中完成這種由講師指導的現場培訓的參與者將獲得對Big Data及其相關技術，方法和工具的實際理解。

參與者將有機會通過動手練習將這些知識付諸實踐。小組互動和教師反饋是課堂的重要組成部分。

該課程從介紹大數據的基本概念開始，然後進入用於執行數據分析的程式設計語言和方法。最後，我們討論了支持大數據存儲、分散式處理和 Scala 能力的工具和基礎設施。

該課程是數據科學家技能集（領域：數據和技術）的一部分。

This classroom based training session will explore Big Data. Delegates will have computer based examples and case study exercises to undertake with relevant big data tools

聽眾

如果您試圖理解您可以訪問或想要分析網絡上可用的非結構化數據（如Twitter，鏈接等等），那麼本課程適合您。

它主要針對決策者和需要選擇哪些數據值得收集以及值得分析的人。

它不是針對人們配置解決方案，但這些人將從大局中受益。

交貨方式

在課程期間，代表們將獲得大多數開源技術的工作示例。

講座後將進行簡短的講座，參加者將進行簡單的練習

使用的內容和軟件

每次運行課程時都會更新所有使用的軟件，因此我們會檢查最新版本。

它涵蓋了從獲取，格式化，處理和分析數據的過程，以解釋如何使用機器學習自動化決策制定過程。

大數據是如此龐大和復雜的數據集，傳統的數據處理應用軟件不足以處理它們。大數據挑戰包括捕獲數據，數據存儲，數據分析，搜索，共享，傳輸，可視化，查詢，更新和信息隱私。

這種以講師為主導的台灣現場現場培訓針對的是希望學習如何實施機器學習策略，同時最大限度地利用大數據的技術人員。

在培訓結束時，參與者將：

• 了解機器學習的演變和趨勢。
• 了解機器學習在不同行業的應用方式。
• 熟悉可用於在組織內實施機器學習的工具、技能和服務。
• 瞭解如何使用機器學習來增強數據挖掘和分析。
• 了解什麼是數據中間後端，以及企業如何使用它。
• 了解大數據和智慧應用在各行各業中發揮的作用。

這種以講師為主導的台灣現場現場培訓針對的是希望使用Sqoop和Flume進行大數據的軟體工程師。

在培訓結束時，參與者將能夠：

• 使用 Sqoop 和 Flume 採集大數據。
• 從多個數據源引入數據。
• 將數據從關係資料庫移動到 HDFS 和 Hive。
• 將數據從 HDFS 匯出到關係型資料庫。

這種以講師為主導的台灣現場培訓（現場或遠端）針對的是希望部署Talend Open Studio for Big Data以簡化大數據讀取和處理過程的技術人員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Talend Open Studio for Big Data。
• 與 Cloudera、HortonWorks、MapR、Amazon EMR 和 Apache 等大數據系統連接。
• 瞭解並設置Open Studio的大數據元件和連接器。
• 配置參數，自動生成MapReduce代碼。
• 使用 Open Studio 的拖放介面運行 Hadoop 作業。
• 對大數據管道進行原型設計。
• 自動執行大數據集成專案。

聽眾：

本課程面向尋求在分佈式系統環境中存儲和處理大型數據集的解決方案的IT專家

Go ：

深入了解Hadoop集群管理。