新竹現場大數據培訓

本課程為講師主導的實作培訓（在 新竹 提供線上或線下形式），適合具備中階技能、希望運用 Google Colab 和 Apache Spark 進行大數據處理與分析的数据科学家和工程師。

完成培訓後，學員將能夠：

• 利用 Google Colab 和 Spark 建立大數據環境。
• 使用 Apache Spark 高效處理並分析大型資料集。
• 在協作環境中視覺化大數據。
• 將 Apache Spark 與雲端工具整合。

Stratio 是一個以數據為中心的平台，將大數據、AI 和治理整合到一個解決方案中。其 Rocket 和 Intelligence 模塊能夠在企業環境中快速探索、轉換和分析數據。

這項由講師主導的現場培訓（線上或線下）旨在幫助初級到中級水平的數據專業人員有效使用 Stratio 中的 Rocket 和 Intelligence 模塊，並專注於循環結構、自定義函數以及高級數據邏輯。

在本課程結束後，學員將能夠：

• 在 Stratio 平台中導航及使用 Rocket 和 Intelligence 模塊。
• 在數據採集、轉換和分析的情境下應用 PySpark。
• 使用循環和條件邏輯控制工作流程並執行特徵工程任務。
• 建立和管理自定義函數（UDF），用於在 PySpark 中重用數據操作。

課程形式

• 互動式講授和討論。
• 大量的練習和實踐機會。
• 在實時實驗室環境中的動手實施。

課程客製化選項

• 如需為該課程請求定制培訓，請聯繫我們進行安排。

資料倉儲是設計、建置和營運集中式資料儲存庫的實務，用於支援分析、報表與決策制定。

本課程由講師帶領，提供線上或線下即時培訓（忽略 'Live'），適合中階資料專業人士，旨在教會如何為維度資料建模、建立穩健的 ETL 管線並優化分析負載。

完成培訓後，學員將能夠：

• 闡述核心資料倉儲概念與架構。
• 設計維度模型，並在星型模式與雪花模式中做出選擇。
• 可靠地建立與協作 ETL 和 ELT 管線。
• 區分 OLTP 與 OLAP 負載，並為分析進行優化。

課程形式

• 互動式講授與討論。
• 大量的練習與實作。
• 在即時實驗環境中進行動手實作。

課程客製化選項

• 若需為本課程請求客製化培訓，請聯絡我們安排。

完成此由講師主導、在新竹的現場培訓的參與者，將獲得關於大數據及其相關技術、方法和工具的實務性、真實世界理解。

參與者有機會透過動手練習將此知識付諸實踐。團體互動和講師反饋是課程的重要組成部分。

課程從大數據的基本概念介紹開始，然後進展到用於執行數據分析的程式語言和方法。最後，我們將討論支持大數據存儲、分佈式處理和可擴展性的工具和基礎設施。

Greenplum 是一個開源的大規模平行處理 (MPP) 資料平台，專為分析和大規模資料環境而設計。

這項由講師帶領的即時培訓（線上或線下）旨在讓中階到進階技術使用者了解 Greenplum 的內部架構、建立最佳化的資料模型，並在分散式環境中應用高效能 SQL。

完成本課程後，參與者將能夠：

• 了解 Greenplum 的無共享架構和平行處理模型。
• 設計適合查詢效能的分散式表格結構和分割區。
• 運用索引策略、儲存格式和實體設計技術。
• 解讀 EXPLAIN 計畫，並根據最佳實踐優化查詢。

課程格式

• 互動式講授與討論。
• 大量的練習與實作。
• 在即時實驗室環境中進行實作。

課程客製化選項

• 如需申請此課程的客製化培訓，請聯繫我們以安排。

Greenplum 是一個基於 PostgreSQL 的開源大規模平行資料平台，專為進階分析與大型資料倉儲設計。

此由講者引導的實作培訓（線上或線下）旨在協助中級系統管理員有效地安裝、設定並管理 Greenplum 環境，包括管理系統更新與程式庫。

完成本培訓後，學員將能夠：

• 安裝並設定適用於生產環境的 Greenplum 叢集。
• 管理系統更新，並安全地套用在修補程式。
• 處理用於分析與擴充功能的 Greenplum 程式庫管理。
• 進行 Greenplum 系統的疑難排解與監控。

課程格式

• 互動式講授與討論。
• 在受控實驗室環境中實際操作 Greenplum。
• 針對叢集設定、升級流程及系統擴充功能的引導練習。

課程自訂選項

• 若需根據貴機構的環境或資料平台為此課程申請客製化培訓，請與我們聯繫以安排。

此於 新竹（線上或線下）舉辦之講師主導實作訓練，旨在針對希望優化數據處理工作流、確保數據完整性並實施能應對現代大數據應用複雜性的強大數據湖倉解決方案的進階級數據專業人士。

課程結束後，參與者將能夠：

• 深入了解 Iceberg 的架構，包括元資料管理與檔案配置。
• 為在不同環境中達到最佳效能而設定 Iceberg，並將其與多個數據處理引擎整合。
• 管理大規模 Iceberg 表格，執行複雜的模式變更，並處理分區演化。
• 掌握優化查詢效能和大規模數據集資料掃描效率的技巧。
• 實施機制以確保數據一致性，管理交易保證，並在分散式環境中處理故障。

這門在 新竹（線上或線下）舉行的講師主導的現場培訓旨在幫助初級數據專業人士獲取有效利用 Apache Iceberg 管理大規模資料集、確保資料完整性以及優化資料處理工作流程所需的知識和技能。

完成此培訓後，學員將能夠：

• 深入了解 Apache Iceberg 的架構、功能和優勢。
• 學習關於表格格式、分區、結構演變以及時間旅行功能。
• 在不同環境中安裝和配置 Apache Iceberg。
• 建立、管理和操作 Iceberg 表格。
• 理解從其他表格式遷移資料到 Iceberg 的過程。

在 新竹（線上或線下）舉辦的這門由講師主導的培訓，旨在幫助中階IT專業人士提升數據架構、治理、雲端計算和大數據技術方面的技能，以有效地管理和分析組織內用於數據遷移的大型數據集。

在本培訓結束時，參與者將能夠：

• 了解各種數據架構的基本概念和組件。
• 全面掌握數據治理原則及其在合規環境中的重要性。
• 實施和管理像Dama和Togaf這樣的數據治理框架。
• 利用雲端平台進行高效的資料存儲、處理和管理工作。

這項在 新竹（線上或線下）進行的由講師主導的實時培訓，針對的是希望學習如何使用 Azure Data Lake Storage Gen2 構建有效數據分析解決方案的中級數據工程師。

完成本培訓後，學員將能夠：

• 理解 Azure Data Lake Storage Gen2 的架構和主要功能。
• 優化數據存儲和訪問以平衡成本與性能。
• 將 Azure Data Lake Storage Gen2 與其他 Azure 服務集成，用於分析和數據處理。
• 使用 Azure Data Lake Storage Gen2 API 開發解決方案。
• 排除常見問題並優化存儲策略。

本課程在新竹（線上或線下）以導師指導的方式進行，旨在幫助希望使用並整合 Spark、Hadoop 和 Python 來處理、分析和轉換大型且複雜數據集的開發者。

在完成本課程後，學員將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心組件及架構。
• 學習如何整合 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MLlib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 建立類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習算法。

大數據與進階分析運用複雜的技巧和工具，來分析龐大且複雜的資料集，以取得可執行的洞察力和支援策略決策。

本課程為講師主導的即時培訓（線上或線下），主要針對希望利用尖端分析方法和大數據技術進行預測性、指示性及實時分析的高階資料專業人員而設計。

完成本課程後，學員將能夠：

• 設計並實施處理結構化與非結構化資料的大規模資料處理管線。
• 將進階機器學習和深度學習技術應用於龐大的資料集。
• 利用分散式運算架構進行實時分析及資料串流處理。
• 將大數據分析整合至商業智慧及決策系統中。

課程形式

• 互動式講授與討論。
• 大量的練習與實作。
• 在即時實驗室環境中進行實作。

課程客製化選項

• 若需針對此課程請求客製化培訓，請聯絡我們安排。

此由講師帶領的實作培訓於 新竹（線上或線下）進行，針對中級 IT 專業人士，旨在從管理與開發角度全面掌握 IBM DataStage，使學員能有效在職場中使用該工具。

完成培訓後，學員將能：

• 理解 DataStage 的核心概念。
• 學習如何有效安裝、設定及管理 DataStage 環境。
• 連接各類資料來源，並從資料庫、平面檔案及外部來源高效提取資料。
• 實施有效的資料載入技術。

本課程採用講師指導的現場培訓模式（線上或線下），適合希望部署、維護和優化 Spark 集群的初級至中級系統管理員參加。

完成培訓後，參與者將能夠：

• 在各種環境中安裝和配置 Apache Spark。
• 管理集群資源並監控 Spark 應用程序。
• 優化 Spark 集群的性能。
• 實施安全措施並確保高可用性。
• 調試和排除常見 Spark 問題。

在這堂由導師帶領的 新竹 培訓中，參與者將在實踐練習的同時學習如何結合使用 Python 和 Spark 來分析大數據。

培訓結束後，參與者將能夠：

• 學會如何使用 PySpark 結合 Spark 與 Python 來分析大數據。
• 進行模擬真實世界案例的練習。
• 使用不同的工具和技術，透過 PySpark 進行大數據分析。

技術的進步以及資訊量的增加正在改變許多產業（包括政府部門）的營運方式。隨著行動裝置與應用程式、智慧型感測器與裝置、雲端運算解決方案以及面向公民之入口網站的快速增長，政府資料的產生和數位典藏率不斷上升。隨著數位資訊的擴張並變得更加複雜，資訊管理、處理、儲存、安全性和處置也隨之變得更為複雜。新的擷取、搜尋、發現和分析工具有助於組織從非結構化資料中獲取見解。政府市場正處於一個轉折點，開始意識到資訊是戰略資產，政府需要保護、利用並分析結構化和非結構化資訊，以更好地服務並達成任務需求。當政府領導者致力於將數據驅動的組織轉型成功時，他們正在奠定基礎，以關聯事件、人員、流程和資訊之間的依賴關係。

高價值的政府解決方案將由最具顛覆性的技術組合而成：

• 行動裝置與應用程式
• 雲端服務
• 社交商務技術與網路
• 大數據和分析

大數據是一種智能產業解決方案，允許政府透過基於分析大量資料所揭示的模式採取行動，從而做出更佳的決策——這些資料涵蓋相關與無關、結構化與非結構化內容。

但要實現這些成就遠比簡單地累積大量資料更為困難。白宮科技政策辦公室（OSTP）的 Tom Kalil 和 Fen Zhao 在 OSTP Blog 的一篇文章中寫道：「要理清這些龐大的大數據量，需要最先進的技術和工具，能夠從 vast 且多樣化的資訊流中分析和提取有用的知識。」

白宮在2012年成立國家大數據研發計劃（National Big Data Research and Development Initiative），邁出了一步幫助各機構找到這些技術。該計劃投入超過2億美元，以充分利用大數據的爆炸性增長及其所需的分析工具。

大數據帶來的挑戰與其承諾一樣令人望而卻步。高效儲存資料是其中一個挑戰。與以往一樣，預算緊縮，因此各機構必須最大限度地降低每兆字節的儲存成本，並保持資料易於存取，以便用戶在需要時能以所需方式獲取。備份大量資料更增加了這一挑戰。

有效分析資料是另一個主要挑戰。許多機構使用商業工具來篩選海量資料，識別趨勢以協助提高效率。（MeriTalk 最近的一項研究發現，聯邦資訊技術主管認為大數據可幫助各機構節省超過5000億美元，同時實現任務目標。）

自行開發的大數據工具也正讓各機構能夠應對分析資料的需求。例如，橡樹嶺國家實驗室的計算數據分析集團已將其 Piranha 數據分析系統開放給其他機構使用。該系統幫助醫療研究人員發現了可以在動脈瘤發作前提醒醫生的聯繫點。它也被用於較常規的任務，如篩選履歷以將求職者與僱主匹配。

在本次新竹舉行的導師指導實時培訓中，參與者將學習應對大數據技術的心態，評估其對現有流程和政策的影響，並實施這些技術以識別犯罪活動和預防犯罪。我們將檢視來自全球執法組織的案例研究，了解他們的採用方法、挑戰和成果。

在完成本培訓後，參與者將能夠：

• 將大數據技術與傳統的數據收集過程相結合，在調查中拼湊出完整的故事。
• 實施工業級大數據存儲和處理方案以進行數據分析。
• 準備一份提案，推薦採用最合適的工具和流程，以實現基於數據的刑事調查方法。

「大型資料」是指用於儲存和處理大量數據集的解決方案。這些解決方案最初由 Google 開發，隨後不斷演進並啟發了其他類似專案，其中許多已成為開源版本。R 是一種在金融行業中廣受歡迎的程式設計語言。

課程概覽

本課程提供一套實用且結構化的入門指南，協助學員建立即時資料串流系統。內容涵蓋核心概念、架構模式以及產業中廣泛使用的工具，以應對大規模連續資料的處理需求。學員將學習如何使用現代框架來設計、實現並最佳化串流管線。課程從基礎理念出發，逐步引導至實作應用，使學員能自信地建構可投入生產環境的即時解決方案。

培訓格式

• 講師主導的課程與引導式解說

• 概念導覽搭配真實案例說明

• 實作示範與程式編寫練習

• 配合每日主題的遞進式實驗室訓練

• 互動討論與問答環節

課程目標

• 理解即時資料串流概念與系統架構

• 區分批次處理與串流式資料處理模型

• 設計具擴展性與容錯能力的串流管線

• 運用分散式串流通用工具與框架

• 應用事件時間處理、視窗化及有狀態操作技術

• 針對商業需求建立並最佳化即時資料解決方案

Apache NiFi 是一個開源的、基於流程的數據整合與事件處理平台。它提供自動化的實時數據路由、轉換以及不同系統間的中介功能，並配備基於網頁的使用者介面及細粒度的控制能力。

此課程由講授導師現場指導進行（可選擇線上或線下），適合希望部署、管理、確保安全並優化生產環境中 NiFi 數據流的初級管理員與工程師參與。

完成本課程後，學員將能夠：

• 安裝、配置和維護 Apache NiFi 叢集。
• 設計和管理來自各種來源與目標端的數據流。
• 實施流程自動化、路由及轉換邏輯。
• 優化效能、監控操作並排除問題。

課程格式

• 互動式講座，結合實際架構討論。
• 實作演練：建立、部署及管理數據流。
• 在即時實驗室環境中進行情境模擬練習。

課程客製化選項

• 如需為此課程申請客製化培訓，請聯繫我們以安排。

本培訓提供實用入門課程，教導如何使用 PySpark 建構可擴展的數據處理和機器學習工作流程。學員將了解 Apache Spark 如何在現代大數據生態系統中運行，以及如何利用分散式計算原理高效處理大型資料集。

本培訓課程由講師現場指導，可以線上或進行的形式進行。旨在幫助工程師部署Apache Spark系統，以處理大量數據。

在本培訓結束後，參與者將能夠：

• 安裝並配置Apache Spark
• 快速處理並分析大量數據
• 了解Apache Spark和Hadoop MapReduce之間的差異以及何時使用哪一種
• 將Apache Spark與其他機器學習工具整合

Apache Spark 的學習曲線在初期較為陡峭，需要投入大量努力才能獲得初步成效。本課程旨在幫助學員跨越這道難關。完成本課程後，學員將掌握 Apache Spark 的基本概念，清楚區分 RDD 與 DataFrame，學習 Python 和 Scala API，並理解執行器（executors）與任務（tasks）的運作機制等。此外，課程遵循最佳實踐，重點講解雲端部署、Databricks 及 AWS 相關的應用。學員也將了解 AWS EMR 與 AWS Glue 之間的差異，AWS Glue 是 AWS 最新推出的 Spark 服務之一。

適用對象：

數據工程師、DevOps 工程師、數據科學家

這門在新竹（線上或線下）舉行的由講師帶領的實時培訓，旨在幫助希望部署Talend Open Studio for Big Data以簡化讀取和處理大數據流程的技術人員。

完成本培訓後，學員將能夠：

• 安裝和配置Talend Open Studio for Big Data。
• 連接Cloudera、HortonWorks、MapR、Amazon EMR和Apache等大數據系統。
• 理解和設置Open Studio的大數據組件和連接器。
• 配置參數以自動生成MapReduce代碼。
• 使用Open Studio的拖放界面運行Hadoop作業。
• 構建大數據管道的原型。
• 自動化大數據集成項目。