課程簡介

模組 1.Hadoop 簡介

  • Hadoop 分散式檔案系統 (HDFS)
  • 讀取路徑和寫入路徑
  • 管理文件系統元數據
  • Namenode 和 Datanode
  • Namenode 高可用性
  • Namenode 聯合
  • 命令行工具
  • 瞭解 REST 支援

模組 2.MapReduce簡介

  • 使用Hadoop分析數據
  • 映射和縮減模式
  • Java MapReduce的
  • 橫向擴展
  • 數據流
  • 開發合路器函數
  • 運行分散式MapReduce作業

模組 3.規劃 Hadoop 集群

  • 選擇 Hadoop 的發行版和版本
  • 版本和功能
  • 硬體選型
  • 主站和工作器硬體選擇
  • 群集大小調整
  • 操作系統選擇和準備
  • 部署佈局
  • 設置使用者、組和許可權
  • 磁碟配置
  • 網路設計

模組 4.安裝和配置

  • 安裝Hadoop
  • 配置:概述
  • Hadoop XML 配置檔
  • 環境變數和Shell腳本
  • 日誌記錄配置
  • 管理 HDFS
  • 優化和調優
  • 格式化 Namenode
  • 創建 /tmp 目錄
  • 思考 Namenode 高可用性
  • 擊劍選項
  • 自動故障轉移配置
  • 格式化和引導名稱節點
  • Namenode 聯合

模組 5.瞭解 Hadoop I/O

  • HDFS中的數據完整性
  • 瞭解編解碼器
  • 壓縮和輸入拆分
  • 在MapReduce中使用壓縮
  • 序列化機制
  • 基於文件的數據結構
  • SequenceFile 格式
  • 其他檔案格式和面向列的格式

模組 6.開發MapReduce應用程式

  • 設定 API
  • 設置開發環境
  • 管理配置
  • GenericOptionsParser、Tool 和 ToolRunner
  • 使用 MRUnit 編寫單元測試
  • 映射器和化簡器
  • 在測試數據上本地運行
  • 測試驅動程式
  • 在集群上運行
  • 打包和啟動作業
  • The MapReduce Web UI
  • 調整作業

模組 7.身份、身份驗證和授權

  • 管理身份
  • Kerberos 和 Hadoop
  • 了解授權

模組 8.資源 Management

  • 什麼是資源 Management?
  • HDFS 配額
  • MapReduce調度程式
  • YARN 應用程式運行剖析
  • 資源請求
  • 應用程式生命週期
  • YARN 與 MapReduce 1 的比較
  • 在 YARN 中調度
  • 調度程序選項
  • 容量計劃程式配置
  • 公平的調度程式配置
  • 延遲調度
  • 主導資源公平性

模組 9.MapReduce類型和格式

  • MapReduce 類型
  • 預設的MapReduce作業
  • 定義輸入格式
  • 管理輸入拆分和記錄
  • 文本輸入和二進位輸入
  • 管理多個輸入
  • Database 輸入(和輸出)
  • 輸出格式
  • 文本輸出和二進位輸出
  • 管理多個輸出
  • Database 輸出

模組 10.使用MapReduce功能

  • 使用計數器
  • 讀取內置計數器
  • 用戶定義的 Java 計數器
  • 瞭解排序
  • 使用分散式緩存

模組 11.集群維護和故障排除

  • 管理 Hadoop 進程
  • 使用 Init 文稿啟動和停止進程
  • 手動啟動和停止進程
  • HDFS 維護任務
  • 添加數據節點
  • 停用數據節點
  • 使用 fsck 檢查文件系統完整性
  • 平衡HDFS塊數據
  • 處理故障磁碟
  • MapReduce維護任務
  • 終止MapReduce作業
  • 終止MapReduce任務
  • 管理資源耗盡

模組 12.監測

  • 可用的 Hadoop 指標
  • SNMP的作用
  • 健康監測
  • 主機級檢查
  • HDFS 檢查
  • MapReduce檢查

模組 13.備份和恢復

  • 數據備份
  • 分散式複製 (distcp)Distributed Copy (distcp)
  • 並行數據引入
  • Namenode 元數據
  21 時間:
 

人數


開始於

結束於


Dates are subject to availability and take place between 09:30 and 16:30.
Open Training Courses require 5+ participants.

客戶評論 (1)

相關課程

課程分類