感謝您的預訂!我們的團隊成員將會盡快與您取得聯繫。
感謝您的預訂!我們的團隊成員將會盡快與您取得聯繫。
課程簡介
模組 1.Hadoop 簡介
- Hadoop 分散式檔案系統 (HDFS)
- 讀取路徑和寫入路徑
- 管理文件系統元數據
- Namenode 和 Datanode
- Namenode 高可用性
- Namenode 聯合
- 命令行工具
- 瞭解 REST 支援
模組 2.MapReduce簡介
- 使用Hadoop分析數據
- 映射和縮減模式
- Java MapReduce的
- 橫向擴展
- 數據流
- 開發合路器函數
- 運行分散式MapReduce作業
模組 3.規劃 Hadoop 集群
- 選擇 Hadoop 的發行版和版本
- 版本和功能
- 硬體選型
- 主站和工作器硬體選擇
- 群集大小調整
- 操作系統選擇和準備
- 部署佈局
- 設置使用者、組和許可權
- 磁碟配置
- 網路設計
模組 4.安裝和配置
- 安裝Hadoop
- 配置:概述
- Hadoop XML 配置檔
- 環境變數和Shell腳本
- 日誌記錄配置
- 管理 HDFS
- 優化和調優
- 格式化 Namenode
- 創建 /tmp 目錄
- 思考 Namenode 高可用性
- 擊劍選項
- 自動故障轉移配置
- 格式化和引導名稱節點
- Namenode 聯合
模組 5.瞭解 Hadoop I/O
- HDFS中的數據完整性
- 瞭解編解碼器
- 壓縮和輸入拆分
- 在MapReduce中使用壓縮
- 序列化機制
- 基於文件的數據結構
- SequenceFile 格式
- 其他檔案格式和面向列的格式
模組 6.開發MapReduce應用程式
- 設定 API
- 設置開發環境
- 管理配置
- GenericOptionsParser、Tool 和 ToolRunner
- 使用 MRUnit 編寫單元測試
- 映射器和化簡器
- 在測試數據上本地運行
- 測試驅動程式
- 在集群上運行
- 打包和啟動作業
- The MapReduce Web UI
- 調整作業
模組 7.身份、身份驗證和授權
- 管理身份
- Kerberos 和 Hadoop
- 了解授權
模組 8.資源 Management
- 什麼是資源 Management?
- HDFS 配額
- MapReduce調度程式
- YARN 應用程式運行剖析
- 資源請求
- 應用程式生命週期
- YARN 與 MapReduce 1 的比較
- 在 YARN 中調度
- 調度程序選項
- 容量計劃程式配置
- 公平的調度程式配置
- 延遲調度
- 主導資源公平性
模組 9.MapReduce類型和格式
- MapReduce 類型
- 預設的MapReduce作業
- 定義輸入格式
- 管理輸入拆分和記錄
- 文本輸入和二進位輸入
- 管理多個輸入
- Database 輸入(和輸出)
- 輸出格式
- 文本輸出和二進位輸出
- 管理多個輸出
- Database 輸出
模組 10.使用MapReduce功能
- 使用計數器
- 讀取內置計數器
- 用戶定義的 Java 計數器
- 瞭解排序
- 使用分散式緩存
模組 11.集群維護和故障排除
- 管理 Hadoop 進程
- 使用 Init 文稿啟動和停止進程
- 手動啟動和停止進程
- HDFS 維護任務
- 添加數據節點
- 停用數據節點
- 使用 fsck 檢查文件系統完整性
- 平衡HDFS塊數據
- 處理故障磁碟
- MapReduce維護任務
- 終止MapReduce作業
- 終止MapReduce任務
- 管理資源耗盡
模組 12.監測
- 可用的 Hadoop 指標
- SNMP的作用
- 健康監測
- 主機級檢查
- HDFS 檢查
- MapReduce檢查
模組 13.備份和恢復
- 數據備份
- 分散式複製 (distcp)Distributed Copy (distcp)
- 並行數據引入
- Namenode 元數據
21 時間:
客戶評論 (1)
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.