授課方式:培訓(xùn)課程 + 案例講解 + 小組討論,60%案例講解,40%實(shí)踐演練
課程目標(biāo):本次課程以實(shí)際的演練(環(huán)境部署,程序開發(fā))為主,分享大規(guī)模Hadoop應(yīng)用的一線最有效實(shí)用經(jīng)驗(yàn),實(shí)踐與理論相結(jié)合,讓學(xué)員能夠?qū)adoop生態(tài)系統(tǒng)有一個(gè)清晰明了的認(rèn)識(shí),理解Hadoop系統(tǒng)適用的場(chǎng)景,掌握MapReduce與Hive的中高級(jí)應(yīng)用開發(fā)技能,快速高效搭建穩(wěn)定可靠的Hadoop集群,滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)。
課程內(nèi)容的分為4個(gè)部分:
? 進(jìn)入Hadoop的精彩世界,介紹Hadoop生態(tài)系統(tǒng)的各個(gè)組成模塊與適用場(chǎng)景。
? Hadoop部署,編程與管理,講解演示在生產(chǎn)環(huán)境中選用和配置服務(wù)器需要注意的事項(xiàng),介紹HDFS編程的Java API使用。
? MapReduce編程:講解演示MapReduce的中高級(jí)應(yīng)用開發(fā)技能。
? Hive與HBase編程:根據(jù)實(shí)際例子講解Hive的使用與UDF的開發(fā),以及如何通過JAVA編寫HBase應(yīng)用。
培訓(xùn)內(nèi)容:
進(jìn)入Hadoop的精彩世界 文件存儲(chǔ)-HDFS
HDFS-工作原理
數(shù)據(jù)計(jì)算MapReduce
MapReduce工作原理
SQL分析-Hive
海量實(shí)時(shí)讀寫-HBase
工作流調(diào)度-0oize
分布式協(xié)調(diào)系統(tǒng)--Zookeeper
Hadoop部署與編程 Hadoop版本介紹與選擇
Hadoop部署實(shí)踐
Hadoop安裝文件構(gòu)成與配置體系
機(jī)器硬件建議配置
系統(tǒng)環(huán)境配置
基本參數(shù)配置與說明
進(jìn)程分布規(guī)劃與啟動(dòng)
Hadoop基本使用操作
HDFS
權(quán)限
MapReduce
HDFS編程
開發(fā)環(huán)境準(zhǔn)備
讀文件
寫文件
Hadoop系統(tǒng)容災(zāi)策略
Hadoop資源調(diào)度策略
Hadoop安全
Hadoop系統(tǒng)監(jiān)控與報(bào)警策略
MapReduce編程 MapReduce的定義與工作機(jī)制
MapReduce與分布式計(jì)算
編程實(shí)戰(zhàn)
MapReduce程序編寫
基于MapReduce的Sort操作
基于MapReduce的Join操作
Hadoop多語言編程框架Streaming
代碼調(diào)試
運(yùn)行日志
Hive與HBase編程 Hive環(huán)境部署與搭建
Hive工作機(jī)制
Hive語法與實(shí)踐
數(shù)據(jù)壓縮選擇
gzip
bz2
lzo
rcfile
HBase編程示例
HBase系統(tǒng)架構(gòu)
HBase性能測(cè)試
Hadoop系統(tǒng)管理 Hadoop系統(tǒng)容災(zāi)策略
Hadoop資源調(diào)度策略
Hadoop高級(jí)配置參數(shù)
Hadoop安全
Hadoop系統(tǒng)監(jiān)控與報(bào)警策略