課程描述：本課程以大數(shù)據(jù)架構(gòu)與案例為驅(qū)動(dòng)，采用一個(gè)完整地案例貫穿整個(gè)課程，讓學(xué)員體驗(yàn)大數(shù)據(jù)架構(gòu)的企業(yè)價(jià)值。在課程中學(xué)員將被賦予企業(yè)架構(gòu)師角色，通過剖析企業(yè)對(duì)大數(shù)據(jù)的主要需求，使學(xué)員感悟大數(shù)據(jù)架構(gòu)設(shè)計(jì)的過程與價(jià)值。
培訓(xùn)目標(biāo)：
1、全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景；
2、全程項(xiàng)目實(shí)戰(zhàn)訓(xùn)練；
3、徹底掌握使用Hadoop進(jìn)行MapReduce程序開發(fā)；
4、熟悉分布式計(jì)算領(lǐng)域的常用算法；
5、掌握Hive、HBase使用與優(yōu)化技巧。
6、了解云計(jì)算的發(fā)展歷史
7、掌握云計(jì)算的實(shí)踐應(yīng)用
8、學(xué)習(xí)云計(jì)算的核心技術(shù)
9、通曉云計(jì)算的商業(yè)價(jià)值。
培訓(xùn)對(duì)象：軟件工程師、數(shù)據(jù)庫開發(fā)人員、網(wǎng)絡(luò)后臺(tái)開發(fā)人員、運(yùn)維人員；地方*云計(jì)算物聯(lián)網(wǎng)產(chǎn)業(yè)負(fù)責(zé)人；各地云計(jì)算中心負(fù)責(zé)人；云計(jì)算物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)劃負(fù)責(zé)人；云計(jì)算產(chǎn)業(yè)投資團(tuán)隊(duì)；云計(jì)算應(yīng)用開發(fā)商；云計(jì)算硬件設(shè)備提供商；云服務(wù)運(yùn)營服務(wù)提供商；高校、科研院所云計(jì)算項(xiàng)目負(fù)責(zé)人。
培訓(xùn)內(nèi)容：
時(shí)間 課程主題 內(nèi)容簡介
*部分 云計(jì)算與虛擬化 ? 計(jì)算機(jī)的發(fā)展
? 當(dāng)前企業(yè)所面臨的挑戰(zhàn)
? 當(dāng)前企業(yè)級(jí)數(shù)據(jù)中心面臨的挑戰(zhàn)
? 驅(qū)動(dòng)IT轉(zhuǎn)型的源動(dòng)力
? IT的過去與未來
? The Hype Cycle生命周期
? 兩種最常見的“云計(jì)算”定義
? 兩種“云計(jì)算”的核心技術(shù)比較
? 工作負(fù)載
? 技術(shù)架構(gòu)——從實(shí)例推導(dǎo)
? 將服務(wù)方式交付的IT資源
? 云平臺(tái)的發(fā)展現(xiàn)狀
? IaaS的特性
? PaaS的特性
? 云計(jì)算的基石
? 云計(jì)算技術(shù)架構(gòu)
? 虛擬化帶來的支出與收益
? 服務(wù)器虛擬化技術(shù)對(duì)比
? 0penStack云操作系統(tǒng)
? Power服務(wù)器云部署方案介紹
? 高端小型機(jī)部署原則
? VMware云部署方案介紹
? NAS云存儲(chǔ)設(shè)計(jì)實(shí)踐
? 虛擬中間件設(shè)計(jì)實(shí)踐
第二部分 云計(jì)算與數(shù)據(jù)中心建設(shè) ? 容量評(píng)估內(nèi)容
? 開放系統(tǒng)容量評(píng)估內(nèi)容
? 開放系統(tǒng)評(píng)估流程
? 開放系統(tǒng)數(shù)據(jù)采集方法
? 開放系統(tǒng)建立不同類別評(píng)估模型
? 開放系統(tǒng)CPU評(píng)估模型
? 開放系統(tǒng)CPU評(píng)估樣例
第三部分 云計(jì)算與數(shù)據(jù)存儲(chǔ)分析挖掘 ? 存儲(chǔ)子系統(tǒng)
? 傳統(tǒng)文件系統(tǒng)
? 松耦合網(wǎng)絡(luò)文件系統(tǒng)
? 共享存儲(chǔ)文件系統(tǒng)
? 基于對(duì)象的存儲(chǔ)子系統(tǒng)
? 大數(shù)據(jù)存儲(chǔ)子系統(tǒng)
? Google GFS
? Facebook Haystack
? Amazon Dynamo
? Yahoo PNUTS
? Google BigTable
? 云存儲(chǔ)服務(wù)
? Amazon Simple Storage Service
? Google Storage for Developers
第四部分 Hadoop概述 ? 數(shù)據(jù)存儲(chǔ)與分析
? 數(shù)據(jù)的并行訪問
? Hadoop的核心組件
? Hadoop的基本特征
? Hadoop的生態(tài)圈
? Hadoop與大數(shù)據(jù)
? Hadoop與關(guān)系型數(shù)據(jù)庫
? Hadoop與網(wǎng)格計(jì)算
? Hadoop與志愿者計(jì)算
? Hadoop發(fā)展簡史
MapReduce ? 什么是MapReduce
? MapReduce示例
? 使用MapReduce進(jìn)行數(shù)據(jù)分析
? 使用Java編寫Map函數(shù)
? 使用Java編寫Reduce函數(shù)
? 使用Java編寫Run函數(shù)
? 數(shù)據(jù)流
? bine函數(shù)
? 非Java語言支持
HDFS ? 什么是HDFS
? HDFS的優(yōu)勢(shì)與劣勢(shì)
? 數(shù)據(jù)塊
? Namenode與Datanode
? 客戶端
? Hadoop文件系統(tǒng)
? Hadoop的各種語言接口
? 文件訪問的數(shù)據(jù)流
? 一致性模型
? Hadoop歸檔文件
第五部分 MapReduce應(yīng)用開發(fā) ? MapReduce程序編寫的基本流程
? 配置開發(fā)環(huán)境
? 配置文件管理
? Generic0ptionsParser，Tool和ToolRunner
? 編寫單元測(cè)試
? 本地運(yùn)行測(cè)試數(shù)據(jù)
? 集群環(huán)境運(yùn)行作業(yè)
HIVE ? 什么是HIVE
? 數(shù)據(jù)模型
? HiveQL
? Hive的優(yōu)化
? Hive的擴(kuò)展性
ZooKeeper ? 什么是ZooKeeper
? ZooKeeper的特點(diǎn)
? ZooKeeper服務(wù)的數(shù)據(jù)模型
? ZooKeeper服務(wù)的高可用
? ZooKeeper服務(wù)的一致性
? 使用ZooKeeper構(gòu)建配置服務(wù)
? 使用ZooKeeper實(shí)現(xiàn)鎖服務(wù)
HBASE ? Hbase概述
? HBase的數(shù)據(jù)模型
? HBase的運(yùn)行時(shí)
? HBase與關(guān)系型數(shù)據(jù)庫
Sqoop ? 什么是Sqoop
? Sqoop導(dǎo)入示例
? Sqoop如何導(dǎo)入數(shù)據(jù)
? Sqoop如何導(dǎo)出數(shù)據(jù)
第六部分 其他互聯(lián)網(wǎng)公司大數(shù)據(jù)存儲(chǔ)系統(tǒng)參考架構(gòu) ? Google GFS
? Facebook Haystack
? Amazon Dynamo
? Yahoo PNUTS
? Google BigTable
云存儲(chǔ)服務(wù) ? 亞馬遜S3
? 谷歌開發(fā)者存儲(chǔ)
