班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
每期人數限3到5人。 |
上課時間和地點 |
上課地點:【上海】:同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】:電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】:北京中山學院/福鑫大樓 【南京分部】:金港大廈(和燕路) 【武漢分部】:佳源大廈(高新二路) 【成都分部】:領館區1號(中和大道) 【沈陽分部】:沈陽理工大學/六宅臻品 【鄭州分部】:鄭州大學/錦華大廈 【石家莊分部】:河北科技大學/瑞景大廈 【廣州分部】:廣糧大廈 【西安分部】:協同大廈
最近開課時間(周末班/連續班/晚班):2020年3月16日 |
實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
質量保障 |
1、培訓過程中,如有部分內容理解不透或消化不好,可免費在以后培訓班中重聽;
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
|
- Hadoop企業級完整實戰培訓
?
Hadoop企業級完整實戰培訓
:HDFS&MapReduce&HBase&Hive&Zookeeper&Pig&Project)
培訓內容
第一部分
第1個主題:Hadoop三問(徹底理解Hadoop)
1、?Hadoop為什么是云計算分布式大數據的事實開源標準軟件框架?
2、Hadoop的具體是如何工作?
3、Hadoop的生態架構和每個模塊具體的功能是什么?
第2主題:徹底掌握HDFS(具備開發自己網盤的能力)
1、HDFS體系架構剖析
2、NameNode、DataNode、SecondaryNameNode架構
3、保證NodeName高可靠性最佳實踐
4、DataNode中Block劃分的原理和具體存儲方式
5、修改Namenode、DataNode數據存儲位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第3主題:徹底掌握HDFS(具備修改HDFS具體源碼實現的能力)
1、RPC架構剖析
2、源碼剖析Hadoop構建于RPC之上
3、源碼剖析HDFS的RPC實現
4、源碼剖析客戶端與與NameNode的RPC通信
第4個主題:徹底掌握MapReduce(從代碼的角度剖析MapReduce執行的具體過程并具備開發MapReduce代碼的能力)
1、MapReduce執行的經典步驟
2、wordcount運行過程解析
3、Mapper和Reducer剖析
4、自定義Writable
5、新舊API的區別以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行運行
第二部分
第1個主題:徹底掌握MapReduce(具備掌握Hadoop如何把HDFS文件轉化為Key-Value讓供Map調用的能力)
1、?Hadoop是如何把HDFS文件轉化為鍵值對的?
2、?源碼剖析Hadoop讀取HDFS文件并轉化為鍵值對的過程實現
3、?源碼剖析轉化為鍵值對后供Map調用的過程實現
第2個主題:徹底掌握MapReduce(具備掌握MapReduce內部運行和實現細節并改造MapReduce的能力)
1、?Hadoop內置計數器及如何自定義計數器
2、?Combiner具體的作用和使用以及其使用的限制條件
3、?Partitioner的使用最佳實踐
4、?Hadoop內置的排序算法剖析
5、?自定義排序算法
6、?Hadoop內置的分組算法
7、?自定義分組算法
8、?MapReduce常見場景和算法實現
第3個主題:實戰ZooKeeper(具備理解并通過命令行和Java兩種方式操作ZooKeeper的能力)
1、ZooKeeper架構剖析及集群搭建
2、使用命令行操作ZooKeeper
3、使用Java操作ZooKeeper
第4個主題:實戰HBase(具備掌握HBase企業級開發和管理的能力)
1、?HBase架構實現
2、?HBase的數據模型和存儲模型
3、?使用CLI操作HBase
4、?使用Java操作HBase
5、?使用MapReduce代碼向HBase中導入批量數據
第三部分
第1個主題:實戰Pig(具備掌握Pig企業級開發和管理的能力)
1、?Pig架構
2、?使用Pig操作數據的內幕
3、?使用Pig實例數據
第2個主題:實戰Hive(具備掌握Hive企業級開發和管理的能力)
1、?Hive架構剖析
2、?Hive在HDFS中存儲實現
3、?使用MySQL作為Hive的Metastore
4、?內部表、分區表、外部表、桶表
5、?視圖
6、?自定義Hive的函數
第3個主題:某知名電商Hadoop項目(具備掌握Hadoop完整項目的分析、開發、部署的全過程的能力)
通過電信商搜集用戶接打電話、上網等產生的日志對用戶的電話和網絡行為進行分析和監控,初步貫穿前面講解的主要內容,使大家熟悉Hadoop一個完整項目的分析、開發、部署的全過程。
?
?
"
|