一、Linux基礎 1)Linux的介紹,Linux的安裝:VMware Workstation虛擬軟件安裝過程、CentOS虛擬機安裝過程
2)了解機架服務器,采用真實機架服務器部署linux
3)Linux的常用命令:常用命令的介紹、常用命令的使用和練習
4)Linux系統進程管理基本原理及相關管理工具如ps、pkill、top、htop等的使用;
5)Linux啟動流程,運行級別詳解,chkconfig詳解
6)VI、VIM編輯器:VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵
7)Linux用戶和組賬戶管理:用戶的管理、組管理
8)Linux磁盤管理,lvm邏輯卷,nfs詳解
9)Linux系統文件權限管理:文件權限介紹、文件權限的操作
10)Linux的RPM軟件包管理:RPM包的介紹、RPM安裝、卸載等操作
11)yum命令,yum源搭建
12)Linux網絡:Linux網絡的介紹、Linux網絡的配置和維護
13)Shell編程:Shell的介紹、Shell腳本的編寫
14)Linux上常見軟件的安裝:安裝JDK、安裝Tomcat、安裝mysql,web項目部署
二、大型網站高并發處理 1)第四層負載均衡: 2)第七層負載均衡 3)Tomcat、jvm優化提高并發量 4)緩存優化
5)Lvs+nginx+tomcat+redis|memcache構建二層負載均衡千萬并發處理
6)Fastdfs小文件獨立存儲管理
三、初識hadoop 1)Hadoop生態環境介紹 2)國內外Hadoop應用案例介紹 3)Hadoop 概念、版本、歷史 4)Hadoop 核心組成介紹及hdfs、mapreduce 體系結構 5)Hadoop 的集群結構 6)Hadoop 偽分布的詳細安裝步驟 7)通過命令行和瀏覽器觀察hadoop
四、 HDFS體系結構和shell以及java操作 1)HDFS底層工作原理 2)HDFS datanode,namenode詳解 3)Hdfs shell 4)Hdfs java api
五、詳細講解Mapreduce 1)Mapreduce四個階段介紹 2)Writable 3)InputSplit和OutputSplit 4)Maptask 5)Shuffle:Sort,Partitioner,Group,Combiner 6)Reducer
六、Mapreduce案例案例 1)二次排序 2)倒排序索引 3)最優路徑 4)電信數據挖掘之--移動軌跡預測分析(中國棱鏡計劃) 5)社交好友推薦算法 6)互聯網精準廣告推送 算法 7)阿里巴巴天池大數據競賽 《天貓推薦算法》案例 8)Mapreduce實戰pagerank算法
七、Hadoop2.x集群搭建 1)Hadoop2.x集群結構體系介紹 2)Hadoop2.x集群搭建 3)NameNode的高可用性(HA) 4)HDFS Federation 5)ResourceManager 的高可用性(HA) 6)Hadoop集群常見問題和解決方法 7)Hadoop集群管理
八、分布式數據庫Hbase 1)HBase定義 2)HBase與RDBMS的對比 3)數據模型 4)系統架構 5)HBase上的MapReduce 6)表的設計 7)集群的搭建過程講解 8)集群的監控 9)集群的管理 10)HBase Shell以及演示 11)Hbase 樹形表設計 12)Hbase 一對多 和 多對多 表設計 13)Hbase 微博 案例 14)Hbase 訂單案例 15)Hbase表級優化 16)Hbase 寫數據優化 17)Hbase 讀數據優化
九、數據倉庫Hive 1)數據倉庫基礎知識 2)Hive定義 3)Hive體系結構簡介 4)Hive集群 5)客戶端簡介 6)HiveQL定義 7)HiveQL與SQL的比較 8)數據類型 9)外部表和分區表 10)ddl與CLI客戶端演示 11)dml與CLI客戶端演示 12)select與CLI客戶端演示 13)Operators 和 functions與CLI客戶端演示 14)Hive server2 與jdbc 15)用戶自定義函數(UDF 和 UDAF)的開發與演示 16)Hive 優化
十、elasticsearch分布式搜索 1)elasticsearch簡介 2)elasticsearch和solr的對比 3)elasticsearch安裝部署 4)elasticsearch service wrapper啟動插件 5)使用curl操作elasticsearch索引庫 6)elasticsearch DSL查詢 7)elasticsearch批量查詢meet 8)elasticsearch批量操作bulk 9)elasticsearch插件介紹 10)elasticsearch配置文件詳解 11)java操作elasticsearch 12)elasticsearch的分頁查詢 13)elasticsearch中文分詞工具的集成 14)elasticsearch優化 15)elasticsearch集群部署 16)elasticsearch+hbase大型搜索系統架構
十一、CM+CDH集群管理 1)CM + CDH集群的安裝 2)基于CM主機及各種服務組件的管理 3)CDH集群的配置和參數調優 4)CDH集群HA配置及集群升級 5)CM的監控管理 6)集群管理的注意事項 7)HUE實戰詳解
十二、 Impala 1)Impala介紹和架構 2)Impala實戰安裝,架構,外部shell 3)Impala內部shell,存儲分區,SQL 4)Impala SQL、hbase整合,JDBC、性能優化 5)Impala配置及其調優 6)Impala項目應用
十三、Oozie 1)Oozie入門介紹 2)Oozie安裝配置及其簡單操作 3)hPDL語言學習及流程定義 4)oozie工作流配置及元數據庫定義 5)oozie定時任務調度和oozie API操作
十四、數據遷移工具Sqoop 1)介紹 和 配置Sqoop 2)Sqoop shell使用 3)Sqoop-import 4)Sqoop-export
十五、Flume分布式日志框架 1)flume簡介-基礎知識 2)flume安裝與測試 3)flume部署方式 4)flume source相關配置及測試 5)flume sink相關配置及測試 6)flume selector 相關配置與案例分析 7)flume Sink Processors相關配置和案例分析 8)flume Interceptors相關配置和案例分析 9)flume AVRO Client開發 10)flume 和kafka 的整合
十六、Zookeeper 開發 1)zookeeper架構 2)zookeeper實戰環境 3)zookeeper內部算法詳解 4)Zookeeper java api開發 6)Zookeeper實現SOA高可用架構框架 7)Netty 異步io通信框架 8)Zookeeper實現netty分布式架構的高可用 9)Zookeeper分布式鎖實現
|