曙海教育集團
全國報名免費熱線:4008699035 微信:shuhaipeixun
或15921673576(微信同號) QQ:1299983702
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
 
Hadoop、spark和NoSQL大數據實戰培訓
 
   班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號)
       每期人數限3到5人。
   上課時間和地點
開課地址:【上?!客瑵髮W(滬西)/新城金郡商務樓(11號線白銀路站)【深圳分部】:電影大廈(地鐵一號線大劇院站) 【武漢分部】:佳源大廈【成都分部】:領館區1號【沈陽分部】:沈陽理工大學【鄭州分部】:錦華大廈【石家莊分部】:瑞景大廈【北京分部】:北京中山學院 【南京分部】:金港大廈
最新開班 (連續班 、周末班、晚班):2020年3月16日
   實驗設備
     ☆資深工程師授課
        
        ☆注重質量 ☆邊講邊練

        ☆合格學員免費推薦工作
        ★實驗設備請點擊這兒查看★
   質量保障

        1、培訓過程中,如有部分內容理解不透或消化不好,可免費在以后培訓班中重聽;
        2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
        3、培訓合格學員可享受免費推薦就業機會。

課程大綱
 

 

大數據在國內的運用 1、大數據在國內的使用介紹
2、離線計算框架介紹
3、流式計算框架介紹
4、內存計算框架介紹
5、內存流式計算介紹
大數據的整體技術架構 1、開源大數據技術架構
2、開源大數據常用組件之間的依賴關系
3、離線計算框架介紹
—Mapreduce、Hive、Tez、Presto、Kylin
4、實時查詢框架介紹
—NoSQL、Hbase
5、實時計算框架介紹
—Kafka、Strom、Spark Streaming
6、內存計算框架介紹
—Spark、SparkSQL、SparkMllib、SparkR
7、前沿大數據技術介紹
—Flink、Drill、Druid、KUDU等
8、海量日志快速檢索架構
—ELK(Elasticsearch、Logstash、Kibana)等
Hadoop平臺優化點 1、Linux系統的優化
2、最佳硬件的選擇和建議
3、HDFS架構和原理
4、HDFS的優化、維護和經常出現的問題
5、MapReduce架構和原理
6、MapReduce的優化、維護和經常出現的問題
7、Yarn的內存、CPU和IO的優化
8、Hbase的優化和生產環境常見的問題
9、Hive的優化和Hive的改進工具介紹
10、Impala、Kylin、Presto工具介紹
11、RCFile、ORC和parquet格式介紹
Hadoop核心組件的運維和配置 1、HDFS的元數據管理
2、FSimage和Edit文件解析
3、手動修改FSimage和Edit文件
4、HDFS HA的架構運維解析
5、Yarn服務運維詳解
6、Yarn核心配置參數的詳解
7、Hbase服務運維詳解
8、手動設置Split和Compaction操作
9、RS宕機的運維處理
10、Hbase 超大表的優化實踐
Yarn實戰 1、Yarn架構和原理
2、ResourceManager工作原理
3、NodeManager工作原理
4、ApplicationMaster工作原理
5、Yarn的資源控制機制
6、基于內存的控制設置
7、基于CPU的控制設置
8、基于IO的控制這是
9、Yarn為某個運用獨立分配資
10、基于隊列的資源管理配置
11、基于底層硬件的SLA資源配置
12、不同部門或者用戶的資源配置
NoSQL和Hbase使用 1、NoSQL介紹
2、NoSQL應用場景
3、Hbase原理
4、Hmaster詳解
5、RegionServer詳解
6、Zookeeper介紹
7、Hbase安裝
8、Hbase邏輯視圖介紹
9、Hbase物理視圖介紹
10、Hbase的二級索引介紹
11、Hbase 的DDL和DML
12、Hbase表的設計案例
13、Hbase的import功能介紹
14、MapReduce操作Hbase
15、Hbase的 thrift Server介紹
16、Hbase 的API介紹
17、Hbase使用場景介紹
18、Hbase案例分析
實戰:
19、MapReduce操作Hbase實戰
20、Hbase的API實戰
21、Hbase表結構設計實戰
22、銀行信用卡刷卡記錄的查詢
Spark Streaming原理和實踐 1、Spark Streaming原理
1.Spark流式處理架構
2.DStream的特點
3.Dstream的操作和RDD的區別
4.SatefulRDD和windowRDD實戰
5.Kafka+Spark Steaming實戰
6.Spark Streaming的優化
2、Kafka+Spark Streaming實例
-文本實例
3、網絡數據處理
Spark SQL原理和實踐 1、Spark SQL原理
1)Spark SQL的Catalyst優化器
2)Spark SQL內核
3)Spark SQL和Hive
2、DataFrame和DataSet架構
3、Fataframe、DataSet和Spark SQL的比較
4、SparkSQL parquet格式實戰
5、Spark SQL的實例和編程
-Spark SQL的實例操作demo
6、Spark SQL的編程
Spark優化 1、Spark SQL的優化
2、基于Spark計算的文件格式選擇
3、Spark on Yarn的優化
4、Spark SQL執行計劃的優化
5、Spark 內存管理的機制
互聯網大數據案例分享 1、金融大數據應用案例介紹
2、某銀行基于大數據平臺風險監控案例
3、某銀行基于大數據數據湖的案例
4、SAP的HANA實時計算平臺案例分析

 
 
  備案號:備案號:滬ICP備08026168號-1 .(2024年07月24日)....................
a日韩av网址