 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上?！浚和瑵髮W(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
day01- spark綜述 spark簡介
spark應用場景介紹
spark軟件棧和生態體系
spark架構設計解析
RDD計算流程解析
spark出色的容錯機制
spark和hadoop、storm等分布式框架之間的比較
spark運行模式及其原理 spark運行模式概述
local模式
standalone模式
local cluster模式
yarn-client/yarn-cluster模式
mesos模式
day01- spark最佳編程語言scala scala介紹
scala基本語法
scala高級函數
scala集合操作
scala的RPC框架AKKA
day02- spark核心編程模型 RDD基礎，RDD分區，RDD數據本地性...
RDD操作，action，transformation，lazy特性
RDD簡單編程示例
RDD常見的transformation操作示例
RDD常見的action操作示例
spark編程案例——手機用戶日常活動地點分析
spark集群及運行時系統中各角色詳解
day02- spark內核深入 spark的任務調度基本概念
RDD的Lineage
Cache和checkpoint
寬依賴和窄依賴及Stage的劃分
DAGScheduler，TaskScheduler，task核心機制詳解
spark shuffle機制
shuffle機制性能分析
廣播變量的機制和應用
累加器的機制和應用
spark作業提交和接收過程
day03- sparksql sparksql基本概念，架構介紹
sparksql與hive等的性能對比
sparksql的使用方式，sql-shell，thriftserver，jdbc
sparksql中核心數據結構DataFrame
sparksql應用示例，各種查詢例子
sparksql支持的外部數據源，hive，parquet，json等
sparksql查詢hbase數據，自定義數據源，華為工具Astro
day03- spark streaming spark streaming基本概念，架構介紹
spark streaming核心數據結構Dstream
transformation轉換操作，無狀態轉換，有狀態轉換
spark streaming支持的各類輸入源，比如文件，socket，kafka
spark streaming的容錯機制
checkpoint
spark streaming編程案例
spark streaming的性能考量，比如批次和窗口大小，并行度
day04- spark機器學習 機器學習概念介紹
機器學習的應用場景
應用機器學習的完整流程介紹
spark mllib介紹
spark mllib架構解析
MLlib經典算法解析和案例：K-Means解析和實戰
day04- spark性能優化 spark性能調優總數
spark調優：內存配置相關
spark調優：GC相關
spark重要調優參數總結
spark在實戰中的遇到過的那些“坑”
spark graphx 圖計算概念介紹
spark graphx架構解析
spark graphx編程模型
spark graphx應用示例 |
|
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
