七月在线Spark大数据实战班

课程大纲

第一阶段：大数据spark入门介绍

第一课：大数据入门概述

知识点1： 大数据技术发展史

知识点2： 大数据的应用以及未来

知识点3： hadoop生态圈介绍

知识点4： hadoop框架演变与发展

知识点5： 大数据存储系统hdfs原理解析

知识点6： map-reduce原理解析

知识点7： 分布式资源管理yarn原理解析

实战项目： 基于yarn的mr作业开发实战

第二课：spark技术栈发展概述

知识点1： spark的前世今生

知识点2： spark1.X 技术栈概述

知识点3： spark2.4 技术栈概述

知识点4： spark3.0以及未来的展望

知识点5： spark在大公司的应用

实战项目： 运行一个spark程序

第三课：spark应用开发与API介绍

知识点1： spark 核心概念讲解

知识点2： rdd的分区与依赖

知识点3： rdd API中的transformation讲解

知识点4： rdd API中的action讲解

实战项目： 使用spark rdd进行日志数据分析

第二阶段：spark原理剖析和应用调优

第四课：spark运行模式及原理

知识点1： spark运行模式

知识点2： spark执行过程讲解

知识点3： spark rdd内部原理详解

知识点4： spark广播变量与累加器讲解

实战项目： 利用广播变量实现推荐系统中的用户信息编码

第五课：spark集群应用与优化分析

知识点1： spark web ui讲解

知识点2： spark应用监控与分析

知识点3： spark history server原理剖析

知识点4： spark metrics 监控

实战项目： spark history server搭建部署

实战项目： 从监控入手进行日志查错与优化

第六课：spark core核心讲解

知识点1： spark shuffle三种模式详解

知识点2： spark内存管理剖析

知识点3： spark应用资源管理

知识点4： spark rdd存储管理

实战项目： 重构并优化现有的spark应用

第七课：spark性能调优

知识点1： spark开发调优

知识点2： spark资源调优

知识点3： spark数据倾斜调优

知识点4： spark内存管理调优

实战项目： spark shuffle调优代码案例

第三阶段：spark即席查询与流式计算讲解

第八课：spark sql讲解

知识点1： spark sql 发展史

知识点2： spark sql 1.X 与 2.X

知识点3： spark sql 运行原理分析

知识点4： spark sql 逻辑计划原理讲解

知识点5： spark sql 物理计划原理讲解

知识点6： dataset与dataframe讲解

知识点7： spark sql 自定义注册函数udf开发

知识点8： spark thrift server讲解

实战项目： 基于spark sql 2.4.0 的王者荣耀英雄分析

第九课：流式计算简介及spark streaming

知识点1： spark streaming | storm | flink | structured streaming 全面对比

知识点2： 消息队列kafka，rocket mq实用解析

知识点3： spark streaming运行原理

知识点4： spark streaming高层抽象dstream

知识点5： structured streaming运行原理简介

实战项目： 代码实现实时日志数据读取与统计

第十课：实时计算平台（设计与实战）

知识点1： 实时大数据架构简介（kudu，druid，couchbase）

知识点2： 实时计算平台架构设计及选型方法

知识点3： 实时计算实践难点剖析，高qps及性能瓶颈分析

实战项目： 实时日志统计平台设计

第四阶段：spark图计算与机器学习高阶应用

第十一课：spark图计算讲解及mlib

知识点1： 属性图的介绍

知识点2： edge、vertex、triplet介绍与创建

知识点3： 属性图的操作

知识点4： 图算法介绍

知识点5： spark mlib介绍

实战项目： 图的调优

第十二课 推荐系统实战

知识点1： 推荐系统的场景，为什么需要推荐系统

知识点2： 推荐系统的流程简介

知识点3： 协同过滤推荐算法

知识点4： youtube推荐系统简介

实战项目： 基于spark mllib的协同过滤推荐

获取方式（备注Spark大数据）