雷顿学院大数据课程大纲（待完善）

大数据培训，选择 雷顿学院 https://leidun.ke.qq.com/?tuin=12bc066a

linux基础教程

1. 初识Linux

1. Linux的历史

2. Linux的特点和企业中的地位

3. Linux的发行版本

2. Linux环境配置

1. 安装与使用VirtualBox虚拟机

2. 磁盘分区

3. 安装Linux前的规划

4. 安装操作系统Ubuntu

5. 系统安装后的基本配置

3. Linux的使用

2. SSH远程登录

3. 常用Linux命令行命令使用(一)

4. 常用Linux命令行命令使用(二)

5. 使用vim

6. 文件目录管理

7. 软件包管理

8. 磁盘管理

9. 用户与用户组管理

10. 进程管理

11. 系统管理

12. 网络工具

15. 学习Zsh

4. 项目练习

1. Python环境搭建

2. 安装MySQL数据库和Python驱动

3. Python应用服务器

4. Web服务器Nginx

5. java安装

mysql课程

hadoop课程

java 安装

hadoop下载解压

hadoop相关配置

hadoop启动

安装过程中常见错误

map reduce wordcount程序编写

hdfs命令

hdfs 构架设计

Hdfs 权限指南

hdfs命令

Fs shell 使用

Distcp使用

Map redece教程

Hadoop streaming讲解

Hive课程

第1章：Hive基本架构及环境部署

1.MapReduce分析与SQL分析对比

2.Hive的介绍及其发展

3.Hive的安装部署及启动

4.Hive的基本架构讲解

5.安装MySQL作为元数据库存储

6.配置Hive使用MySQL作为元数据库存储

7.Hive中基本命令的使用

8.Hive中常用的属性配置

9.Hive中常用的交互式命令

10Hive中数据库的管理与使用

11.Hive中表的管理与使用

12.Hive中外部表的使用

第2章：Hive 常用DML、UDF及连接方式

13.Hive中分区表的介绍

14.Hive中分区表的创建及使用

15.Hive中数据导入的6种方式及其应用场景

16.Hive中数据导出的4种方式及表的导入导出

17.Hive中HQL的基本语法（一）

18.Hive中HQL的基本语法（二）

19.Hive中order by、sort by、distribute by与cluster by的使用

20.Hive中分析函数与窗口函数

21.Hive中UDF的介绍

22.Hive中使用自定义UDF实现日期格式转换

23. HiveServer2的介绍及三种连接方式

24.Hive元数据、fetch task和严格模式的介绍

Python课程

第一章 python基础

python简介

环境搭建

中文编码

基础语法

变量类型和运算符

条件语句和循环语句

While 和for语句

循环嵌套

Break continue pass语句

字符串

列表 元祖和字典

日期和时间

函数

模块

文件操作

异常处理

第二章 python高级

面向对象

正则表达式

cgi网页编程

链接使用mysql

多线程与多进程

json和xml

python爬虫

第三章 flask 教程

…..

Spark课程

第1章 Spark的设计与运行原理

1.1 Spark简介

1.2 Spark运行架构

1.3 RDD的设计与运行原理

1.4 Spark的部署模式

第2章 Spark的安装与使用

2.1 Spark的安装和使用

2.2 第一个Spark应用程序：WordCount

2.3 使用开发工具Visual Studio Code 编写Spark应用程序

2.4 Spark集群环境搭建

2.5 在集群上运行Spark应用程序

第3章 Spark编程基础

3.1 Spark入门：RDD编程

3.2 Spark入门：键值对RDD

3.3 Spark入门：共享变量

3.4 数据读写

3.4.1 Spark入门：文件数据读写

3.4.2 读写HBase数据

第四章

4.1 Spark SQL简介

4.2 DataFrame与RDD的区别

4.3 DataFrame的创建

4.4 从RDD转换得到DataFrame

[第4.5节 读取和保存数据]

4.5.1 读写Parquet(DataFrame)

4.5.2 通过JDBC连接数据库(DataFrame)

4.5.3 连接Hive读写数据

第5章 Spark Streaming

5.1 流计算简介

5.2 Spark Streaming简介

第5.3节 DStream操作

5.3.1 DStream操作概述

第5.3.2节 输入源

第5.3.2.1节 基本输入源

5.3.2.1.1 文件流

5.3.2.1.2 套接字流

5.3.2.1.3 RDD队列流

第5.3.2.2节 高级数据源

5.3.2.2.1 Apache Kafka

5.3.2.2.2 Apache Flume

5.3.3 转换操作

5.3.4 输出操作

第6章 Spark MLlib

6.1 Spark MLlib简介

6.2 机器学习工作流

6.2.1 机器学习工作流(ML Pipelines)

6.2.2 构建一个机器学习工作流

6.3 特征抽取、转化和选择

6.3.1 特征抽取：TF-IDF

6.3.2 特征抽取：Word2Vec

6.3.3 特征抽取：CountVectorizer

6.3.4 特征变换：标签和索引的转化

6.3.5 特征选取：卡方选择器

6.4 分类与回归

6.4.1 逻辑斯蒂回归分类器

6.4.2 决策树分类器

6.5 聚类算法

6.5.1 KMeans聚类算法

6.5.2 高斯混合模型(GMM)聚类算法

6.6 推荐算法

6.6.1 协同过滤算法

6.7 机器学习参数调优

6.7.1 模型选择和超参数调整