数据挖掘——数据分析总结

数据挖掘——数据分析总结

1.在对数据进行分析的时候，需要首先载入各种数据科学和可视化库，利用这些库可以帮助我们更好的分析数据。常见的数据科学库有pandas,numpy,scipy，而常见的可视化库有matplotlib,seabon

2.拿到数据后的第一件事就是载入数据，分别载入训练集和测试集数据，载入数据后，可以通过head(),shape(),tail()等方式来初步观察数据。

3.初步观察数据后，可以通过describe()来查看数据的相关统计量，还可以通过info()来查看数据的类型。

4.通过对数据的观察和统计值的查看后，我们接着来判断数据是否有缺失值和异常值，查看每列的缺失值并检测异常值

5.接下来就是了解我们要预测的对象的分布情况，通过查看总体分布情况来了解skewness 和 kurtosis，看预测值是否服从正太分布，我们还可以查看预测值的具体频数

6.我们可以将特征分为数字特征和类别特征，并对类别特征查看起nunique分布

7.对于数字特征的分析我们可以查看其相关性系数，通过热力图来查看其相关性，还可以查看几个特征的偏度和峰值来了解分布情况，还可以对几个数字特征进行分布可视化和数字特征相互关系可视化以及多变量互相回归关系可视化来形象的观察和分析数据。

8.而对于类别特征的分析，我们除了可以查看其nunique分布情况外，还可以通过类别特征箱形图可视化、类别特征的小提琴图可视化、类别特征的柱状图可视化以及特征的每个类别频数可视化的方式来进行分析。

通过上述过程来对数据进行全面的观察和分析，为后续的特征工程奠定基础。