Datawhale零基础入门数据挖掘-Task2数据分析笔记

- 笔记

脑图:

2.1 EDA目标

EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。

当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。

引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。

完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。

2.2 代码示例(带注释)

#### 1.载入各种数据科学以及可视化库 ####
import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

#### 2.载入数据 ####
## 1) 载入训练集和测试集；
path = './datalab/231784/'
Train_data = pd.read_csv(path+'used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv(path+'used_car_testA_20200313.csv', sep=' ')

## 2) 简略观察数据(head()+shape)
Train_data.head().append(Train_data.tail()) #观察数据头尾
Train_data.shape #观察形状

## 小tips: 要养成看数据集的head()以及shape的习惯，这会让你每一步更放心，导致接下里的连串的错误, 如果对自己的pandas等操作不放心，建议执行一步看一下，这样会有效的方便你进行理解函数并进行操作

#### 3.总览数据概况 ####
## 1) 通过describe()来熟悉数据的相关统计量
Train_data.describe()

## 小tips: describe种有每列的统计量，个数count、平均值mean、方差std、最小值min、中位数25% 50% 75% 、以及最大值 看这个信息主要是瞬间掌握数据的大概的范围以及每个值的异常值的判断，比如有的时候会发现999 9999 -1 等值这些其实都是nan的另外一种表达方式，有的时候需要注意下;info 通过info来了解数据每列的type，有助于了解是否存在除了nan以外的特殊符号异常

## 2) 通过info()来熟悉数据类型
Train_data.info()
#
#RangeIndex: 150000 entries, 0 to 149999
#Data columns (total 31 columns):
#SaleID               150000 non-null int64
#name                 150000 non-null int64
#regDate              150000 non-null int64
# ... ... ...
#gearbox              144019 non-null float64
#v_12                 150000 non-null float64
#v_13                 150000 non-null float64
#v_14                 150000 non-null float64
#dtypes: float64(20), int64(10), object(1)
#memory usage: 35.5+ MB

#### 3.判断数据缺失和异常 ####
## 1) 查看每列的存在nan情况
Train_data.isnull().sum()
# SaleID                  0
# name                    0
# regDate                 0
# model                   1
# brand                   0
# bodyType             4506
# fuelType             8680
# gearbox              5981
# ... ... ...

## 2) nan可视化
missing = Train_data.isnull().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar()

## 小tips:通过以上两句可以很直观的了解哪些列存在 “nan”, 并可以把nan的个数打印，主要的目的在于 nan存在的个数是否真的很大，如果很小一般选择填充，如果使用lgb等树模型可以直接空缺，让树自己去优化，但如果nan存在的过多、可以考虑删掉

## 3) 可视化下看缺省值
msno.matrix(Train_data.sample(250))
msno.bar(Train_data.sample(1000))

## 4) 查看异常值检测
Train_data.info()

# 
# RangeIndex: 150000 entries, 0 to 149999
# Data columns (total 31 columns):
# SaleID               150000 non-null int64
# name                 150000 non-null int64
# regDate              150000 non-null int64
# model                149999 non-null float64
# brand                150000 non-null int64
# bodyType             145494 non-null float64
# fuelType             141320 non-null float64
# gearbox              144019 non-null float64
# power                150000 non-null int64
# kilometer            150000 non-null float64
# notRepairedDamage    150000 non-null object
# regionCode           150000 non-null int64
# seller               150000 non-null int64

#可以发现除了notRepairedDamage 为object类型其他都为数字
Train_data['notRepairedDamage'].value_counts()
#0.0    111361
# -       24324
# 1.0     14315
# Name: notRepairedDamage, dtype: int64

#可以看出来‘ - ’也为空缺值，因为很多模型对nan有直接的处理，这里我们先不做处理，先替换成nan
Train_data['notRepairedDamage'].replace('-', np.nan, inplace=True)
Train_data['notRepairedDamage'].value_counts()

#以下两个类别特征严重倾斜，一般不会对预测有什么帮助，故这边先删掉，当然你也可以继续挖掘，但是一般意义不大
Train_data["seller"].value_counts()
Train_data["offerType"].value_counts()

#删除类别特征严重倾斜的数据,一般对预测没什么帮助
del Train_data["seller"]
del Train_data["offerType"]
del Test_data["seller"]
del Test_data["offerType"]

## 5) 了解预测值的分布
Train_data['price']
Train_data['price'].value_counts()

## 1) 总体分布概况（无界约翰逊分布等）
import scipy.stats as st
y = Train_data['price']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)
#结果显示价格不服从正态分布，所以在进行回归之前，它必须进行转换。虽然对数变换做得很好，但最佳拟合是无界约翰逊分布

## 2) 查看skewness and kurtosis
sns.distplot(Train_data['price']);
print("Skewness: %f" % Train_data['price'].skew())
print("Kurtosis: %f" % Train_data['price'].kurt())

Train_data.skew(), Train_data.kurt()
sns.distplot(Train_data.skew(),color='blue',axlabel ='Skewness')
sns.distplot(Train_data.kurt(),color='orange',axlabel ='Kurtness')

## 3) 查看预测值的具体频数
plt.hist(Train_data['price'], orientation = 'vertical',histtype = 'bar', color ='red')
plt.show()

#查看频数, 大于20000得值极少，其实这里也可以把这些当作特殊得值（异常值）直接用填充或者删掉，再前面进行
# log变换 z之后的分布较均匀，可以进行log变换进行预测，这也是预测问题常用的trick
plt.hist(np.log(Train_data['price']), orientation = 'vertical',histtype = 'bar', color ='red') 
plt.show()

未完待续…