Datawhale-零基础入门数据挖掘 - 二手车交易价格预测-- 赛题理解与数据分析(EDA)

Datawhale-零基础入门数据挖掘 - 二手车交易价格预测-- 赛题理解与数据分析(EDA)

一、赛题理解

这里转载自杨煜队伍的分享的思维导图：

二、数据探索性分析(EDA)

2.1 介绍（摘自AI蜗牛车的Task2 数据分析）

数据探索在机器学习中我们一般称为EDA（Exploratory Data Analysis）：

是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。

数据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。

1)对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时许问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”符号等），特征的均值方差情况。

2)分析记录某些特征值缺失占比30%以上样本的缺失处理，有助于后续的模型验证和调节，分析特征应该是填充（填充方式是什么，均值填充，0填充，众数填充等），还是舍去，还是先做样本分类用不同的特征模型去预测。

3)对于异常值做专门的分析，分析特征异常的label是否为异常值（或者偏离均值较远或者事特殊符号）,异常值是否应该剔除，还是用正常值填充，是记录异常，还是机器本身异常等。

4)对于Label做专门的分析，分析标签的分布情况等。

5)进步分析可以通过对特征作图，特征和label联合做图（统计图，离散图），直观了解特征的分布情况，通过这一步也可以发现数据之中的一些异常值等，通过箱型图分析一些特征值的偏离情况，对于特征和特征联合作图，对于特征和label联合作图，分析其中的一些关联性。

2.2 本次比赛EDA过程的思维导图

1)我自己做得对AI蜗牛车大佬的针对该比赛的EDA过程的思维导图：

2)转载自杨煜队伍关于直播中EDA部分分享的思维导图：