异常检测：箱形图以及python实践

最近项目中有用到异常检测的部分，这里介绍一种很简单很方便的方法——箱线图

箱形图：从字面上理解就是箱子的图，如下图：

箱形图有5个参数： 
下边缘（Q1），表示最小值； 
下四分位数（Q2），又称“第一四分位数”，等于该样本中所有数值由小到大排列后第25%的数字； 
中位数（Q3），又称“第二四分位数”等于该样本中所有数值由小到大排列后第50%的数字； 
上四分位数（Q4），又称“第三四分位数”等于该样本中所有数值由小到大排列后第75%的数字； 
上边缘（Q5），表述最大值。 
第三四分位数与第一四分位数的差距又称四分位间距。
 

举例理解：

.

从这图我们可以很直观地看出以下信息： 
1.各科成绩中，英语和西方经济学的平均成绩比较高，而统计学和基础会计学的平均成绩比较低。（用中位数来衡量整体情况比较稳定）

2.英语、市场营销学、西方经济学、计算机应用基础和财务管理成绩分布比较集中，因为箱子比较短。而经济数学、基础会计学和统计学成绩比较分散，我们可以对照考试成绩数据看看也可以证实。

3.从各个箱形图的中位数和上下四位数的间距也可以看出，英语和市场营销学的成绩分布是非常的对称，而统计学呢？非常的不平衡，大部分数据都分布在70到85(中位数到上四分位数)分以上。同样，也可以从成绩单里的数据证实

4.在计算机应用基础对应的箱形图出现了个异常点，我们回去看看成绩单，计算机那一栏，出现了个计算机大牛（真希望是我），考了95分，比第二名多了10分。而其他同学的成绩整体在80分左右。

5。其实我们也可以从中得知，用平均值去衡量整体的情况有时很不合理，用中位数比较稳定，因为中位数不太会收到极值的影响，而平均值则受极值的影响很大。

 

箱型图有个功能就是可以检测这组数据是否存在异常值。异常值在哪里呢？就是在上边缘和下边缘的范围之外，这里提供python代码，目的是绘制箱线图查看异常点：

import pandas as pd

catering_sale = 'Result.csv' #餐饮数据
data = pd.read_csv(catering_sale, index_col = 'ds') #读取数据，指定“日期”列为索引列

import matplotlib.pyplot as plt #导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

plt.figure() #建立图像
p = data.boxplot() #画箱线图，直接使用DataFrame的方法
plt.show() #展示箱线图

可以看到异常点都超出了上限，而低于下限的没有

可以进一步获取具体数值

data = data[data['y'] < 3000000] #过滤异常数据
statistics = data.describe() #保存基本统计量

statistics.loc['range'] = statistics.loc['max']-statistics.loc['min'] #极差
statistics.loc['var'] = statistics.loc['std']/statistics.loc['mean'] #变异系数
statistics.loc['dis'] = statistics.loc['75%']-statistics.loc['25%'] #四分位数间距

print(statistics)

如果要获取异常值具体的值和index可以用以下代码：

p=data.boxplot(return_type='dict')
x=p['fliers'][0].get_xdata()
y=p['fliers'][0].get_ydata()
y.sort()
result = data[data['y']>=y[0]].index.tolist()
print(result)

注意这里要加return_type='dict',否则会报错：TypeError: 'AxesSubplot' object is not subscriptable