【C++】使用箱线图算法剔除数据样本中的异常值

目录

一、箱线图算法介绍

二、五数概括计算解释

三、四分位距（IQR）与异常值判定

四、箱线图在数据处理中的应用

1. 异常值检测

2. 数据分布比较

3. 偏态与离散程度分析

4. 非参数数据展示

五、箱线图的局限性

六、代码实现及注释

七、如果这篇文章能帮助到你，请点个赞鼓励一下吧ξ( ✿＞◡❛)~

---

一、箱线图算法介绍

        箱线图（Boxplot）是一种基于统计学的数据可视化和数据处理工具，箱线图假设数据样本服从正态分布，通过五数概括（最小值、第一四分位数Q1、中位数Q2、第三四分位数Q3、最大值）可以进行数据统计分布和异常值检测规则。

二、五数概括计算解释

• 最小值（Min）：数据集中的最小值。
• 第一四分位数（Q1）：数据排序后第25%位置的值，即25%的数据小于等于Q1。
• 中位数（Q2）：数据排序后第50%位置的值，即50%的数据小于等于Q2。
• 第三四分位数（Q3）：数据排序后第75%位置的值，即75%的数据小于等于Q3。
• 最大值（Max）：数据集中的最大值。

三、四分位距（IQR）与异常值判定

• IQR = Q3 - Q1：表示中间50%数据的分布范围。
• 异常值判定规则：
  • 温和异常值（Mild Outliers）：位于 Q1 - 1.5×IQR 和 Q3 + 1.5×IQR 之外的数据点。
  • 极端异常值（Extreme Outliers）：位于 Q1 - 3×IQR 和 Q3 + 3×IQR 之外的数据点。

四、箱线图在数据处理中的应用

1. 异常值检测

• 优势：假设数据服从正态分布，直接通过四分位数和IQR识别异常值。
• 场景：
  • 数据清洗：剔除或修正异常值（如传感器故障导致的极端值）。
  • 质量控制：监测生产流程中的异常波动（如某批次产品的重量异常）。

2. 数据分布比较

• 多组对比：通过并列箱线图比较不同类别或时间段的数据分布。
• 场景：
  • 学生成绩分析：比较不同班级或学科的分数分布（如数学成绩分布分散，语文成绩集中）。
  • 薪资差异分析：对比不同地区或部门的员工薪酬水平（如北京地区中位数高于西安）。

3. 偏态与离散程度分析

• 偏态判断：
  • 若中位数接近Q1，数据右偏（长尾在右侧）。
  • 若中位数接近Q3，数据左偏（长尾在左侧）。
• 离散程度判断：
  • IQR较小：数据集中（如标准化考试成绩）。
  • IQR较大：数据分散（如用户购买金额差异大）。
• 场景：分析用户行为数据时，若某功能的使用时长分布右偏，可能表明部分用户过度依赖该功能。

4. 非参数数据展示

• 适用场景：无需假设数据分布形态，适用于非正态分布数据。
• 优势：相比直方图或密度图，箱线图更简洁，适合多组数据对比。

案例：医学研究中，比较不同药物治疗组的疗效数据（非正态分布），箱线图能直观显示组间差异。

五、箱线图的局限性

        1、无法显示具体分布形态：如双峰分布或复杂分布模式无法用箱线图表示。

        2、只能处理符合正态分布的样本数据。

        3、小样本敏感性：样本量过小时，四分位数和异常值判定可能不稳定。

       4、依赖经验阈值：1.5×IQR和3×IQR的异常值判定规则是经验性标准，需结合业务背景调整。

六、代码实现及注释

#include 
using namespace std;

typedef short int16_t;		//int16_t为嵌入式环境下变量定义关键字
typedef bool  bool_t;		

void Quick_Sort(float q[], int16_t l, int16_t r, bool_t order);					//快速排序函数前置声明

void Box_Plot(float data[], int count, float &value_Min, float &value_Max);		//箱线图算法前置声明

int main() {
    float a[] = {0.1, 0.5, 0.8, 0.86, 0.88, 0.89, 0.90};		//模拟数组样本
    float value_Min; 				//定义箱线图算法的异常数值下阈值
	float value_Max;				//定义箱线图算法的异常数值上阈值
    Box_Plot(a, 7, value_Min, value_Max);		//调用箱线图算法，计算数据样本中的上下异常阈值
	
	//计算 value_Min 和 value_Max 之后，可以在后续设计中进行数据滤波
	
    cout<= right)	//递归结束条件
        return;
    int16_t i = left , j = right;
    float x = data[(i+j)>>1];
    while (i < j) {
        if (order == 1) {
            while (data[i] <= x) i++;  //正序：由小到大
            while (data[j] > x) j--;
        } else {
            while (data[i] >= x) i++;  //逆序：由大到小
            while (data[j] < x) j--;
        }

        if (i < j) {					//交换数据位置
            float swap = data[i];
            data[i] = data[j];
            data[j] = swap;
        }
    }
	//递归调用
    Quick_Sort(data, left, j-1, order), Quick_Sort(data, j + 1, right, order);
}

七、如果这篇文章能帮助到你，请点个赞鼓励一下吧ξ( ✿＞◡❛)~