分布偏移 (Distribution Shift)

分布偏移 (Distribution Shift) 是指在机器学习中，模型在训练时所接触到的数据分布与模型在实际应用（测试或部署）时所遇到的数据分布存在差异的现象.

换句话说，模型学习的是一个特定的数据模式，但当它遇到与训练数据不同模式的新数据时，其性能可能会显著下降。

更正式地说:

假设我们用一个数据集 $D_{train}$ 来训练一个模型，这个数据集是从一个概率分布 $P_{train}(x,y)$ 中独立同分布 (i.i.d.) 采样得到的，其中 $x$ 是输入特征， $y$ 是对应的标签。我们期望训练好的模型在新的、未见过的数据 $D_{test}$ 上也能有良好的表现，而 $D_{test}$ 也是从一个概率分布 $P_{test}(x,y)$ 中采样得到的。

当 分布偏移 发生时，意味着：

$P_{train}(x,y)\ne P_{test}(x,y)$

即训练数据的联合概率分布与测试数据的联合概率分布不同。

分布偏移的类型:

分布偏移可以进一步细分为几种类型，最常见的包括：

• 协变量偏移 (Covariate Shift): 输入特征的分布发生了变化，但输入特征与输出标签之间的条件概率分布保持不变。

  • 数学表示：$P_{train}(x)\ne P_{test}(x)$，但 $P_{train}(y|x)=P_{test}(y|x)$。
  • 例子: 一个在白天拍摄的猫狗图片上训练的分类器，在夜间拍摄的猫狗图片上进行测试。虽然猫和狗的定义没有变，但图像的整体光照和特征分布发生了变化。

• 标签偏移 (Label Shift): 输出标签的分布发生了变化，但给定输出标签的输入特征的条件概率分布保持不变。

  • 数学表示：$P_{train}(y)\ne P_{test}(y)$，但 $P_{train}(x|y)=P_{test}(x|y)$。
  • 例子: 一个预测疾病发生率的模型，其训练数据是基于过去几年相对稳定的疾病分布。如果某种疾病突然爆发，导致测试数据中该疾病的比例显著增加，就会发生标签偏移。

• 概念漂移 (Concept Drift): 输入特征与输出标签之间的关系发生了变化，即使输入特征和输出标签的边缘分布可能保持不变。

  • 数学表示：$P_{train}(y|x)\ne P_{test}(y|x)$。
  • 例子: 一个预测房价的模型，其训练数据反映了过去的房地产市场趋势。如果经济环境发生重大变化，导致某些特征（如地理位置、房屋大小）对房价的影响方式发生改变，就会发生概念漂移。

• 联合分布偏移 (Joint Distribution Shift): 这是最一般的情况，即输入特征的分布和输入特征与输出标签之间的条件概率分布都发生了变化。

  • 数学表示：$P_{train}(x,y)\ne P_{test}(x,y)$。

为什么分布偏移很重要？

• 模型性能下降: 当模型在与训练数据不同的数据上进行预测时，其泛化能力会受到严重影响，导致准确率、精确率、召回率等性能指标显著下降。
• 模型可靠性问题: 在实际应用中，数据分布往往是动态变化的。如果模型没有考虑到这种变化，可能会在关键时刻给出错误的预测，导致严重的后果，尤其是在医疗、金融、自动驾驶等高风险领域。
• 评估偏差: 如果我们仅仅在与训练数据相似的测试集上评估模型，可能会高估模型在真实世界中的性能。