【课堂笔记】最优分类器

问题背景

  假设输入$X$和标签$Y$符合某联合分布$(X,Y)\sim \mathcal{D}$，其中$X\in \mathcal{X}$(输入空间)，$Y\in \mathcal{Y}=\{1,-1\}$(二分类问题)
  采用0-1损失作为损失函数：$l(y,y^{\prime })=1_{y\ne y^{\prime }}$
  真分险：对于分类器$f:\mathcal{X}\to \mathcal{Y}$，真分险定义为期望误差：

$L_{\mathcal{D}}(f)={\mathbb{E}}_{(X,Y)\sim \mathcal{D}}[l(Y,f(X))]={\mathbb{E}}_{(X,Y)\sim \mathcal{D}}[1_{Y\ne f(X)}]$

  目标是找到一个分类器$f^{\ast }$使得$L_{\mathcal{D}}(f^{\ast })$最小。

最优分类器

  贝叶斯分类器定义为：对于每一个输入$x$，贝叶斯分类器选择后验概率最大的标签，称为最大后验概率（MAP）规则

$f^{\ast }(x)=arg\underset{y\in \{1,-1\}}{\max }Pr(Y=y|X=x)$

  我们要证明贝叶斯分类器的最优性

Claim 1:

  如果$f^{\ast }(x)$在每个$x$上最小化条件错误概率，则$f^{\ast }$全局最小化真分险。

$\forall \mathbf{x}\in \mathcal{X},f^{\ast }(\mathbf{x})\in \arg {\min }_{y\in \mathcal{Y}}\mathrm{Pr}(Y\ne y\mid X=\mathbf{x})⟹f^{\ast }\in \arg {\min }_f{L}_{\mathcal{D}}(f)$

证明：
  使用期望的全概率公式，将联合分布拆分为$X$的边缘分布和给定$X$的条件分布：

$L_{\mathcal{D}}(f)={\mathbb{E}}_{(X,Y)\sim \mathcal{D}}[1_{Y\ne f(X)}]={\mathbb{E}}_X[{\mathbb{E}}_{Y|X}[1_{Y\ne f(X)}|X]]$

  其中内层期望${\mathbb{E}}_{Y|X}[1_{Y\ne f(X)}|X]$是给定$X=x$时预测错误的概率。

${\mathbb{E}}_{Y|X}[1_{Y\ne f(X)}|X]=Pr(Y\ne f(x)|X=x)$
 
$L_{\mathcal{D}}(f)={\mathbb{E}}_X[Pr(Y\ne f(X)|X)]$

  由贝叶斯分类器的定义，$\forall x\in \mathcal{X},f^{\ast }(x)\in arg\underset{y\in \mathcal{Y}}{\min }Pr(Y\ne y|X=x)$，则对任意分类器$f$，有：

$Pr(Y\ne f^{\ast }(x)|X=x)\le Pr(Y\ne f(x)|X=x)$

  于是$L_{\mathcal{D}}(f^{\ast })\le L_{\mathcal{D}}(f)$，这表明$f^{\ast }$的真分险小于等于任意分类器$f$的真分险，因此

$f^{\ast }\in arg\underset{f}{\min }{L}_{\mathcal{D}}(f)$

Claim 2

  $f^{\ast }(x)$等价于最大化后验概率和最小化条件错误概率，即：

$f^{\ast }(\mathbf{x})\in \arg {\max }_{y\in \mathcal{Y}}\mathrm{Pr}(Y=y\mid X=\mathbf{x})⟺f^{\ast }(\mathbf{x})\in \arg {\min }_{y\in \mathcal{Y}}\mathrm{Pr}(Y\ne y\mid X=\mathbf{x})$

  在二分类任务中是显然的。

结论

  Claim2证明了贝叶斯分类器$f^{\ast }(x)$的定义（最大化后验概率）等价于局部最优（最小化每个$x$的条件错误概率）
  Claim1将局部最优性推广到全局，证明$f^{\ast }$的真风险是最小的。
  $L_{\mathcal{D}}(f^{\ast })={\mathbb{E}}_X[\underset{y}{\min }Pr(Y\ne y|X)]$被称为贝叶斯风险，是理论上的最小可能错误率。它反应了分布$\mathcal{D}$本身的不确定性
  如果$\mathcal{D}$已知，$f^{\ast }$可直接计算，但在现实中需要估计$Pr(Y|X)$，例如使用逻辑回归等方法逼近。