第二章：12.3 建立表现基准

背景介绍

语音识别是一种常见的机器学习应用，用户通过语音输入代替键盘输入，系统需要将语音转换为文本。在这个过程中，算法的性能可以通过训练误差和交叉验证误差来评估。

误差定义

• 训练误差（Jtrain​）：指算法在训练数据集上无法正确转录的音频片段的百分比。在这个例子中，训练误差是10.8%，意味着算法在训练数据上犯了10.8%的错误。

• 交叉验证误差（Jcv​）：指算法在未见过的数据（交叉验证集）上无法正确转录的音频片段的百分比。在这个例子中，交叉验证误差是14.8%。

人类水平性能

• 人类水平性能：指人类在相同任务上的表现。在这个例子中，人类在转录音频片段时的误差是10.6%。

分析误差

1. 训练误差与人类水平性能比较：

   • 训练误差（10.8%）只比人类水平性能（10.6%）高出0.2%。这表明算法在训练集上的表现已经非常接近人类的水平，几乎达到了人类的表现。

2. 交叉验证误差与训练误差比较：

   • 交叉验证误差（14.8%）比训练误差（10.8%）高出4.0%。这表明算法在未见过的数据上的表现比在训练数据上的表现要差，这是高方差的迹象。

判断偏差和方差

• 高偏差（underfitting）：如果训练误差远高于人类水平性能，这可能表明算法在训练数据上表现不佳，存在高偏差。

• 高方差（overfitting）：如果交叉验证误差远高于训练误差，这可能表明算法在训练数据上表现很好，但在未见过的数据上表现不佳，存在高方差。

在这个例子中，由于训练误差只比人类水平性能略高，且接近人类的转录能力，因此算法并没有表现出高偏差。相反，交叉验证误差与训练误差之间的较大差距表明算法可能存在高方差问题。

如何建立和使用基准性能水平来评估机器学习算法的性能，特别是在处理非结构化数据（如音频、图像或文本）时：

建立基准性能水平的重要性

在机器学习项目中，建立一个性能基准是至关重要的，因为它提供了一个参考点，帮助我们理解算法的表现是否合理，以及是否存在高偏差或高方差的问题。基准性能水平可以是：

1. 人类水平性能：

   • 这是最直接的基准，特别是在处理非结构化数据时。例如，在语音识别、图像识别或文本理解任务中，人类的表现可以作为一个非常有用的基准。

   • 人类在这些任务上通常表现得很好，因此，如果算法的性能接近人类水平，这通常被认为是一个良好的性能。

2. 竞争算法的性能：

   • 如果有其他算法（可能是其他人实现的或现有的商业解决方案）在相同任务上的表现已知，这些算法的性能也可以作为基准。

   • 通过比较新算法与这些竞争算法的性能，可以评估新算法的优劣。

3. 基于经验的估计：

   • 在某些情况下，如果没有现成的人类或算法性能数据，可以根据以往的经验和知识来估计一个合理的性能水平。

使用基准性能水平评估算法

一旦建立了基准性能水平，就可以使用它来评估算法的性能，特别是关注两个关键的误差指标：

1. 训练误差（Jtrain​）：

   • 这是算法在训练数据上的表现。如果训练误差远高于基准性能水平，这可能表明算法存在高偏差问题，即算法在训练数据上都没有表现得很好。

2. 交叉验证误差（Jcv​）：

   • 这是算法在未见过的数据上的表现。如果交叉验证误差远高于训练误差，这可能表明算法存在高方差问题，即算法在新数据上的泛化能力差。

如何使用基准性能水平、训练误差和交叉验证误差来评估机器学习模型的偏差和方差问题：

定义关键性能指标

• 基准性能水平 (Baseline performance)：

  • 这是人类或其他简单模型在相同任务上的平均表现，为我们提供了一个性能的参考点。

• 训练误差 (Training error Jtrain​)：

  • 这是模型在训练数据集上的性能，表示模型在训练数据上预测错误的比率。

• 交叉验证误差 (Cross-validation error Jcv​)：

  • 这是模型在未见过的数据（交叉验证集）上的性能，表示模型在新数据上的泛化能力。

 具体例子分析

1. 第一个例子：

   • 基准性能水平：10.6%

   • 训练误差：10.8%

   • 交叉验证误差：14.8%

   • 训练误差与基准性能水平的差距：0.2%

   • 训练误差与交叉验证误差的差距：4.0%

   • 分析：训练误差略高于基准性能水平，表明算法在训练数据上的表现接近人类水平，但略差。交叉验证误差高于训练误差，表明算法存在一定的高方差问题。

2. 第二个例子：

   • 基准性能水平：10.6%

   • 训练误差：15.0%

   • 交叉验证误差：15.5%

   • 训练误差与基准性能水平的差距：4.4%

   • 训练误差与交叉验证误差的差距：0.5%

   • 分析：训练误差显著高于基准性能水平，表明算法存在高偏差问题。交叉验证误差略高于训练误差，表明算法的高方差问题不明显。

3. 第三个例子：

   • 基准性能水平：10.6%

   • 训练误差：15.0%

   • 交叉验证误差：19.7%

   • 训练误差与基准性能水平的差距：4.4%

   • 训练误差与交叉验证误差的差距：4.7%

   • 分析：训练误差显著高于基准性能水平，表明算法存在高偏差问题。交叉验证误差显著高于训练误差，表明算法存在高方差问题。

 总结

通过比较基准性能水平、训练误差和交叉验证误差，可以有效地评估和诊断机器学习模型的性能问题：

• 训练误差与基准性能水平的差距反映了模型是否存在高偏差问题。

• 训练误差与交叉验证误差的差距反映了模型是否存在高方差问题。

这种方法不仅可以帮助我们理解模型的偏差和方差问题，还可以指导我们如何调整模型或模型参数，以提高模型的泛化能力和整体性能。通过这种方式，我们可以更有针对性地优化模型，使其在新数据上的表现更接近人类水平或其他优秀的基准。