深度学习 Deep Learning 第18章 应对配分函数

深度学习 Deep Learning 第18章 应对配分函数

内容概要

本章探讨如何应对无向图模型中的分区函数问题。分区函数是许多概率模型（如能量模型）中的一个关键组成部分，用于将未归一化的概率分布转换为有效的概率分布。然而，对于许多复杂的模型，计算分区函数是不可行的。研究了在无向概率模型中应对配分函数Z计算难题的策略，涵盖基于梯度的优化技巧、近似推断方法及直接估计Z的技术，旨在解决模型训练与评估中的计算瓶颈。

主要内容

1.核心挑战

2. 应对方法

1. 对数似然梯度

   • 配分函数依赖于模型参数，导致对数似然的梯度分解为正相和负相。 正相通过提高训练数据的未归一化概率来增加模型的似然，负相通过降低模型分布的未归一化概率来减少分区函数。

2. 对比散度（CD）和随机最大似然（SML）

   • CD通过从数据分布初始化马尔可夫链来减少负相的计算成本，但容易陷入局部最优。
   • SML通过持续更新马尔可夫链的状态，允许模型在训练过程中探索更多的模式，从而减少局部最优的问题。

3. 伪似然

   • 伪似然通过最大化条件概率的乘积来避免计算分区函数，特别适用于高维数据。
   • 伪似然在需要完整联合分布的任务（如密度估计和采样）中表现较差，但在填充少量缺失值等任务中表现较好。

4. 分数匹配和比率匹配

   • 分数匹配通过最小化模型和数据分布的分数差异来训练模型，适用于连续数据。
   • 比率匹配通过最小化模型和数据分布的比率差异来训练模型，特别适用于二进制数据。

5. 噪声对比估计（NCE）

   • NCE通过引入噪声分布，将无监督学习问题转化为监督学习问题，从而估计模型的参数和分区函数。

6. 分区函数的估计

   • 通过重要性采样和退火重要性采样（AIS）等方法，可以估计复杂分布的分区函数。
   • AIS通过引入一系列中间分布来桥接初始分布和目标分布，从而提高估计的准确性。

总结

第18章详细介绍了多种应对分区函数问题的方法。这些方法通过不同的策略避免或近似计算分区函数，从而使得复杂的概率模型（如能量模型）在实际应用中变得可行。这些方法在深度学习中具有重要意义，特别是在训练和评估复杂模型时。

精彩语录

1. 中文：对比散度通过从数据分布初始化马尔可夫链来减少负相的计算成本，但容易陷入局部最优。
   英文原文：Contrastive divergence reduces the computational cost of the negative phase by initializing Markov chains from the data distribution, but it is prone to getting stuck in local optima.
   解释：这句话强调了对比散度的优势和局限性。

2. 中文：伪似然通过最大化条件概率的乘积来避免计算分区函数，特别适用于高维数据。
   英文原文：Pseudolikelihood avoids computing the partition function by maximizing the product of conditional probabilities, making it suitable for high-dimensional data.
   解释：这句话说明了伪似然的基本原理及其适用场景。

3. 中文：噪声对比估计通过引入噪声分布，将无监督学习问题转化为监督学习问题。
   英文原文：Noise-contrastive estimation transforms the unsupervised learning problem into a supervised learning problem by introducing a noise distribution.
   解释：这句话描述了噪声对比估计的核心思想。

4. 中文：退火重要性采样通过引入一系列中间分布来桥接初始分布和目标分布，从而提高估计的准确性。
   英文原文：Annealed importance sampling bridges the gap between the initial and target distributions by introducing a sequence of intermediate distributions, thereby improving the accuracy of the estimate.
   解释：这句话总结了退火重要性采样的优势。

5. 中文：分数匹配通过最小化模型和数据分布的分数差异来训练模型，适用于连续数据。
   英文原文：Score matching trains the model by minimizing the difference between the scores of the model and the data distribution, making it suitable for continuous data.
   解释：这句话介绍了分数匹配的基本方法及其适用场景。