一致性正则化, KL散度

一致性正则

Consistency Regularization 的主要思想是：对于一个输入，即使受到微小干扰，其预测都应该是一致的。
机器学习模型也应该对这种扰动具有鲁棒性。这通常通过最小化对原始输入的预测与对该输入的扰动版本的预测之间的差异来实现。可以是均方误差或KL散度或任何其他距离度量。[1]

这些随机性或扰动分类如下[2]：

• 常规的数据增强， 如图像翻转，加随机噪音
• 基于GAN
• 时序移动平均
• 同一模型多次预测时，Dropout层随机舍弃
• 多模型
• 对抗样本扰动Adversarial Example
• 高级数据增强（基于强化学习或自监督学习）
• 数据线性混合

如何衡量两个事件/分布之间的不同：KL散度

kl散度 = 交叉熵 - 熵[3]

Reference

[1] https://posts.careerengine.us/p/5f918342a94f955560289d1c
[2] http://blog.zhimind.com/consistency-regularization.html
[3] https://blog.csdn.net/fantacy10000/article/details/90668839