Diffusion Models: A Comprehensive Survey of Methods and Applications论文笔记

Diffusion Models: A Comprehensive Survey of Methods and Applications 论文笔记

摘要

       首先简单介绍了Diffusion models，虽然Diffusion models是一个成功的先进方法，但是他有很多不足：costly sampling procedures and sub-optimal likelihood estimation.昂贵的采样程序和次优似然估计。在本篇文章介绍了三个diffusion model的研究类型：采样效率增强、似然最大化增强和数据泛化增强。也介绍了其他模型，讨论和diffusion models之间的关系。然后介绍了一下diffusion models的应用。最后提出生成模型发展的一些观点。

1 INTRODUCTION

       介绍了Diffusion Models是一个新的sota，在图像合成领域由于GAN，并且在很多研究课题有巨大的潜力。又说了一遍扩散模型的缺点，采样过程缓慢，很难实现对数似然估计。

       说了一下扩散模型的两个过程：前向过程，后向过程。
       最后在paper的introduction中介绍了每一个section的内容。

2 PRELIMINARIES OF DIFFUSION MODELS

先介绍了一下扩散模型的主要思想：The essential idea of diffusion models is to systematically perturb the structure in a data distribution through a forward process and then recover the structure by learning a reverse process, resulting in a highly flexible and tractable generative model.
通过前向过程系统地扰动数据分布中的结构，然后通过学习反向过程恢复结构，从而形成高度灵活和易于处理的生成模型。
然后又比较了两个方法DDPM和SGM：

具体介绍了DDPM：

还有SGM：

在section2的结尾展示了个table：展示了不同优化方案的方法和文章，连续还是离散。

----- 未完待续