任意图像变换方式都可生成。扩散模型或取代GAN？
作者 | 王玥、李梅
编辑 | 陈彩娴
最近，Stability.Ai 公开发布了其文本生成图像模型 Stable Diffusion 的最新版本，网友们的新一波图像创作热潮又开始了~
图注：Stable Diffusion 生成图像前特斯拉 AI 总监 Andrej Karpathy 评论说：这是人类创造力具有历史意义的一天，如此丰富的人类视觉创造力集中体现到了一个人人可触及的产品中。
从生成图像的效果来看，Stable Diffusion 已经是当前最好的模型之一，而它背后的扩散模型（Diffusion Model）最近也备受关注，显示出要取代 GAN 模型的势头。
其实，自从 2015 年扩散模型首次被提出以来，该领域本身已经有非常多的研究，研究人员也提出不少变体。而日前，来自马里兰大学和纽约大学的团队提出了近来最新的一种扩散模型：Cold Diffusion。
1
Diffusion model 再升华
目前业界出现的扩散模型变体层出不穷，但它们都有一个不变的核心：都是围绕随机噪声去除这个概念建立的。
扩散模型的本质，以及目前我们对扩散模型的理解，都与高斯噪声在训练和生成过程中所起的作用高度相关。我们可以将「扩散」理解为使用 Langevin 动力学围绕图像密度函数的随机移动，扩散的每一步都需要高斯噪声。扩散始于「高温」状态（即噪音很大的状态），然后逐渐降温到几乎没有噪音的「冷」状态。
而在这篇叫做“Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise”的最新论文中，作者提出了一个疑问：制作扩散模型的变体，是不是非得使用高斯噪声不可？
论文地址：https://arxiv.org/pdf/2208.09392.pdf通过多次尝试，该研究团队得出了答案：并不一定需要。
在这篇论文中，作者不再将扩散模型局限于「依赖高斯噪声而建立」，而是提出了围绕模糊（blurring）、下采样（downsampling）等任意图像变换方式建立的广义扩散模型。由于不再有原先的「高温」状态，这种全新广义扩散模型也就被称作为 Cold Diffusion。
过去标准的扩散模型有两步工作流程：首先，用图像退化算子（image degradation operator）使得图像受到高斯噪声的污染，其次用一个训练好的恢复算子（restoration operator）对图像进行去噪，逆转退化，从而得到一张新图像。
图注：传统扩散模型的两步工作流程Cold Diffusion 继承了这两步工作流程，但又对之进行了升华式的修改。如下图所示，在图像退化再到逆转退化的过程中，Cold Diffusion 研究团队尝试了使用噪声、模糊、变形（Animorph）、遮罩（mask）、像素化（pixelate）、雪花等变换方式，且都得到了不错的效果。
图注：Cold Diffusion 使用不同图像变换方式得到新图像的工作流程工作原理
对于已知图像 x0，设图像退化算子为D，执行算子的次数为t。
对以往标准的扩散模型来说，其执行图像变换的前向过程，是由图像退化算子 D 来对图像添加高斯噪声。添加0次时，D 应满足：
添加t次时，则应有：
而在 Cold Diffusion 的模型设计中，D 可以用来执行其他各种图像变换方式，如模糊、变形、像素化、雪花等，其退化程度取决于t ——Cold Diffusion 的「升级」正体现在可以进行包括噪音在内的多种图像变换。
同时我们还需要一个能把xt“变回”图像的恢复算子 R ，应有：
在有了图像退化算子 D 和 恢复算子 R 后，就可以借用扩散模型的标准方法对算子进行串联使用，从而实现退化运算-逆转退化的工作流程。如果退化运算的次数 t 比较小（t ≈ 0），对 R 进行一次应用就可以得到一幅恢复后的新图像。
由于R通常只经过了一个简单的凸损失训练，当执行退化运算的次数 t 很大时，生成的结果会很模糊。对此，作者团队提出一个改进的 Cold Diffusion 采样算法来生成高质量图像。
变化无穷
这篇研究的重点就在于，作者观察到，扩散模型的图像生成并不完全依赖于高斯噪声，我们也可以选择其他图像变换方式来生成新图像。通过改变图像变换方式，甚至可以构建出整个生成模型家族。
以模糊为退化运算方式
基于噪声的扩散模型中的前向扩散过程（即退化运算这一步）的优点是，在最后一步 T 处的退化图像分布只是一个各向同性的高斯分布。因此，我们可以首先从各向同性高斯分布中抽取样本，然后通过反向扩散顺序对其进行去噪来执行（无条件）生成。而选择模糊这种退化运算时，完全退化的图像不能形成我们可以抽样的良好封闭式分布，但是可以形成一个足够简单的分布，可以用简单的方法进行建模。
对于次数足够大的 T，每个图像 x0 都会降级为一个常数 xT（即每个像素都是相同的颜色）。该常数值恰好是 RGB 图像 x0 的通道平均值，可以表示为三维向量，并使用高斯混合模型 (Gaussian mixture model， GMM) 表示。通过对该 GMM 进行采样，可以产生高度模糊图像的随机像素值，然后使用 cold diffusion 就可以进行去模糊化，从而创建新图像。
另外，像素之间的对称性会导致生成的图像缺乏多样性，为了打破同一管道像素的对称性，作者向每个采样的 xT 添加少量高斯噪声，这个简单的技巧极大地提高了生成图像的丰富性。
图注：对128 × 128 CelebA and AFHQ 数据集使用 cold diffusion 的模糊方式变换生成样本示例以其他图像变换为退化运算方式
最后团队进一步证明，除了模糊方式以外，cold diffusion 还可以扩展到其他变换，如修复、超分辨率和变形（animorphosis）方式上，且生成的图像效果也都很好：
图注：cold diffusion 的生成图像。第一行使用变形方式变换，第二行使用修复方式变换，第三行使用超分辨率变换方式。
研究团队给出了 CelebA 数据集上的结果，cold diffusion 在修复、超分辨率和变形方面的 FID 得分分别为90.14、92.91和48.51。（ FID，即 Rechet Inception Distance score，是用来计算真实图像和生成图像计算的特征向量之间距离的指标。）
在训练和测试期间不需要高斯噪声的 cold diffusion，突破了人们对扩散模型的原有理解，为新型生成模型打开了未来的大门。
2
Diffusion Model 时代来临
这项研究因为提出了一种不同于传统形式的扩散模型，而在近日登上了许多论文排行榜的热门，同样引起了热议的，还有论文其中一位作者在推特上发起的讨论：为什么扩散模型如此迅速地取代了 GAN？
马里兰大学副教授 Tom Goldstein 解释，扩散模型的优点是它可以最小化凸回归损失，所以 OpenAI 在开发 DALLE 时直接抛弃了 GAN，而使用扩散模型来解决不稳定的鞍点问题（saddle point problem）。
而且，他认为，扩散模型的成功是新数学范式发挥其作用的一个例子，世界上所有的超参数调整都比不过几行深思熟虑的数学公式。
要说今天的文本生成图像领域已经由扩散模型统治或许还不够严谨，但 GAN 的一家独大的确已经成为历史。归根结底，谁的图像生成质量和稳定性更好，谁才在越来越卷的生成模型界成为宠儿。这项工作提出的 Cold Diffusion，或许就会在不久之后为我们带来一个新的、强大的文本生成图像模型。
参考链接：
https://arxiv.org/pdf/2208.09392.pdf
扫码添加 AI 科技评论 微信号，投稿&进群：
雷峰网(公众号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
