扫码打开虎嗅APP

No.92

2024-07-26

AI深度研究员 AI可以怎样帮你赚钱?全面的AI应用与变现教程!

扩散模型Diffusion

主理人:
前面介绍了Diffusion是如何根据输入文字生成图片的,让大家有个大概的了解,

接下来会详细介绍扩散模型Diffusion是如何训练的,又是如何生成图片的。

1、 扩散模型Duffison的训练过程

扩散模型Diffusion

Diffusion模型的训练可以分为两个部分:

00001. 前向扩散过程(Forward Diffusion Process) → 图片中添加噪声

00002. 反向扩散过程(Reverse Diffusion Process) → 去除图片中的噪声

 

2、 前向扩散过程

前向扩散过程是不断往输入图片中添加高斯噪声。

 

 

3 、反向扩散过程

反向扩散过程是将噪声不断还原为原始图片。

 

4、 训练过程

在每一轮的训练过程中,包含以下内容:

00001. 每一个训练样本选择一个随机时间步长 t

00002. 将time step t 对应的高斯噪声应用到图片中

00003. 将time step转化为对应embedding

下面是每一轮详细的训练过程

 

5 、从高斯噪声中生成原始图片(反向扩散过程)

上图的Sample a Gaussian表示生成随机高斯噪声,Iteratively denoise the image表示反向扩散过程,如何一步步从高斯噪声变成输出图片。可以看到最终生成的Denoised image非常清晰。