扫码打开虎嗅APP
No.92
2024-07-26
接下来会详细介绍扩散模型Diffusion是如何训练的,又是如何生成图片的。
扩散模型Diffusion
Diffusion模型的训练可以分为两个部分:
00001. 前向扩散过程(Forward Diffusion Process) → 图片中添加噪声
00002. 反向扩散过程(Reverse Diffusion Process) → 去除图片中的噪声
前向扩散过程是不断往输入图片中添加高斯噪声。
反向扩散过程是将噪声不断还原为原始图片。
在每一轮的训练过程中,包含以下内容:
00001. 每一个训练样本选择一个随机时间步长 t
00002. 将time step t 对应的高斯噪声应用到图片中
00003. 将time step转化为对应embedding
下面是每一轮详细的训练过程
上图的Sample a Gaussian表示生成随机高斯噪声,Iteratively denoise the image表示反向扩散过程,如何一步步从高斯噪声变成输出图片。可以看到最终生成的Denoised image非常清晰。