1 步推导出 VAE 变分自编码器(以及为何没必要时刻写出 KL 散度)

发布于 2022年 02月 15日 05:21

很多地方的推导太长了。

首先:

写成 MLE,比 KL 散度少一个常数,形式更简单。没必要时刻写出 KL 散度。


可以 1 步推导出 VAE。


这个是 MLE:

显然等价于:


恭喜,推导出了 VAE。


加 10 秒钟,把它变成更常见的样子。

展开:

改变符号,显然等价于:


再加上先验:

还有假设 是固定 stdev 的 Gaussian 以造出 MSE。


就和实际用的一模一样了。


我在另一篇文章,简单实验了 有可变 stdev 的情况:

PENG Bo:DGN v2:生成器应该输出分布,清晰图像并不是 GAN 的特权zhuanlan.zhihu.com

推荐文章