知了AI学习平台Logo知了
公式推导

VAE的ELBO: 从变分推断到重参数化

从最大化数据对数似然出发,引入变分分布,推导ELBO目标函数及重参数化技巧。

第 1 / 617%
1

最大化对数似然

log⁡p(x)=log⁡∫p(x∣z)p(z) dz\log p(\mathbf{x}) = \log \int p(\mathbf{x}|\mathbf{z}) p(\mathbf{z}) \, d\mathbf{z}
👉

关键部分

log⁡p(x)\log p(\mathbf{x})

VAE目标是最大化数据的边际对数似然,但需对所有隐变量 z 积分,通常无法解析求解。

🧠AI 冷知识

你知道吗?

这些有趣的 AI 小知识可能让你大吃一惊

💡
概念

VAE和普通自编码器的关键区别是:VAE编码器输出的是"分布的参数"(均值和方差)而非确定值,再从中采样。这个"重参数化技巧"让模型可以反向传播,也让潜在空间变得连续——在两个潜向量之间插值就能生成平滑过渡的图像。

一句话总结
💡

VAE 通过编码器输出分布、重参数化采样和解码器重建,以变分下界(ELBO)优化,实现可控的连续隐空间生成。

常见误区

这些坑别踩

✗

误区 1

VAE 和普通自编码器一样。

✓

正确理解

VAE 编码分布而非确定值,并加 KL 正则使隐空间连续可采样,普通 AE 隐空间无结构。

✗

误区 2

重参数化只是数学技巧没意义。

✓

正确理解

重参数化将随机性移出计算图,使梯度能通过采样节点回传,是训练关键。

✗

误区 3

VAE 生成的图像很清晰。

✓

正确理解

VAE 因像素级 MSE 损失常生成偏模糊的图像,这是其相对 GAN 的劣势。