当前位置：首页 > news >正文

【笔记】对抗训练-GAN

news 来源：原创 2025/9/2 17:36:59

深度学习中 GAN 的对抗目标函数详解与最优解推导

生成对抗网络（GAN）是深度生成模型中的经典方法，其核心思想是两个网络之间的博弈：生成器 $G$ 试图“伪造”样本，而判别器 $D$ 尽力分辨真伪。本篇博客将从 GAN 的基本目标函数出发，逐步推导出判别器的最优形式，并分析其背后的数学含义。

GAN 的原始目标是一个 min-max 游戏：

$\min_G \max_D \left( \mathbb{E}_{x \sim P_r}[\log D(x)] + \mathbb{E}_{z \sim P_z}[\log(1 - D(G(z)))] \right)$

其中：

判别器 D 的目标：让 $D (x)$ 趋近于 1， $D (G (z))$ 趋近于 0，即正确分辨真实与生成样本。

对应目标函数为最大化：

$\mathbb{E}_{x \sim P_r}[\log D(x)] + \mathbb{E}_{z \sim P_z}[\log(1 - D(G(z)))]$
生成器 G 的目标：生成样本让 $D (G (z))$ 尽量大，即“骗过”判别器。

对应目标函数为最小化：

$\mathbb{E}_{z \sim P_z}[\log(1 - D(G(z)))]$

这是一个典型的零和对抗过程。

我们接下来推导：在固定生成器 $G$ 的前提下，判别器 $D$ 的最优形式是怎样的？

令目标函数为：

$\int_x P_r(x) \log D(x) + P_g(x) \log(1 - D(x)) \, dx$

对每个 $x$ ，令：

$f(D(x)) = P_r(x) \log D(x) + P_g(x) \log(1 - D(x))$

对 $D (x)$ 求导并令导数为 0：

$\frac{d f}{d D(x)} = \frac{P_r(x)}{D(x)} - \frac{P_g(x)}{1 - D(x)} = 0$

解得最优判别器为：

$D^*(x) = \frac{P_r(x)}{P_r(x) + P_g(x)}$

$D^*(x)$ 的输出值反映了 样本 $x$ 来自真实分布的概率。
- 如果 $P_r(x) = P_g(x)$ ，则 $D^*(x) = \frac{1}{2}$ ；
- 如果 $P_r(x) \gg P_g(x)$ ，则 $D^*(x) \approx 1$ ；
- 如果 $P_g(x) \gg P_r(x)$ ，则 $D^*(x) \approx 0$ 。
将 $D^*$ 代入 GAN 原始目标函数：

$V(D^*) = \mathbb{E}_{x \sim P_r}[\log D^*(x)] + \mathbb{E}_{x \sim P_g}[\log(1 - D^*(x))]$

可推导出最终目标：

$\min_G V(D^*) = -\log 4 + 2 \cdot \text{JS}(P_r \parallel P_g)$

即：GAN 实质上是在最小化真实分布 $P_r$ 与生成分布 $P_g$ 之间的 Jensen-Shannon 散度。

由于 Jensen-Shannon 散度在 $P_r$ 与 $P_g$ 没有交集时不连续（导致梯度消失），Wasserstein GAN（WGAN）改用 Wasserstein 距离替代 JS 散度，并要求判别器满足 1-Lipschitz 条件，这会在后续单独展开讲解。