论文笔记 - Generative Adversarial Nets

1. Information

Title: Generative Adversarial Nets
Link: GAN Paper
Source: Annual Conference on Neural Information Processing Systems (NeurIPS)
Date: 2014.06.10

2. Summary

本文提出了一种新的生成模型训练框架——生成对抗网络（GAN），通过对抗过程同时训练两个模型：

1. 生成器（G）：学习数据分布，生成逼真样本以欺骗判别器；
2. 判别器（D）：区分真实数据与生成数据。 核心贡献包括：

• 提出极小极大博弈目标函数，无需马尔可夫链或近似推断；
• 理论证明全局最优解为生成分布等于真实数据分布（$p_g=p_{\text{data }}$），此时判别器输出概率恒为1/2；
• 实验验证框架有效性，生成样本质量与现有模型相当，且计算效率更高。

3. Background

深度学习的主要成功集中在判别模型上，这些模型将高维的感知输入映射到类标签。然而，深度生成模型的影响较小，主要是因为在最大似然估计等策略中存在很多计算难题。为了解决这些问题，本文提出了生成对抗网络（GAN），它通过对抗过程训练生成模型，避免了传统生成模型的复杂性。

4. Research Objective

• 核心目标：设计一种高效生成模型框架，避免复杂概率计算，直接通过对抗博弈逼近真实数据分布。
• 关键要求：
  • 生成器与判别器均为可微函数（如多层感知机）；
  • 训练过程仅依赖反向传播，无需近似推断。

5. Method

5.1 对抗框架

• 生成器（G）：输入噪声 $$，输出生成样本 $$；
• 判别器（D）：输入样本 $$，输出 $$ 表示其为真实数据的概率。

5.2 目标函数

极小极大博弈： $$

• 判别器优化：固定 G，最大化 $$，即区分真实与生成样本；
• 生成器优化：固定 D，最小化 $$，即生成样本欺骗D。

5.3 训练策略

• 交替训练：每轮先更新判别器 k 次，再更新生成器 1 次，防止过拟合；
• 梯度修正：早期训练中，将生成器目标从 $$ 改为 $$，缓解梯度消失问题。

在训练初期，生成器 G 的性能通常较差，生成的样本与真实样本差异较大。此时，判别器 D 可以很容易地区分生成样本和真实样本，因此 $$ 的值会非常接近 0（表示 D 认为生成样本是假的）。此时，生成器 G 的目标函数为： $$ 由于 $$，因此 $$，进而： $$ 这意味着生成器 G 的目标函数在训练初期接近于 0，导致梯度非常小，甚至接近于零。这种情况下，生成器很难通过梯度下降进行有效的更新，从而出现梯度消失问题。

为了解决这一问题，论文提出将生成器 G 的目标改为最大化 $$。这种目标函数在数学上等价于原始目标函数，但在训练初期可以提供更强的梯度。具体来说：

当 $$ 时，$$ 的梯度为： $$ 此时，分母 D(G(z)) 非常小，导致整体梯度非常大，从而为生成器 G 提供了更强的更新信号。

5.4 理论分析

在非参数极限下，假设 G 和 D 具有足够的容量，可以证明：

1. 最优判别器：对于固定的 G，最优判别器 $$ 为： $$ 其中 $$ 是生成模型的分布。

2. 全局最优性：当 $$ 时，博弈的全局最小值 $$被达到，此时 $$。

6. Evaluation

为了评估生成对抗网络的性能，作者在多个数据集上进行了实验，包括 MNIST、Toronto Face Database (TFD) 和 CIFAR-10。通过使用高斯 Parzen 窗口方法对生成样本进行似然估计，结果表明生成对抗网络在生成样本的质量上表现出色，且在生成的样本上具有竞争力。

7. Conclusion

生成对抗网络（GANs）通过对抗训练的方式，成功地避免了传统生成模型中复杂的概率计算和推理过程，仅通过反向传播即可训练生成模型。实验结果表明，GANs 在生成高质量样本方面具有显著潜力。然而，GANs 也存在一些缺点，例如没有显式的概率分布表示，且在训练过程中需要保持生成器和判别器的同步。未来的研究方向包括扩展到条件生成模型、学习近似推理、半监督学习以及提高训练效率等。