GAN 中的模态崩溃

先决条件：通用对抗网络

尽管生成对抗网络是非常强大的神经网络，可用于生成与训练数据相似的新数据，但它只能在单模态数据（即其因变量的数据）上进行训练。仅包含一个分类条目。

如果生成对抗网络在多模态数据上进行训练，则会导致模态崩溃。模态崩溃是指网络的生成器部分仅生成有限数量的各种样本而不管输入的情况。这意味着当网络直接在多模态数据上进行训练时，生成器学会了通过仅生成有限种类的数据来欺骗鉴别器。

以下流程图说明了在包含猫和狗图像的数据集上训练生成对抗网络时的训练：

以下方法可用于解决模态崩溃：-

1. 对类进行分组：解决模态崩溃的主要方法之一是根据数据中存在的不同类对数据进行分组。这使鉴别器能够区分子批次并确定给定批次是真实的还是虚假的。
2. 预测反作用：该方法侧重于通过考虑判别器的反作用来训练生成器以最大限度地欺骗判别器，从而消除判别器“追逐”生成器的情况。这种方法的缺点是训练时间增加，梯度计算复杂。
3. 从经验中学习：这种方法涉及在生成器以固定次数的迭代生成的旧假样本上训练鉴别器。
4. 多个网络：此方法涉及为每个不同的类训练多个生成网络，从而覆盖所有数据类。缺点包括训练时间增加和生成数据质量的典型降低。