2020-04-25

Summaries of GAN

Cross Domain

• Image-to-Image Translation

  • Supervised

    • Pix2pix
      • tf.nn.sigmoid_cross_entropy_with_logits，没有经过 sigmoid 处理。
      • -tf.log(predict_real + EPS) ，predict_real 经过 sigmoid 处理。
      • nn.BCELoss

  • Unsupervised

    • CoGAN

      • 2 GAN

      • sharing weights

      • nn.functional.cross_entropy / tf.nn.softmax_cross_entropy_with_logits，最后输出的是2个值，而不是1个值，这里与其它的实现不同。

      • CycleGAN, DualGAN

      • 2 GAN

      • nn.BCELoss

      • DiscoGAN

      • D:BCE / MSE

      • G:BCE / MSE

      • MSE，使用 sigmoid 处理。

      • Unsupervised Image-to-Image Translation Networks (NIPS 2017)

      • VAE + GAN：CoGAN的改进。

      • nn.functional.binary_cross_entropy

      • nn.functional.cross_entropy

      • Domain Transfer Network

      • slim.losses.sigmoid_cross_entropy

GAN Loss

• Blog

  • Can softmax be used with cross entropy? : MachineLearning
  • Minimizing the Negative Log-Likelihood, in English
  • PyTorch中的Loss Fucntion | sshuair’s note
  • pytorch loss function 总结
  • nn.CrossEntropyLoss = LogSoftMax + nn.NLLLoss

• Generator / Discriminator

  • Binary Cross Entropy (来自DCGAN)
    • nn.BCELoss / tf.nn.sigmoid_cross_entropy_with_logits
    • DCGAN
  • Categorical Cross Entropy，很少见
    • nn.NLLLoss
    • Auxiliary Classifier
    • nn.CrossEntropyLoss / tf.nn.softmax_cross_entropy_with_logits
  • MSE
    • Reconstruction Error
    • 大多使用L1，因为L2会使得生成的图片看起来模糊
    • LSGAN
    • WGAN
    • WGAN_GP

• LSGAN

  • D 输出是否经过sigmoid，不同实现不一样，大多数实现不经过 sigmoid处理。
    • LSGAN_TF
  • Blog
    • LSGAN——最小二乘GAN
    • 最小二乘GAN：比常规GAN更稳定，比WGAN收敛更迅速 | 机器之心
    • 独家 | GAN大盘点，聊聊这些年的生成对抗网络 : LSGAN, WGAN, CGAN, infoGAN, EBGAN, BEGAN, VAE

• WGAN

  • WGAN与原始GAN第一种形式相比，只改了四点

    • 判别器最后一层去掉sigmoid

    • 生成器和判别器的 loss 不取 log

    • 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c

    • 不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行（只对使用WGAN的时候）

  • Blog

    • 令人拍案叫绝的 Wasserstein GAN，彻底解决GAN训练不稳定问题

    • 带你漫游 Wasserstein GAN | 雷锋网

    • Wasserstein GAN implementation in TensorFlow and Pytorch

    • Wasserstein GAN 的 TensorFlow 实现 | 机器之心

• WGAN_GP

  • WGAN的改进

    • 去掉weight clip，加上gradient penalty。

  • D 输出不经过 sigmoid

    • gan_mnist.py

  • Blog

    • 掀起热潮的Wasserstein GAN，在近段时间又有哪些研究进展？
    • 蒙特利尔大学研究者改进Wasserstein GAN，极大提高GAN训练稳定性

• 总结

  • 不经常使用：

    • 加上log的基本上不在使用，原因见：令人拍案叫绝的 Wasserstein GAN，彻底解决GAN训练不稳定问题

  • 大多数情况下使用：

    • tf.nn.sigmoid_cross_entropy_with_logits

    • MSE

      • LSGAN

    • avg

      • WGAN
      • WGAN_GP

  • 大多都让选择使用哪一种

    • progressive_growing_of_gans
    • gan_mnist.py

GAN Resources

• hwalsuklee/tensorflow-generative-model-collections

GAN