The relativistic discriminator: a key element missing from standard GAN
Dans le réseau de confrontation générative standard (SGAN), le discriminateur estime la probabilité que les données d’entrée soient réelles. Le générateur est formé pour augmenter la probabilité que les fausses données soient réelles. Nous soutenons qu’il devrait également réduire simultanément la probabilité que les données réelles soient réelles, car 1) cela permettrait de savoir a priori que la moitié des données du mini-lot est fausse, 2) cela serait observé avec une minimisation de la divergence et 3) dans des réglages optimaux, SGAN serait équivalent aux GANs de métrique de probabilité intégrale (IPM).
Nous montrons que cette propriété peut être induite en utilisant un discriminateur relativiste qui estime la probabilité que les données réelles données soient plus réalistes que des données factices échantillonnées de manière aléatoire. Nous présentons également une variante dans laquelle le discriminateur estime la probabilité que les données réelles données soient plus réalistes que les fausses données, en moyenne. Nous généralisons les deux approches aux fonctions de perte GAN non standard et nous les désignons respectivement GANs relativistes (RGANs) et GANs moyennes relativistes (RaGANs). Nous montrons que les GANs basés sur IPM sont un sous-ensemble de RGANs qui utilisent la fonction d’identité.
De manière empirique, nous observons que 1) les RGANs et les RaGANs sont nettement plus stables et génèrent des échantillons de données de meilleure qualité que leurs homologues non relativistes, 2) Le standard RaGAN avec pénalité de gradient génère des données de meilleure qualité que WGAN-GP tout en ne nécessitant qu’une seule mise à jour de discriminateur par mise à jour par générateur (ce qui réduit de 400% le temps nécessaire pour atteindre l’état de la technique), et 3) les RaGANs sont capables de générer des images haute résolution plausibles (256 × 256) à partir d’un très petit échantillon (N = 2011), alors que GAN et LSGAN ne le peuvent pas; Ces images sont de qualité nettement supérieure à celles générées par WGAN-GP et SGAN avec normalisation spectrale.
