On Relativistic f-Divergences

Cet article propose une analyse plus rigoureuse des réseaux d’adversaires génératifs relativistes (RGANs). Nous prouvons que la fonction objective du discriminateur est une divergence statistique pour toute fonction concave f avec des propriétés minimales. Nous concevons également quelques variantes de divergences f relativistes. Wasserstein GAN était à l’origine justifié par l’idée que la distance de Wasserstein (WD) est la plus sensible, car elle est faible (c’est-à-dire qu’elle induit une topologie faible). Nous montrons que le WD est plus faible que les divergences-f qui sont plus faibles que les divergences-relativistes. Compte tenu de la bonne performance des RGANs, cela suggère que WGAN ne performe pas bien principalement à cause de la métrique faible, mais plutôt à cause de la régularisation et de l’utilisation d’un discriminateur relativiste.

Nous examinons également de plus près les estimateurs de f-divergences relativistes. Nous introduisons l’estimateur non biaisé de variance minimale (MVUE) pour les GANs appariés relativistes (RpGANs; initialement appelés les RGANs, ce qui pourrait être source de confusion) et nous montrons qu’il ne fonctionne pas mieux. De plus, nous montrons que l’estimateur des GANs moyens relativistes (RaGANs) n’est asymptotiquement pas biaisé, mais que le biais de l’échantillon fini est faible. L’élimination de ce biais n’améliore pas les performances.