A Variational Inequality Perspective on Generative Adversarial Networks

Les réseaux adverses génératifs (GAN) forment une approche de modélisation générative connue pour produire des échantillons attrayants, mais ils sont particulièrement difficiles à former. Un moyen courant de s’attaquer à ce problème a été de proposer de nouvelles formulations de l’objectif GAN. Pourtant, étonnamment peu d’études se sont intéressées aux méthodes d’optimisation conçues pour cette formation contradictoire. Dans ce travail, nous présentons les problèmes d’optimisation GAN dans le cadre général des inégalités variationnelles. En nous appuyant sur la littérature de programmation mathématique, nous combattons certaines idées fausses sur les difficultés d’optimisation du point d’équilibre et proposons d’étendre les méthodes conçues pour les inégalités variationnelles à la formation des GANs. Nous appliquons la moyenne, l’extrapolation et une variante moins onéreuse en calcul, que nous appelons extrapolation du passé à la méthode du gradient stochastique (SGD) et à Adam.