Revisiting Reweighted Wake-Sleep for Models with Stochastic Control Flow

Les modèles de flux de contrôle stochastiques (SCFMs) sont une classe de modèles génératifs qui impliquent de choisir des variables aléatoires discrètes. L’apprentissage amorti basé sur le gradient de SCFMs est difficile car la plupart des approches ciblant les variables discrètes reposent sur leurs relaxations continues – qui peuvent être intraitables dans les SCFMs, car la création de ramifications sur des relâchements nécessite l’évaluation de tous les chemins (exponentiellement nombreux). Les alternatives tractables associent principalement «REINFORCE» à des schémas complexes variés de contrôle pour améliorer la variance d’estimateurs naïfs. Ici, nous revisitons l’algorithme de repoussage veille-sommeil (RWS) [5] et, au moyen d’évaluations approfondies, nous montrons qu’il surpasse les méthodes de pointe actuelles pour l’apprentissage des SCFMs. En outre, contrairement à l’auto-codeur pondéré, nous observons que RWS apprend de meilleurs modèles et réseaux d’inférence avec un nombre croissant de particules. Nos résultats suggèrent que RWS est une alternative compétitive et souvent préférable, pour l’apprentissage des SCFMs.