The Thermodynamic Variational Objective

Nous introduisons l’objectif variationnel thermodynamique (TVO) pour l’apprentissage au sein des modèles génératifs continus et discrets. Le TVO découle d’un lien essentiel entre l’inférence variationnelle et l’intégration thermodynamique qui se traduit par une limite inférieure plus étroite de la vraisemblance logarithmique que la limite inférieure de la preuve variationnelle standard (ELBO), tout en restant aussi largement applicable. Nous fournissons un estimateur de gradient efficace en calcul pour le TVO qui s’applique aux distributions continues, discrètes et non reparamétrables, puis montrons que les fonctions objectives utilisées dans l’inférence variationnelle, les auto-encodeurs variationnels, le sommeil de veille et la compilation d’inférences sont tous des cas particuliers de TVO. Nous évaluons le TVO pour l’apprentissage des encodeurs automatiques variationnels discrets et continus et nous trouvons qu’il atteint l’état de la technique pour l’apprentissage dans les modèles à variables discrètes, et surpasse les VAEs sur les modèles à variables continues sans utiliser l’astuce de reparamétrage.