Mila > Publication > Hierarchical Importance Weighted Autoencoders

Hierarchical Importance Weighted Autoencoders

Mai 2019

Hierarchical Importance Weighted Autoencoders

Mai 2019

L’inférence variationnelle pondérée en fonction de l’importance (Burda et al., 2015) utilise plusieurs échantillons de variables aléatoires indépendantes et identiquement distribuées pour avoir une limite inférieure de variation plus serrée. Nous pensons qu’une proposition conjointe peut potentiellement réduire le nombre d’échantillons redondants et introduire une structure hiérarchique pour ainsi induire une corrélation. Nous avons espoir que les propositions se coordonnent pour compenser l’erreur faite les unes par les autres afin de réduire la variance de l’estimateur d’importance. Théoriquement, nous analysons la condition dans laquelle la convergence de la variance de l’estimateur peut être liée à la convergence de la limite inférieure. De manière empirique, nous confirmons que la maximisation de la limite inférieure minimise implicitement la variance. Une analyse plus poussée montre qu’il s’agit d’une corrélation négative induite par le schéma de méta-échantillonnage hiérarchique proposé, et que l’inférence s’améliore également lorsque le nombre d’échantillons augmente.

Reference

Linked Profiles