Deep Exponential Families

Unsupervised, Generative Deep Learning
Mai 2015

Deep Exponential Families

Mai 2015

Nous décrivons les familles profondes exponentielles (DEFs), une classe de modèles de variables latentes inspirés par les structures cachées utilisées dans les réseaux de neurones profonds. Les DEFs capturent une hiérarchie de dépendances entre les variables latentes et sont facilement généralisées à de nombreux paramètres via des familles exponentielles. Nous effectuons l’inférence en utilisant les techniques d’inférence variationnelles «boîte noire» récentes. Nous évaluons ensuite divers DEFs sur du texte et combinons plusieurs DEFs dans un modèle pour les données de recommandation par paires. Dans une étude approfondie, nous montrons que le fait d’aller au-delà d’une couche améliore les prévisions pour les DEFs. Nous démontrons que les DEFs trouvent une structure exploratoire intéressante dans de grands ensembles de données et offrent de meilleures performances prédictives que les modèles les plus avancés.

Reference

Rajesh Ranganath, Linpeng Tang, Laurent Charlin, David Blei, Deep Exponential Families, in: Proceedings of the Eighteenth International Conference on Artificial Intelligence and Statistics, pp. 762–771, 2015

Source code

Linked Profiles

array(1) { ["wp-wpml_current_language"]=> string(2) "fr" }

Mila passe en mode virtuel

À partir du 16 mars 2020, Mila redirige ses activités vers des plateformes virtuelles afin de minimiser la diffusion de COVID-19.

En savoir plus