Deep Exponential Families

Nous décrivons les familles profondes exponentielles (DEFs), une classe de modèles de variables latentes inspirés par les structures cachées utilisées dans les réseaux de neurones profonds. Les DEFs capturent une hiérarchie de dépendances entre les variables latentes et sont facilement généralisées à de nombreux paramètres via des familles exponentielles. Nous effectuons l’inférence en utilisant les techniques d’inférence variationnelles «boîte noire» récentes. Nous évaluons ensuite divers DEFs sur du texte et combinons plusieurs DEFs dans un modèle pour les données de recommandation par paires. Dans une étude approfondie, nous montrons que le fait d’aller au-delà d’une couche améliore les prévisions pour les DEFs. Nous démontrons que les DEFs trouvent une structure exploratoire intéressante dans de grands ensembles de données et offrent de meilleures performances prédictives que les modèles les plus avancés.