Learning deep representations by mutual information estimation and maximization

Ce travail étudie l’apprentissage non supervisé de représentations en maximisant les informations mutuelles entre une entrée et une sortie d’un encodeur de réseau neuronal profond. Il est important de noter que la structure est importante: l’intégration de la connaissance de la localité dans l’entrée de l’objectif peut améliorer de manière significative l’adéquation d’une représentation aux tâches en aval. Nous contrôlons en outre les caractéristiques de la représentation en faisant correspondre à une distribution antérieure de manière défavorable. Notre méthode, que nous appelons Deep InfoMax (DIM), surpasse un certain nombre de méthodes d’apprentissage non supervisées populaires et se compare avantageusement à un apprentissage entièrement supervisé sur plusieurs tâches de classification avec certaines architectures standards. DIM ouvre de nouvelles voies pour un apprentissage non supervisé des représentations et constitue une étape importante vers la formulation flexible d’objectifs d’apprentissage de la représentation pour des objectifs finaux spécifiques.