Manifold Mixup: Better Representations by Interpolating Hidden States

Les réseaux de neurones profonds sont excellents pour apprendre des données d’entraînement, mais ils fournissent souvent des prévisions incorrectes de manière confiante lorsqu’ils sont évalués sur des exemples de tests légèrement différents. Cela inclut les décalages de distribution, les valeurs aberrantes et les exemples contradictoires. Pour remédier à ces problèmes, nous proposons Manifold Mixup, un régulariseur simple qui encourage les réseaux de neurones à prédire avec moins de confiance les interpolations des représentations masquées. Manifold Mixup exploite les interpolations sémantiques en tant que signal d’apprentissage supplémentaire, en obtenant des réseaux de neurones avec des limites de décision plus lisses à plusieurs niveaux de représentation. En conséquence, les réseaux de neurones formés à Manifold Mixup apprennent les représentations de classe avec moins de directions de variance. Nous prouvons la théorie sur les raisons pour lesquelles cet aplatissement se produit dans des conditions idéales, le validons sur des situations pratiques et le connectons à des travaux antérieurs sur la théorie de l’information et la généralisation. Malgré l’absence de calculs significatifs et son implémentation en quelques lignes de code, Manifold Mixup améliore les bases de référence en matière d’apprentissage supervisé, de robustesse face aux attaques contradictoires à une étape et de test de la vraisemblance des journaux.