An Empirical Study of Example Forgetting during Deep Neural Network Learning

Inspirés par le phénomène de l’oubli catastrophique, nous étudions la dynamique d’apprentissage des réseaux de neurones qui s’entraînent à des tâches de classification simples. Notre objectif est de comprendre si un phénomène lié se produit lorsque les données ne subissent pas de changement de répartition clair. Nous définissons un «événement d’oubli» comme se produisant lorsqu’un exemple d’entraînement individuel passe de la classification correcte à la classification incorrecte au cours de l’apprentissage. Parmi plusieurs ensembles de données de référence, nous constatons que: (i) certains exemples sont oubliés avec une fréquence élevée, d’autres pas du tout; (ii) les exemples (in) oubliables d’un ensemble de données se généralisent à travers les architectures de neurones; et (iii) sur la base de la dynamique de l’oubli, une fraction significative d’exemples peut être omise de l’ensemble des données d’apprentissage tout en conservant les performances de généralisation de pointe.