On the Spectral Bias of Neural Networks

Les réseaux de neurones constituent une classe de fonctions hautement expressives capables d’adapter des mappages d’entrée-sortie aléatoires avec une précision de 100%. Dans ce travail, nous présentons les propriétés des réseaux de neurones qui complètent cet aspect de l’expressivité. En utilisant des outils de l’analyse de Fourier, nous montrons que les réseaux ReLU profonds sont biaisés en faveur des fonctions à basse fréquence, ce qui signifie qu’ils ne peuvent pas avoir de fluctuations locales sans affecter leur comportement global. Intuitivement, cette propriété va dans le sens de l’observation selon laquelle les réseaux sur-paramétrisés trouvent des modèles simples généralisant des échantillons de données. Nous étudions également de quelle manière la variété des données affecte l’expressivité en montrant que l’apprentissage des hautes fréquences devient plus facile avec une complexité de plus en plus grande et présentons une compréhension théorique de ce comportement. Enfin, nous étudions la robustesse des composantes de fréquence vis-à-vis de la perturbation des paramètres, afin de développer l’intuition que les paramètres doivent être réglés avec précision pour exprimer des fonctions haute fréquence.