On the Number of Linear Regions of Deep Neural Network

Nous étudions la complexité des fonctions calculables par des réseaux neuronaux à anticipation profonde avec des activations linéaires par morceaux en termes de symétries et du nombre de régions linéaires dont ils disposent. Les réseaux profonds peuvent mapper séquentiellement des parties de l’espace d’entrée de chaque couche vers la même sortie. De cette manière, les modèles profonds calculent des fonctions qui réagissent de manière égale aux modèles compliqués de différentes entrées. La structure compositionnelle de ces fonctions leur permet de réutiliser des calculs de manière exponentielle, souvent en fonction de la profondeur du réseau. Cet article étudie la complexité de telles cartes de composition et apporte de nouveaux résultats théoriques concernant l’avantage de la profondeur pour les réseaux de neurones avec des fonctions d’activation linéaires par morceaux. En particulier, notre analyse n’est pas spécifique à une seule famille de modèles et nous l’utilisons à titre d’exemple pour les réseaux redresseurs et réseaux «maxout». Nous améliorons les limites de complexité des travaux existants et examinons le comportement des unités dans les couches supérieures.