On the number of response regions of deep feed forward networks with piece-wise linear activations

Cet article explore la complexité des réseaux à anticipation profonde avec des couplages pré-synaptiques linéaires et des activations linéaires rectifiées. Il s’agit d’une contribution à la masse croissante d’œuvres opposant le pouvoir de représentation des architectures de réseau profondes et peu profondes. En particulier, nous proposons un cadre de comparaison des modèles profonds et superficiels appartenant à la famille des fonctions linéaires par morceaux basées sur la géométrie algorithmique. Nous examinons un perceptron multicouche à redresseur profond (MLP) avec des unités de sorties linéaires et le comparons à une version monocouche du modèle. Dans le régime asymptotique, lorsque le nombre d’entrées reste constant, si le modèle peu profond possède des unités cachées et n0 entrées, le nombre de régions linéaires est alors O (kn0nn0). Pour un modèle de couche k avec n unités cachées sur chaque couche, il s’agit de Ω (n / n0⌋k − 1nn0). Le nombre ⌊n / n0⌋k − 1 croît plus vite que kn0 lorsque n tend vers l’infini ou lorsque k tend vers l’infini et n≥2n0. De plus, même lorsque k est petit, si nous limitons n à 2n0, nous pouvons montrer qu’un modèle profond a des régions beaucoup plus linéaires qu’un modèle peu profond. Nous considérons cela comme un premier pas vers la compréhension de la complexité de ces modèles et plus particulièrement vers la fourniture d’outils mathématiques appropriés pour une analyse future.