RandomOut: Using a convolutional gradient norm to rescue convolutional filters

Les filtres dans les réseaux de neurones convolutifs sont sensibles à leur initialisation. Les nombres aléatoires utilisés pour initialiser les filtres sont un biais et déterminent si vous allez “gagner” et converger vers un minimum local satisfaisant. C’est ce que nous appelons la loterie filtrante. Nous observons que le modèle Inception-V3 28×28 sans normalisation par lots ne parvient pas à former 26% du temps lors de la variation de la graine aléatoire seule. Ce problème affecte le processus d’essais et d’erreurs de la conception d’un réseau. Comme les graines aléatoires ont un impact important, il est difficile d’évaluer une conception de réseau sans essayer plusieurs poids de départ aléatoires différents. Ce travail vise à réduire le biais imposé par les poids initiaux afin qu’un réseau converge plus systématiquement. Nous proposons d’évaluer et de remplacer les filtres de convolution spécifiques qui ont peu d’impact sur la prédiction. Nous utilisons la norme de gradient pour évaluer l’impact d’un filtre sur l’erreur et nous réinitialisons les filtres lorsque la norme de gradient de ses poids tombe en dessous d’un seuil spécifique. Cela améliore constamment la précision sur Inception-V3 28×28 avec une augmentation de + 3,3% de médiane. En effet, notre méthode RandomOut augmente le nombre de filtres explorés sans augmenter la taille du réseau. Nous observons que la méthode RandomOut présente des performances de généralisation plus cohérentes, avec un écart-type de 1,3% au lieu de 2% lors de la variation de semences aléatoires, et ce, plus rapidement et avec moins de paramètres.

Cohen, Joseph Paul, et al. “RandomOut: Using a Convolutional Gradient Norm to Rescue Convolutional Filters.” International Conference on Learning Representations Workshop, 2016, http://arxiv.org/abs/1602.05931.