Deep Sparse Rectifier Neural Networks

Bien que les neurones logistiques sigmoïdes soient biologiquement plus plausibles que les neurones hyperboliques tangents, ces derniers fonctionnent mieux pour la formation de réseaux de neurones multicouches. Cet article montre que les neurones de redressement constituent un modèle encore meilleur de neurones biologiques et donnent des performances égales ou meilleures que les réseaux à tangente hyperbolique, malgré la dure non-linéarité et la non-différentiabilité à zéro, créant des représentations éparses avec des zéros réels qui semblent remarquablement convenir à des données naturellement rares. Même s’ils peuvent tirer parti des configurations semi-supervisées avec des données non étiquetées, les réseaux de redresseurs profonds peuvent atteindre leurs meilleures performances sans nécessiter de pré-formation non supervisée sur des tâches purement supervisées avec de grands jeux de données étiquetés. Par conséquent, ces résultats peuvent être considérés comme une nouvelle étape dans les tentatives de compréhension de la difficulté de former des réseaux neuronaux profonds mais purement supervisés, et de combler l’écart de performance entre les réseaux neuronaux appris avec et sans pré-formation non supervisée.