Recurrent Batch Normalization

Nous proposons un reparamétrage de LSTM qui apporte les avantages de la normalisation par lots aux réseaux de neurones récurrents. Alors que les travaux précédents appliquaient uniquement la normalisation par lots à la transformation des entrées RNN masquées, nous démontrons qu’il est à la fois possible et bénéfique de normaliser par lots la transition cachée, réduisant ainsi le décalage de covariable interne entre les intervalles de temps. Nous évaluons notre proposition sur divers problèmes séquentiels tels que la classification des séquences, la modélisation du langage et la réponse aux questions. Nos résultats empiriques montrent que notre LSTM normalisé par lots conduit systématiquement à une convergence plus rapide et à une généralisation améliorée.