Recurrent Batch Normalization

Recurrent Neural Networks
Mar 2016

Recurrent Batch Normalization

Mar 2016

Nous proposons un reparamétrage de LSTM qui apporte les avantages de la normalisation par lots aux réseaux de neurones récurrents. Alors que les travaux précédents appliquaient uniquement la normalisation par lots à la transformation des entrées RNN masquées, nous démontrons qu’il est à la fois possible et bénéfique de normaliser par lots la transition cachée, réduisant ainsi le décalage de covariable interne entre les intervalles de temps. Nous évaluons notre proposition sur divers problèmes séquentiels tels que la classification des séquences, la modélisation du langage et la réponse aux questions. Nos résultats empiriques montrent que notre LSTM normalisé par lots conduit systématiquement à une convergence plus rapide et à une généralisation améliorée.

Reference

Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville, Recurrent Batch Normalization, in: arXiv e-print, 1603.09025, 2016

Linked Profiles