Recurrent "Grammar Cells"

Nous proposons de modéliser les séries chronologiques en représentant les transformations qui prennent une image à un instant t en une image à un instant t + 1. À cette fin, nous montrons comment transformer un modèle bi-linéaire de transformations, tel qu’un auto-codeur indépendant, en un réseau récurrent, en l’entraînant à prévoir les trames futures à partir du modèle actuel et de la transformation inférée à l’aide d’une rétropropagation à travers le temps. Nous montrons également comment l’empilement de plusieurs couches d’unités de contrôle dans une pyramide récurrente permet de représenter la «syntaxe» de séries chronologiques complexes et de quelle manière il peut surpasser les réseaux de neurones récurrents standard en termes de précision de prédiction pour diverses tâches.