Recurrent "Grammar Cells"

Deep Learning for Video
Déc 2014

Modeling Deep Temporal Dependencies with Recurrent « Grammar Cells »

Déc 2014

Nous proposons de modéliser les séries chronologiques en représentant les transformations qui prennent une image à un instant t en une image à un instant t + 1. À cette fin, nous montrons comment transformer un modèle bi-linéaire de transformations, tel qu’un auto-codeur indépendant, en un réseau récurrent, en l’entraînant à prévoir les trames futures à partir du modèle actuel et de la transformation inférée à l’aide d’une rétropropagation à travers le temps. Nous montrons également comment l’empilement de plusieurs couches d’unités de contrôle dans une pyramide récurrente permet de représenter la «syntaxe» de séries chronologiques complexes et de quelle manière il peut surpasser les réseaux de neurones récurrents standard en termes de précision de prédiction pour diverses tâches.

Reference

Vincent Michalski, Roland Memisevic, Kishore Konda, Modeling Deep Temporal Dependencies with Recurrent Grammar Cells, in: Neural Information Processing Systems (NIPS), 2014

Linked Profiles