Mila > Publication > Recurrent Neural Networks > A Recurrent Latent Variable Model for Sequential Data

Latent random variables

Recurrent Neural Networks
Juin 2015

A Recurrent Latent Variable Model for Sequential Data

Juin 2015

Dans cet article, nous explorons l’inclusion de variables aléatoires dans l’état caché dynamique d’un réseau de neurones récurrent (RNN) en combinant des éléments de l’auto-codeur variationnel. Nous soutenons qu’en utilisant des variables aléatoires latentes de haut niveau, notre RNN variationnel (VRNN) est capable d’apprendre à modéliser le type de variabilité observée dans des données séquentielles hautement structurées (telles que la parole). Nous évaluons de manière empirique le modèle proposé par rapport aux modèles séquentiels connexes sur cinq jeux de données de séquence, quatre de parole et un d’écriture manuscrite. Nos résultats montrent l’importance du rôle que les variables aléatoires peuvent jouer dans l’état caché dynamique de RNN.

Reference

Junyoung Chung, Kyle Kastner, Laurent Dinh, Kratarth Goel, Aaron Courville, Yoshua Bengio, A Recurrent Latent Variable Model for Sequential Data. in: arXiv e-prints, 1506.02216, 2015

PDF

Linked Profiles