Quaternion Recurrent Neural Networks

Les réseaux de neurones récurrents (RNN) sont des architectures puissantes pour modéliser des données séquentielles, en raison de leur capacité à apprendre des dépendances à court et à long terme entre les éléments de base d’une séquence. Néanmoins, les tâches courantes telles que la reconnaissance de la parole ou d’images impliquent des entités en entrée multidimensionnelles caractérisées par de fortes dépendances internes entre les dimensions du vecteur en entrée. Nous proposons un nouveau réseau de neurones récurrent quaternion (QRNN), ainsi qu’un réseau de neurones de mémoire à long et à court terme (QLSTM) du quaternion, qui prennent en compte à la fois les relations externes et ces dépendances structurelles internes avec l’algèbre du quaternion. Comme les capsules, les quaternions permettent au QRNN de coder les dépendances internes en composant et en traitant des entités multidimensionnelles sous forme d’entités uniques, tandis que l’opération récurrente révèle les corrélations entre les éléments composant la séquence. Nous montrons que QRNN et QLSTM obtiennent de meilleures performances que RNN et LSTM dans une application réaliste de la reconnaissance vocale automatique. Enfin, nous montrons que QRNN et QLSTM réduisent d’un facteur maximum de 3,3 fois le nombre de paramètres libres nécessaires, par rapport aux RNN et aux LSTM à valeurs réelles pour obtenir de meilleurs résultats, ce qui permet une représentation plus compacte des informations pertinentes.