Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

Le langage naturel est structuré de manière hiérarchique: des unités plus petites (par exemple, des phrases) sont imbriquées dans des unités plus grandes (par exemple, des clauses). Lorsqu’un composant plus grand se termine, tous les composants plus petits qui y sont imbriqués doivent également être fermés. Bien que l’architecture LSTM standard permette à différents neurones de suivre des informations à différentes échelles de temps, elle ne privilégie pas explicitement la modélisation d’une hiérarchie de constituants. Cet article propose d’ajouter ce biais inductif en ordonnant les neurones; Un vecteur maître d’entrée qui oublie les barrières garantit que lorsqu’un neurone donné est mis à jour, tous les neurones qui le suivent dans l’ordre sont également mis à jour. Notre nouvelle architecture récurrente, les neurones ordonnés LSTM (ON-LSTM), réalise de bonnes performances dans quatre tâches différentes: modélisation du langage, analyse non supervisée, évaluation syntaxique ciblée et inférence logique.