Mila > Publication > Neural Machine Translation by Jointly Learning to Align and Translate

Neural Machine Translation by Jointly Learning to Align and Translate

Sep 2014

Neural Machine Translation by Jointly Learning to Align and Translate

Sep 2014

La traduction automatique neurale est une approche récemment proposée de la traduction automatique. Contrairement à la traduction automatique statistique traditionnelle, la traduction automatique neuronale vise à créer un seul réseau de neurones pouvant être configurés conjointement pour optimiser les performances de la traduction. Les modèles proposés récemment pour la traduction automatique neurale appartiennent souvent à une famille de codeurs-décodeurs et consistent en un codeur qui code une phrase source en un vecteur de longueur fixe à partir duquel un décodeur génère une traduction. Dans cet article, nous montrons que l’utilisation d’un vecteur de longueur fixe est un goulot d’étranglement dans l’amélioration des performances de cette architecture de base codeur-décodeur, et proposons d’étendre cela en permettant à un modèle de rechercher (de manière automatique) des parties d’une phrase source pertinente pour la prédiction d’un mot cible, sans avoir à former explicitement ces parties en tant que segment dur. Grâce à cette nouvelle approche, nous obtenons une performance de traduction comparable à celle du système à la fine pointe de la technologie sur la traduction anglaise. De plus, une analyse qualitative révèle que les alignements (souples) trouvés par le modèle correspondent bien à notre intuition.

Reference

https://arxiv.org/abs/1409.0473

PDF

Linked Profiles