Mila > Publication > Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

Juin 2019

Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

Juin 2019

Les modèles générateurs de neurones sont devenus de plus en plus populaires lors de la création d’agents conversationnels. Ils offrent une flexibilité, peuvent être facilement adaptés à de nouveaux domaines et nécessitent une ingénierie de domaine minimale. Une critique courante de ces systèmes est qu’ils comprennent ou utilisent rarement l’historique des dialogues disponibles de manière efficace. Dans cet article, nous adoptons une approche empirique pour comprendre comment ces modèles utilisent l’historique de dialogue disponible tout en étudiant la sensibilité des modèles aux changements ou perturbations non naturels introduits artificiellement dans leur contexte au moment du test. Nous expérimentons avec 10 types de perturbations différents sur 4 jeux de données de dialogue multi-tours et nous constatons que les architectures de dialogue neuronales couramment utilisées, telles que les modèles seq2seq récurrents et basés sur un transformateur, sont rarement sensibles à la plupart des perturbations telles que les énoncés manquants ou réordonnés, le brassage des mots, etc. Aussi, la mise en œuvre de notre code nous amène à penser que ce dernier servira d’outil de diagnostic utile pour évaluer les systèmes de dialogue à l’avenir.

Reference

https://arxiv.org/abs/1906.01603

Linked Profiles