A Cross-Domain Transferable Neural Coherence Model

La cohérence est un aspect important de la qualité du texte et est cruciale pour assurer sa lisibilité. Une limite importante des modèles de cohérence existants est que la formation dans un domaine ne se généralise pas facilement à des catégories de texte invisibles. Des travaux antérieurs préconisaient des modèles génératifs pour la généralisation entre domaines, car pour les modèles discriminants, l’espace d’ordonnancement incohérent des phrases à discriminer lors de la formation est prohibitif. Dans ce travail, nous proposons un modèle neural discriminant local avec un espace d’échantillonnage négatif beaucoup plus petit, capable d’apprendre efficacement contre les ordres incorrects. Le modèle de cohérence proposé a une structure simple, mais il surpasse de manière significative les méthodes de pointe précédentes sur un jeu de données de référence standard du corpus du Wall Street Journal, ainsi que dans de nombreux nouveaux paramètres difficiles de transfert vers des catégories de discours inédites dans les articles de Wikipedia.