Systematic Generalization: What Is Required and Can It Be Learned?

Sep 2018

Systematic Generalization: What Is Required and Can It Be Learned?

Sep 2018

Récemment, de nombreux modèles de compréhension du langage ont été proposés, notamment (i) des modèles génériques pouvant être facilement adaptés à une tâche donnée et (ii) des modèles modulaires intuitivement attrayants nécessitant une instanciation des connaissances de base. Nous comparons les deux types de modèles dans la mesure où ils se prêtent à une forme particulière de généralisation systématique. À l’aide d’un test VQA synthétique, nous évaluons quels modèles sont capables de raisonner sur toutes les paires d’objet possibles après avoir appris uniquement un petit sous-ensemble d’entre elles. Nos résultats montrent que la généralisation des modèles modulaires est beaucoup plus systématique et qu’elle est très sensible à la disposition des modules, c’est-à-dire à la façon dont les modules sont connectés. Nous cherchons en outre à déterminer si les modèles modulaires qui généralisent bien pourraient être fait avec une méthode bout en bout plus complète en apprenant leur mise en page et leur paramétrisation. Nous constatons que les méthodes bout en bout de travaux antérieurs apprennent souvent des mises en page ou des paramétrages inappropriés qui ne facilitent pas la généralisation systématique. Nos résultats suggèrent qu’en plus de la modularité, la généralisation systématique de la compréhension du langage peut nécessiter des régularisateurs explicites.

Reference

https://openreview.net/forum?id=HkezXnA9YX

Linked Profiles