Toronto Paper Matching System

L’une des tâches les plus importantes des organisateurs de conférence est l’attribution des articles aux réviseurs. L’évaluation des articles par les examinateurs est une étape cruciale dans la détermination du programme de la conférence et, dans un certain sens, dans l’orientation du terrain. Cependant, ce n’est pas une tâche simple: les grandes conférences doivent généralement attribuer des centaines d’articles à des centaines de réviseurs, et les contraintes de temps rendent la tâche impossible à accomplir par une seule personne. De plus, d’autres contraintes, telles que la charge de relecteur, doivent être prises en compte, empêchant le processus d’être complètement distribué. Nous avons mis au point la première version d’un système permettant de suggérer des tâches de relecteur pour la conférence NIPS 2010, suivi en 2012 d’une publication qui a mieux intégré notre système avec le très populaire outil de gestion des conférences (CMT) de Microsoft. Depuis lors, notre système a été largement adopté par les principales conférences des communautés de l’apprentissage automatique et de la vision par ordinateur. Ce document fournit une vue d’ensemble du système, un résumé des modèles d’apprentissage et des méthodes d’évaluation que nous avons utilisés, ainsi que des progrès récents et des problèmes en suspens.