Toronto Paper Matching System

Generic Methods to Improve Training and Generalization
Juin 2013

The Toronto Paper Matching System: An automated paper-reviewer assignment system

Juin 2013

L’une des tâches les plus importantes des organisateurs de conférence est l’attribution des articles aux réviseurs. L’évaluation des articles par les examinateurs est une étape cruciale dans la détermination du programme de la conférence et, dans un certain sens, dans l’orientation du terrain. Cependant, ce n’est pas une tâche simple: les grandes conférences doivent généralement attribuer des centaines d’articles à des centaines de réviseurs, et les contraintes de temps rendent la tâche impossible à accomplir par une seule personne. De plus, d’autres contraintes, telles que la charge de relecteur, doivent être prises en compte, empêchant le processus d’être complètement distribué. Nous avons mis au point la première version d’un système permettant de suggérer des tâches de relecteur pour la conférence NIPS 2010, suivi en 2012 d’une publication qui a mieux intégré notre système avec le très populaire outil de gestion des conférences (CMT) de Microsoft. Depuis lors, notre système a été largement adopté par les principales conférences des communautés de l’apprentissage automatique et de la vision par ordinateur. Ce document fournit une vue d’ensemble du système, un résumé des modèles d’apprentissage et des méthodes d’évaluation que nous avons utilisés, ainsi que des progrès récents et des problèmes en suspens.

Reference

Laurent Charlin, Richard Zemel, The Toronto Paper Matching System: An automated paper-reviewer assignment system, in: ICML Workshop on Peer Reviewing and Publishing Models (PEER), 2013

PDF

Source code

Linked Profiles