À la veille d’ICML, les meilleures performances de Mila
Ce sera le calme plat dans les locaux de Mila à Mile-Ex cette semaine, lorsque les chercheurs afflueront sur les rives ensoleillées de Long Beach, Californie pour la trente-sixième Conférence internationale sur l’apprentissage machine (ICML). Nos étudiants et professeurs ont fait accepter vingt-deux communications à la conférence principale, sans compter les trente et un ateliers du week-end suivant. Avant le départ de nos équipes, nous avons réuni un groupe d’experts impartiaux pour reconnaître certaines de leurs réalisations collectives à l’échelle mondiale.
Le prix de la Stratégie r pour le plus grand nombre d’articles
Nommé d’après la théorie de l’évolution de la sélection r/K, juxtaposant les espèces « Stratégie r » qui produisent beaucoup de descendants avec une faible survie contre les espèces « Stratégie K » avec peu de descendants, mais une forte survie, ce prix reconnaît le professeur de Mila ayant le plus grand nombre total de communications au congrès. Notre panel n’a pas été surpris, et il ne surprendra sans doute personne que cet honneur appartienne au directeur scientifique de Mila, Yoshua Bengio, qui a fait mieux que le reste du domaine avec quatre articles.
Ce qui peut intéresser certains lecteurs, c’est la deuxième place du tout nouveau professeur de Mila, Ioannis Mitliagkas, qui s’est joint au laboratoire il y a seulement deux ans, à l’âge de 32 ans, et qui, avec trois publications, a éliminé des concurrents plus expérimentés comme Aaron Courville, Joëlle Pineau, Marc Bellemare et Doina Precup, qui ont terminé à deux chacun. Les parieurs seraient bien avisés d’examiner les implications d’une éventuelle perturbation à la prochaine édition de NeurIPS.
Le prix de la stratégie K pour la plus grande partie des citations sur Google Scholar
À ce stade du jeu, les attentes dans cette catégorie sont faibles : la plupart des articles ne sont pas cités dans d’autres articles avant que la conférence qui les publie n’ait eu lieu. C’est pourquoi nos panélistes ont été si ravis de découvrir que cet honneur serait partagé par deux articles, qui ont tous deux réussi à stimuler suffisamment l’intérêt de la communauté pour obtenir cinq citations chacun avant leur début officiel la semaine prochaine.
Ces deux articles sont « Safe Policy Improvement with Baseline Bootstrapping » par Romain Laroche, chercheur chez Microsoft, Remi Tachet des Combes, chercheur associé chez Microsoft, et Paul Trichelair, doctorant à Mila, et « Stochastic Gradient Push for Distributed Deep Learning » par Mahmoud Assram, doctorant à McGill, Nicolas Loizou, doctorant à l’University of Edinburgh, chercheur à Facebook et ancien postdoctorant à Mila Nicolas Ballas ainsi que Michael Rabbat, professeur Mila et chercheur à Facebook.
Le prix Mille mots pour les plus belles figures
Notre panel a choisi la figure 2 du papier « Hierarchical Importance Weighted Autoencoders », dont le pastel en aérosol délicatement coloré de z_j’s rappellent l’œuvre du pointilliste du XIXe siècle Georges Seurat.
Gauche : Huang et al’s “Figure 2” de ”Hierarchical Importance Weighted Autoencoders” (2019). Droite : Georges Seurat’s “Le Bec du Hoc, Grandcamp” (1885).
L’article contenant la figure gagnante a été rédigé par Chin-Wei Huang, doctorant à Mila, Kris Sankaran, chercheur postdoctoral à Mila, Eeshan Dhekane, étudiant à la maîtrise à Mila, Alexandre Lacoste, chercheur chez Element AI et Aaron Courville, professeur à Mila.
La figure 1 de la section « State-Reification Networks: Improving Generalization by Modeling the Distribution of Hidden Representations » a été classée au deuxième rang dans cette catégorie et dont la bande dessinée à trois panneaux sur la méthode de réification de l’État se comparait favorablement, de l’avis de notre groupe, à l’art narratif du grand Bill Watterson.
Figure 1. (a) Une distribution d’états cachés, avec une étiquette de classe indiquée par la couleur. (b) Dynamique de réification des états pour cartographier les états cachés vers une région de plus forte densité. (c) Une distribution des états des entrées, montrant des classes mal séparées, ce qui la rend impropre à la réification.
En haut : « Figure 1 » de Lamb et al. « State-Reification Networks: Improving Generalization by Modeling the Distribution of Hidden Representations » (2019). Ci-dessous : Extrait de « Calvin et Hobbes » de Watterson (1993).
Les auteurs de l’article sur la réification de l’État sont les doctorants à Mila : Alex Lamb, Anirudh Goyal et Sandeep Subramanian, ainsi que Jonathan Binas, chercheur postdoctoral à Mila, Ioannis Mitliagkas et Yoshua Bengio, professeurs à Mila, Denis Kasakov, étudiant à la maîtrise et le professeur Michael Mozer, tous deux de l’Université du Colorado.
Le prix de l’intimidation visuelle pour la plupart des équations
Le grand gagnant dans cette catégorie est « The Value Function Polytope in Reinforcement Learning », qui contient plus de 90 équations, réparties sur trois théorèmes, dix lemmes et trois corollaires.
Extrait de la page 14 de la documentation complémentaire de Dadashi et al “The Value Function Polytope in Reinforcement Learning” (2019)
Notre panel félicite Robert Dadashi, chercheur à Google AI, Marc Bellemare, professeur à Mila, Adrien Ali Taïga, étudiant au doctorat à Mila, Nicolas Le Roux, professeur à Mila et Dale Schuurmans, chercheur à Google et professeur à l’Université de l’Alberta de cette distinction.
Le prix de prévention de l’apocalypse (commandité par Elon Musk) pour la plus grande utilisation du mot « sécurité »
Nos panélistes se sont retrouvés dans une situation délicate, car il s’avère que les vingt-deux communications de Mila à ICML n’utilisent pas vraiment le mot « sécurité ». Après des négociations soutenues, ils ont décidé de décerner ce prix à « Fairwashing : The Risk of Rationalization » pour ses 165 utilisations du mot « équité » (y compris des variantes proches telles que « équitable », « plus équitable », « inéquitable »).
Extrait de la page 2 de Aïvodji et al’s “Fairwashing: The risk of rationalization”
L’article a été rédigé par Ulrich Aïvodji, post-doctorant à l’Université du Québec à Montréal, le professeur Sébastien Gambs, Olivier Fortineau, étudiant à la maîtrise à l’ENSTA Paris Tech, Hiromi Arai, chercheur au RIKEN Center for Advanced Intelligence Project, le professeur Satoshi Hara de l’université d’Osaka et Alain Tapp, professeur à Mila.
Elle a largement dépassé de loin la deuxième place, « Compositional Fairness Constraints for Graph Embeddings » par Avishek Joey Bose, doctorant à Mila, et Will Hamilton, professeur à Mila, qui ont utilisé le mot « équité » seulement 64 fois.
Prix Colombe de la Paix pour la plupart des coauteurs internationaux
Ce prix est décerné à l’équipe de sept chercheurs responsables de « Manifold Mixup: Better Representations by Interpolating Hidden States. »
Cette équipe compte des citoyens de l’Inde (stagiaire Mila Vikas Verma), des États-Unis (doctorant Mila Alex Lamb), de Nouvelle-Zélande (doctorant Mila Christopher Beckham), d’Iran (doctorant Amir Najafi de l’Université Sharif de technologie), de Grèce (Ioannis Mitliagkas, professeur à Mila), du Canada (Aaron Courville, professeur à Mila et Yoshua Bengio, directeur scientifique de Mila) et d’Espagne (David Lopez-Paz, chercheur à Facebook).
Prix de l’ingénu candide (« Recrue ») pour la contribution exceptionnelle d’un(e) participant(e) à ICML pour la première fois
Notre panel a choisi d’honorer les efforts d’Avishek Joey Bose, étudiant au doctorat à Mila, qui s’est envolé pour Long Beach en tant qu’auteur principal de « Compositional Fairness Constraints for Graph Embeddings », écrit avec Will Hamilton, professeur à Mila. Avec des yeux ravis et la candeur de la jeunesse, Joey a confié à notre journaliste : « Je suis ravi que mon premier grand devoir pendant mon doctorat soit avec Will, qui a été si important et utile dans ce processus. C’est encore mieux de savoir que c’est à la fois mon premier devoir et son premier devoir en tant que superviseur, et donc le premier pour notre groupe. »
Puisse son sourire durer jusqu’à la fin de la semaine !
Notre panel souhaite bonne chance à tous les membres de Mila qui présentent leur travail et les prie de se rappeler qu’ils sont tous maximaux dans une dimension ou plus !
Pour la liste complète des articles de Mila à ICML, cliquez ici.