Portrait de Simon Lacoste-Julien

Simon Lacoste-Julien

Membre académique principal
slacoste@mila.quebec
Chaire en IA Canada-CIFAR
Directeur scientifique adjoint, Mila, Professeur agrégé, Université de Montréal, Département d'informatique et de recherche opérationnelle
Vice-président et directeur de laboratoire, Samsung Advanced Institute of Technology (SAIT) AI Lab, Montréal
Sujets de recherche
Apprentissage profond
Causalité
Modèles génératifs
Modèles probabilistes
Optimisation
Théorie de l'apprentissage automatique
Traitement du langage naturel
Vision par ordinateur
Site web
Google Scholar
LinkedIn
X

Biographie

Simon Lacoste-Julien est professeur agrégé au Département d'informatique et de recherche opérationnelle (DIRO) de l'Université de Montréal, membre cofondateur de Mila – Institut québécois d’intelligence artificielle et titulaire d'une chaire en IA Canada-CIFAR. Il dirige également à temps partiel le SAIT AI Lab Montréal.

Ses recherches portent sur l'apprentissage automatique et les mathématiques appliquées, et intègrent des applications à la vision artificielle et au traitement du langage naturel. Il a obtenu une licence en mathématiques, physique et informatique à l’Université McGill, un doctorat en informatique à l’Université de Californie à Berkeley et un postdoctorat à l'Université de Cambridge.

Il a passé quelques années à l'Institut national de recherche en sciences et technologies du numérique (INRIA) et à l'École normale supérieure de Paris en tant que professeur de recherche avant de revenir à Montréal, en 2016, pour répondre à l'appel de Yoshua Bengio et contribuer à la croissance de l'écosystème de l'IA à Montréal.

Étudiants actuels

Reza Babanezhad Harikandeh
Visiteur de recherche indépendant - Samsung SAIT
Aristide Baratin
Visiteur de recherche indépendant - Samsung SAIT
aristidebaratin@hotmail.com
Site web
Github
Google Scholar
Vitoria Barin Pacela
Doctorat - UdeM
Site web
Github
Google Scholar
Quentin Bertrand
Collaborateur·rice alumni - UdeM
Superviseur⋅e principal⋅e :
Gauthier Gidel
Site web
Github
Google Scholar
Kiho Cho
Visiteur de recherche indépendant - Samsung SAIT
Marwa El Halabi
Visiteur de recherche indépendant - Samsung SAIT
Site web
Github
Google Scholar
Jose Gallego Posada
Collaborateur·rice alumni - UdeM
Site web
Github
Google Scholar
Antonio Gois
Doctorat - UdeM
Site web
Github
Google Scholar
Yash Goyal
Visiteur de recherche indépendant - Samsung SAIT
yashgoyal.yg1@gmail.com
Site web
Google Scholar
Meraj Hashemizadeh
Collaborateur·rice de recherche - UdeM
Github
Alexia Jolicoeur-Martineau
Visiteur de recherche indépendant - Samsung SAIT
Site web
Github
Google Scholar
Pedram Khorsandi
Doctorat - UdeM
Github
Google Scholar
Kwon Kisoo
Visiteur de recherche indépendant - Seoul National University, Korea
Boris Knyazev
Visiteur de recherche indépendant - UdeM
Site web
Github
Google Scholar
Sébastien Lachapelle
Doctorat - UdeM
Site web
Google Scholar
Jaewoo Lee
Visiteur de recherche indépendant - Pohang University of Science and Technology in Pohang, Korea
Michelle Liu
Collaborateur·rice de recherche
Lucas Maes
Doctorat - UdeM
Site web
Github
Google Scholar
Rozhin Nobahari
Maîtrise recherche - UdeM
Juan Ramirez
Doctorat - UdeM
Site web
Github
Google Scholar
Mansi Rankawat
Doctorat - UdeM
Site web
Github
Google Scholar
Damien Scieur
Visiteur de recherche indépendant - Samsung SAIT
Site web
Google Scholar
Motahareh Sohrabi
Collaborateur·rice de recherche - UdeM
Site web
Helen Zhang
Doctorat - UdeM
Site web
Github
Yan Zhang
Visiteur de recherche indépendant - Samsung SAIT
Site web
Github
Google Scholar

Publications

Negative Momentum for Improved Game Dynamics
Gauthier Gidel
Reyhane Askari Hemmat
Mohammad Pezeshki
Gabriel Huang
Rémi LE PRIOL
Simon Lacoste-Julien
Ioannis Mitliagkas
Games generalize the single-objective optimization paradigm by introducing different objective functions for different players. Differentiab… (voir plus)le games often proceed by simultaneous or alternating gradient updates. In machine learning, games are gaining new importance through formulations like generative adversarial networks (GANs) and actor-critic systems. However, compared to single-objective optimization, game dynamics are more complex and less understood. In this paper, we analyze gradient-based methods with momentum on simple games. We prove that alternating updates are more stable than simultaneous updates. Next, we show both theoretically and empirically that alternating gradient updates with a negative momentum term achieves convergence in a difficult toy adversarial problem, but also on the notoriously difficult to train saturating GANs.
2018-07-12
ArXiv (preprint)
arxiv.org
arxiv.org
Frank-Wolfe Splitting via Augmented Lagrangian Method
Gauthier Gidel
Fabian Pedregosa
Simon Lacoste-Julien
Minimizing a function over an intersection of convex sets is an important task in optimization that is often much more challenging than mini… (voir plus)mizing it over each individual constraint set. While traditional methods such as Frank-Wolfe (FW) or proximal gradient descent assume access to a linear or quadratic oracle on the intersection, splitting techniques take advantage of the structure of each sets, and only require access to the oracle on the individual constraints. In this work, we develop and analyze the Frank-Wolfe Augmented Lagrangian (FW-AL) algorithm, a method for minimizing a smooth function over convex compact sets related by a "linear consistency" constraint that only requires access to a linear minimization oracle over the individual constraints. It is based on the Augmented Lagrangian Method (ALM), also known as Method of Multipliers, but unlike most existing splitting methods, it only requires access to linear (instead of quadratic) minimization oracles. We use recent advances in the analysis of Frank-Wolfe and the alternating direction method of multipliers algorithms to prove a sublinear convergence rate for FW-AL over general convex compact sets and a linear convergence rate for polytopes.
2018-03-31
ArXiv (preprint)
arxiv.org
arxiv.org
Frank-Wolfe Splitting via Augmented Lagrangian Method
Gauthier Gidel
Fabian Pedregosa
Simon Lacoste-Julien
Minimizing a function over an intersection of convex sets is an important task in optimization that is often much more challenging than mini… (voir plus)mizing it over each individual constraint set. While traditional methods such as Frank-Wolfe (FW) or proximal gradient descent assume access to a linear or quadratic oracle on the intersection, splitting techniques take advantage of the structure of each sets, and only require access to the oracle on the individual constraints. In this work, we develop and analyze the Frank-Wolfe Augmented Lagrangian (FW-AL) algorithm, a method for minimizing a smooth function over convex compact sets related by a "linear consistency" constraint that only requires access to a linear minimization oracle over the individual constraints. It is based on the Augmented Lagrangian Method (ALM), also known as Method of Multipliers, but unlike most existing splitting methods, it only requires access to linear (instead of quadratic) minimization oracles. We use recent advances in the analysis of Frank-Wolfe and the alternating direction method of multipliers algorithms to prove a sublinear convergence rate for FW-AL over general convex compact sets and a linear convergence rate for polytopes.
2018-01-01
AISTATS (publié)
proceedings.mlr.press
arxiv.org