Portrait de Simon Lacoste-Julien

Simon Lacoste-Julien

Membre académique principal

slacoste@mila.quebec

Chaire en IA Canada-CIFAR

Directeur scientifique adjoint, Mila, Professeur agrégé, Université de Montréal, Département d'informatique et de recherche opérationnelle

Vice-président et directeur de laboratoire, Samsung Advanced Institute of Technology (SAIT) AI Lab, Montréal

Sujets de recherche

Apprentissage profond

Causalité

Modèles génératifs

Modèles probabilistes

Optimisation

Théorie de l'apprentissage automatique

Traitement du langage naturel

Vision par ordinateur

Biographie

Simon Lacoste-Julien est professeur agrégé au Département d'informatique et de recherche opérationnelle (DIRO) de l'Université de Montréal, membre cofondateur de Mila – Institut québécois d’intelligence artificielle et titulaire d'une chaire en IA Canada-CIFAR. Il dirige également à temps partiel le SAIT AI Lab Montréal.

Ses recherches portent sur l'apprentissage automatique et les mathématiques appliquées, et intègrent des applications à la vision artificielle et au traitement du langage naturel. Il a obtenu une licence en mathématiques, physique et informatique à l’Université McGill, un doctorat en informatique à l’Université de Californie à Berkeley et un postdoctorat à l'Université de Cambridge.

Il a passé quelques années à l'Institut national de recherche en sciences et technologies du numérique (INRIA) et à l'École normale supérieure de Paris en tant que professeur de recherche avant de revenir à Montréal, en 2016, pour répondre à l'appel de Yoshua Bengio et contribuer à la croissance de l'écosystème de l'IA à Montréal.

Étudiants actuels

Reza Babanezhad Harikandeh

Visiteur de recherche indépendant - Samsung SAIT

Aristide Baratin

Visiteur de recherche indépendant - Samsung SAIT

aristidebaratin@hotmail.com

Vitoria Barin Pacela

Doctorat - UdeM

Quentin Bertrand

Postdoctorat - UdeM

Superviseur⋅e principal⋅e :

Visiteur de recherche indépendant - Samsung SAIT

Marwa El Halabi

Visiteur de recherche indépendant - Samsung SAIT

Jose Gallego Posada

Collaborateur·rice alumni - UdeM

Doctorat - UdeM

Visiteur de recherche indépendant - Samsung SAIT

yashgoyal.yg1@gmail.com

Meraj Hashemizadeh

Collaborateur·rice de recherche - UdeM

Alexia Jolicoeur-Martineau

Visiteur de recherche indépendant - Samsung SAIT

Pedram Khorsandi

Doctorat - UdeM

Visiteur de recherche indépendant - Seoul National University, Korea

Visiteur de recherche indépendant - UdeM

Sébastien Lachapelle

Doctorat - UdeM

Visiteur de recherche indépendant - Pohang University of Science and Technology in Pohang, Korea

Collaborateur·rice de recherche

Doctorat - UdeM

Rozhin Nobahari

Maîtrise recherche - UdeM

Doctorat - UdeM

Doctorat - UdeM

Visiteur de recherche indépendant - Samsung SAIT

Motahareh Sohrabi

Collaborateur·rice de recherche - UdeM

Doctorat - UdeM

Visiteur de recherche indépendant - Samsung SAIT

Billets de blogue

Additive Decoders for Latent Variables Identification and Cartesian-Product Extrapolation

18 mars 2024

Décodeurs additifs pour l’identification des variables latentes et l’extrapolation du produit cartésien

par

Sébastien Lachapelle

Ioannis Mitliagkas

Simon Lacoste-Julien

Publications

Frank-Wolfe Splitting via Augmented Lagrangian Method

Fabian Pedregosa

Simon Lacoste-Julien

Minimizing a function over an intersection of convex sets is an important task in optimization that is often much more challenging than mini… (voir plus)mizing it over each individual constraint set. While traditional methods such as Frank-Wolfe (FW) or proximal gradient descent assume access to a linear or quadratic oracle on the intersection, splitting techniques take advantage of the structure of each sets, and only require access to the oracle on the individual constraints. In this work, we develop and analyze the Frank-Wolfe Augmented Lagrangian (FW-AL) algorithm, a method for minimizing a smooth function over convex compact sets related by a "linear consistency" constraint that only requires access to a linear minimization oracle over the individual constraints. It is based on the Augmented Lagrangian Method (ALM), also known as Method of Multipliers, but unlike most existing splitting methods, it only requires access to linear (instead of quadratic) minimization oracles. We use recent advances in the analysis of Frank-Wolfe and the alternating direction method of multipliers algorithms to prove a sublinear convergence rate for FW-AL over general convex compact sets and a linear convergence rate for polytopes.

2018-03-31

ArXiv (preprint)

Frank-Wolfe Splitting via Augmented Lagrangian Method

Fabian Pedregosa

Simon Lacoste-Julien

Minimizing a function over an intersection of convex sets is an important task in optimization that is often much more challenging than mini… (voir plus)mizing it over each individual constraint set. While traditional methods such as Frank-Wolfe (FW) or proximal gradient descent assume access to a linear or quadratic oracle on the intersection, splitting techniques take advantage of the structure of each sets, and only require access to the oracle on the individual constraints. In this work, we develop and analyze the Frank-Wolfe Augmented Lagrangian (FW-AL) algorithm, a method for minimizing a smooth function over convex compact sets related by a "linear consistency" constraint that only requires access to a linear minimization oracle over the individual constraints. It is based on the Augmented Lagrangian Method (ALM), also known as Method of Multipliers, but unlike most existing splitting methods, it only requires access to linear (instead of quadratic) minimization oracles. We use recent advances in the analysis of Frank-Wolfe and the alternating direction method of multipliers algorithms to prove a sublinear convergence rate for FW-AL over general convex compact sets and a linear convergence rate for polytopes.

2018-01-01

AISTATS (publié)

proceedings.mlr.press