Portrait de Nicolas Le Roux

Nicolas Le Roux

Membre industriel principal
Professeur associé, McGill University, École d'informatique
Professeur associé, Université de Montréal, Département d'informatique et de recherche opérationnelle
Chercheur scientifique, Microsoft Research
Sujets de recherche
Apprentissage par renforcement
Apprentissage profond
Modèles génératifs
Optimisation
Google Scholar

Biographie

Je suis un chercheur universitaire spécialisé dans l'apprentissage automatique, la vision par ordinateur, les réseaux de neurones, l'apprentissage en profondeur, l'optimisation, l'apprentissage à grande échelle et la modélisation statistique en général.

Étudiants actuels

Arnaud Bergeron
Maîtrise recherche - UdeM
Co-superviseur⋅e :
Joelle Pineau
arnaud.bergeron1@mila.quebec
Jacob Chmura
Maîtrise recherche - McGill
Co-superviseur⋅e :
Reihaneh Rabbany
jacob.chmura@mila.quebec
Site web
Github
Raesetje Sefala
Doctorat - McGill
Superviseur⋅e principal⋅e :
Joelle Pineau
raesetje.sefala@mila.quebec
Site web
Google Scholar

Publications

On the interplay between noise and curvature and its effect on optimization and generalization
Valentin Thomas
Fabian Pedregosa
Bart Van Merriënboer
Pierre-Antoine Mangazol
Yoshua Bengio
Nicolas Le Roux
The speed at which one can minimize an expected loss using stochastic methods depends on two properties: the curvature of the loss and the v… (voir plus)ariance of the gradients. While most previous works focus on one or the other of these properties, we explore how their interaction affects optimization speed. Further, as the ultimate goal is good generalization performance, we clarify how both curvature and noise are relevant to properly estimate the generalization gap. Realizing that the limitations of some existing works stems from a confusion between these matrices, we also clarify the distinction between the Fisher matrix, the Hessian, and the covariance matrix of the gradients.
2019-12-31
AISTATS (publié)
doi.org
proceedings.mlr.press