Portrait de Hugo Larochelle

Hugo Larochelle

Directeur scientifique, Équipe de direction
Professeur associé, Université de Montréal, Département d'informatique et de recherche opérationnelle
Professeur associé, McGill University, École d'informatique
Sujets de recherche
Apprentissage profond

Biographie

Hugo Larochelle est le directeur scientifique de Mila, le plus grand centre de recherche à but non lucratif en IA et apprentissage profond au monde. Avec une communauté de plus de 1500 chercheurs, l’institut s’est imposé comme un pilier de l'écosystème canadien de l’IA, avec un rayonnement qui s’étend bien au-delà des frontières du pays.

En tant que chercheur pionnier et leader industriel, il possède une connaissance unique tant sur les grands laboratoires de recherche en entreprise que sur l’excellence de la communauté universitaire canadienne en IA. Il a bâti ses assises académiques auprès de deux des « pères fondateurs » de l'intelligence artificielle : Yoshua Bengio et Geoffrey Hinton.

Au fil des ans, ses recherches ont mené à plusieurs découvertes que l'on retrouve dans les systèmes d'IA modernes. Ses travaux sur les auto-encodeurs débruiteurs (DAE) ont établi la reconstruction de données pures à partir de versions corrompues comme un paradigme évolutif pour l'apprentissage de représentations significatives à partir de grandes quantités de données non étiquetées. Grâce à des modèles tels que l'Estimateur de distribution autorégressif neuronal (NADE) et l'Auto-encodeur masqué pour l'estimation de distribution (MADE), il a contribué à populariser la modélisation autorégressive neuronales, désormais omniprésent dans l'IA générative. De plus, ses travaux sur l'apprentissage de nouvelles tâches sans données (Zero-Data Learning of New Tasks) ont introduit le concept, aujourd'hui courant, de l'apprentissage « zero-shot ».

Il a jeté un pont entre le milieu académique et l’industrie en cofondant la startup Whetlab, acquise par Twitter en 2015. Après un passage chez Twitter Cortex, il a été recruté pour diriger le laboratoire de recherche en IA de Google à Montréal (Google Brain), aujourd’hui intégré à Google DeepMind. Il demeure professeur associé à l'Université de Montréal et l’Université McGill, et est titulaire d'une chaire en IA Canada-CIFAR, formant ainsi la relève scientifique.

Parallèlement à ses fonctions de directeur scientifique chez Mila, il est également responsable scientifique chez Adaption Labs et conseille les start-ups Tiptree Systems et Prizmal.

Père de quatre enfants, Hugo Larochelle et sa conjointe, Angèle St-Pierre, ont également fait de multiples dons à l'Université de Montréal et à l'Université de Sherbrooke, particulièrement dans le domaine de l'IA pour l’environnement. Il a également fondé la conférence Techaide, mobilisant la communauté technologique de Montréal afin de collecter des fonds pour Centraide dans sa mission de lutte contre la pauvreté et l'exclusion sociale.

Étudiants actuels

Doctorat - UdeM
Superviseur⋅e principal⋅e :
Maîtrise professionnelle - McGill
Collaborateur·rice alumni - UdeM
Superviseur⋅e principal⋅e :
Postdoctorat - Polytechnique
Superviseur⋅e principal⋅e :

Publications

Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations
We propose zoneout, a novel method for regularizing RNNs. At each timestep, zoneout stochastically forces some hidden units to maintain thei… (voir plus)r previous values. Like dropout, zoneout uses random noise to train a pseudo-ensemble, improving generalization. But by preserving instead of dropping hidden units, gradient information and state information are more readily propagated through time, as in feedforward stochastic depth networks. We perform an empirical investigation of various RNN regularizers, and find that zoneout gives significant performance improvements across tasks. We achieve competitive results with relatively simple models in character- and word-level language modelling on the Penn Treebank and Text8 datasets, and combining with recurrent batch normalization yields state-of-the-art results on permuted sequential MNIST.