Portrait de Ioannis Mitliagkas

Ioannis Mitliagkas

Membre académique principal
ioannis@mila.quebec
Chaire en IA Canada-CIFAR
Professeur adjoint, Université de Montréal, Département d'informatique et de recherche opérationnelle
Chercheur scientifique, Google DeepMind
Sujets de recherche
Apprentissage de représentations
Apprentissage profond
Modèles génératifs
Optimisation
Systèmes distribués
Systèmes dynamiques
Théorie de l'apprentissage automatique
Site web
Google Scholar
LinkedIn
X

Biographie

Ioannis Mitliagkas (Γιάννης Μητλιάγκας) est professeur associé au Département d'informatique et de recherche opérationnelle (DIRO) de l'Université de Montréal. Il est également membre académique principal à Mila – Institut québécois d’intelligence artificielle et titulaire d’une chaire en IA Canada-CIFAR. Il occupe présentement un poste de chercheur scientifique à temps partiel chez Google DeepMind à Montréal.

Auparavant, il était chercheur postdoctoral aux Départements de statistique et d'informatique de l'Université de Stanford. Il a obtenu un doctorat au Département d'ingénierie électrique et informatique de l'Université du Texas à Austin.

Ses recherches portent sur des sujets liés à l'apprentissage automatique, en particulier l'optimisation, la théorie de l'apprentissage profond et l'apprentissage statistique. Ses travaux récents portent notamment sur les méthodes d'optimisation efficace et adaptative, l'étude de l'interaction entre l'optimisation et la dynamique des systèmes d'apprentissage à grande échelle et la dynamique des jeux.

Étudiants actuels

Mehdi Inane Ahmed
Doctorat - UdeM
Github
Google Scholar
Ryan D'Orazio
Doctorat - UdeM
Site web
Google Scholar
Charles Guille-escuret
Collaborateur·rice alumni - UdeM
Site web
Github
Google Scholar
Adam Ibrahim
Collaborateur·rice alumni - UdeM
Co-superviseur⋅e :
Irina Rish
Site web
Google Scholar
Zichu Liu
Doctorat - UdeM
Superviseur⋅e principal⋅e :
Gauthier Gidel
Youry Macius
Maîtrise professionnelle - UdeM
youry.macius@umontreal.ca
Site web
Github
Google Scholar
Divyat Mahajan
Doctorat - UdeM
Yukti Makhija
Doctorat - UdeM
Superviseur⋅e principal⋅e :
Simon Lacoste-Julien
Site web
Github
Google Scholar
Hiroki Naganuma
Doctorat - UdeM
Site web
Github
Google Scholar
Vincent Quirion
Maîtrise recherche - UdeM
Github

Publications

Accelerated Stochastic Power Iteration
Peng Xu
Bryan Dawei He
Christopher De Sa
Ioannis Mitliagkas
Christopher Re
Principal component analysis (PCA) is one of the most powerful tools in machine learning. The simplest method for PCA, the power iteration, … (voir plus)requires O ( 1 / Δ ) full-data passes to recover the principal component of a matrix with eigen-gap Δ. Lanczos, a significantly more complex method, achieves an accelerated rate of O ( 1 / Δ ) passes. Modern applications, however, motivate methods that only ingest a subset of available data, known as the stochastic setting. In the online stochastic setting, simple algorithms like Oja's iteration achieve the optimal sample complexity O ( σ 2 / Δ 2 ) . Unfortunately, they are fully sequential, and also require O ( σ 2 / Δ 2 ) iterations, far from the O ( 1 / Δ ) rate of Lanczos. We propose a simple variant of the power iteration with an added momentum term, that achieves both the optimal sample and iteration complexity. In the full-pass setting, standard analysis shows that momentum achieves the accelerated rate, O ( 1 / Δ ) . We demonstrate empirically that naively applying momentum to a stochastic method, does not result in acceleration. We perform a novel, tight variance analysis that reveals the "breaking-point variance" beyond which this acceleration does not occur. By combining this insight with modern variance reduction techniques, we construct stochastic PCA algorithms, for the online and offline setting, that achieve an accelerated iteration complexity O ( 1 / Δ ) . Due to the embarassingly parallel nature of our methods, this acceleration translates directly to wall-clock time if deployed in a parallel environment. Our approach is very general, and applies to many non-convex optimization problems that can now be accelerated using the same technique.
2017-07-10
ArXiv (preprint)
arxiv.org
arxiv.org