Portrait de Ioannis Mitliagkas

Ioannis Mitliagkas

Membre académique principal
ioannis@mila.quebec
Chaire en IA Canada-CIFAR
Professeur adjoint, Université de Montréal, Département d'informatique et de recherche opérationnelle
Chercheur scientifique, Google DeepMind
Sujets de recherche
Apprentissage de représentations
Apprentissage profond
Modèles génératifs
Optimisation
Systèmes distribués
Systèmes dynamiques
Théorie de l'apprentissage automatique
Site web
Google Scholar
LinkedIn
X

Biographie

Ioannis Mitliagkas est un professeur associé au Département d'informatique et de recherche opérationnelle (DIRO) de l'Université de Montréal. Je suis également membre de Mila – Institut québécois d’intelligence artificielle et titulaire d’une chaire en IA Canada-CIFAR. J'occupe aussi un poste de chercheur scientifique à temps partiel chez Google DeepMind à Montréal.

Auparavant, j'ai été chercheur postdoctoral aux départements de statistique et d'informatique de l'Université de Stanford; j'ai obtenu mon doctorat à l'Université du Texas à Austin, au Département d'ingénierie électrique et informatique. Mes recherches portent sur l'apprentissage statistique et l'inférence, et plus particulièrement sur l'optimisation, les algorithmes efficaces distribués et à grande échelle, la théorie de l'apprentissage statistique et les méthodes MCMC. Mes travaux récents s’intéressent notamment aux méthodes d'optimisation efficace et adaptative, à l'étude de l'interaction entre l'optimisation et la dynamique des systèmes d'apprentissage à grande échelle, et à la dynamique des jeux.

Étudiants actuels

Mehdi Inane Ahmed
Doctorat - UdeM
Github
Google Scholar
Ange-Clément Akazan
Stagiaire de recherche - UdeM
Reyhane Askari Hemmat
Doctorat - UdeM
Co-superviseur⋅e :
Nicolas Le Roux
reyhane.askari.hemmat@mila.quebec
Oscar Clivio
Stagiaire de recherche - UdeM
Co-superviseur⋅e :
Alexandre Drouin
Site web
Github
Google Scholar
Ryan D'Orazio
Doctorat - UdeM
Site web
Google Scholar
Kilian Fatras
Postdoctorat - McGill
Superviseur⋅e principal⋅e :
Adam M. Oberman
Site web
Github
Google Scholar
Charles Guille-escuret
Doctorat - UdeM
Github
Mehrab Hamidi
Doctorat - UdeM
Github
Google Scholar
Adam Ibrahim
Doctorat - UdeM
Co-superviseur⋅e :
Irina Rish
Site web
Google Scholar
Zichu Liu
Doctorat - UdeM
Superviseur⋅e principal⋅e :
Gauthier Gidel
Divyat Mahajan
Doctorat - UdeM
Mehrnaz Mofakhami
Maîtrise recherche - UdeM
Superviseur⋅e principal⋅e :
Gauthier Gidel
Site web
Github
Google Scholar
Hiroki Naganuma
Doctorat - UdeM
Site web
Google Scholar
Vincent Quirion
Maîtrise recherche - UdeM
Github

Publications

Deep Learning @15 Petaflops/second: Semi-supervised pattern detection for 15 Terabytes of climate data
W. Collins
M. Wehner
M. Prabhat
Thorsten Kurth
Nadathur Satish
Ioannis Mitliagkas
Jian Zhang
Evan Racah
Md. Mostofa Ali Patwary
Narayanan Sundaram
Pradeep Dubey
2017-12-01
(publié)
www.semanticscholar.org
Accelerated Stochastic Power Iteration
Peng Xu
Bryan Dawei He
Christopher De Sa
Ioannis Mitliagkas
Christopher Re
Principal component analysis (PCA) is one of the most powerful tools in machine learning. The simplest method for PCA, the power iteration, … (voir plus)requires O ( 1 / Δ ) full-data passes to recover the principal component of a matrix with eigen-gap Δ. Lanczos, a significantly more complex method, achieves an accelerated rate of O ( 1 / Δ ) passes. Modern applications, however, motivate methods that only ingest a subset of available data, known as the stochastic setting. In the online stochastic setting, simple algorithms like Oja's iteration achieve the optimal sample complexity O ( σ 2 / Δ 2 ) . Unfortunately, they are fully sequential, and also require O ( σ 2 / Δ 2 ) iterations, far from the O ( 1 / Δ ) rate of Lanczos. We propose a simple variant of the power iteration with an added momentum term, that achieves both the optimal sample and iteration complexity. In the full-pass setting, standard analysis shows that momentum achieves the accelerated rate, O ( 1 / Δ ) . We demonstrate empirically that naively applying momentum to a stochastic method, does not result in acceleration. We perform a novel, tight variance analysis that reveals the "breaking-point variance" beyond which this acceleration does not occur. By combining this insight with modern variance reduction techniques, we construct stochastic PCA algorithms, for the online and offline setting, that achieve an accelerated iteration complexity O ( 1 / Δ ) . Due to the embarassingly parallel nature of our methods, this acceleration translates directly to wall-clock time if deployed in a parallel environment. Our approach is very general, and applies to many non-convex optimization problems that can now be accelerated using the same technique.
2017-07-10
ArXiv (preprint)
arxiv.org
arxiv.org