Expertise
Les chercheurs du MILA ont développé une expertise en réseaux profonds (autant discriminants que génératifs) et leurs applications en vision, parole, langage. Le MILA est reconnu mondialement pour ses nombreuses percées dans le développement de nouveaux algorithmes d’apprentissage des réseaux profonds et leurs applications à de nombreux domaines. Ces domaines sont entre autres, la modélisation du langage, la traduction automatique, la reconnaissance d’objets, la modélisation de modèles génératifs avec sorties structurées et la reconnaissance du langage naturel.
Chercheurs
L’institut des algorithmes d’apprentissage de Montréal est composé de sept professeurs: Prof. Yoshua Bengio, Prof. Aaron Courville, Prof. Pascal Vincent, Prof. Roland Memisevic, Prof. Christopher Pal, Prof. Laurent Charlin, et Prof. Simon Lacoste-Julien, tous ayant une réputation d’experts internationaux dans le domaine de l’apprentissage profond.
Le MILA regroupe un grand nombre de chercheurs en plus de l’équipe de professeurs. Au début de l’année 2016, on comptait 6 post-doctorants, 42 doctorants, 22 étudiants à la maîtrise et 6 employés à temps plein dont une directrice exécutive, un chef du développement logiciel et quatre spécialistes programmeurs en apprentissage profond, faisant de cet institut le plus grand laboratoire académique dédié à l’étude de l’apprentissage profond et à ses applications (voir notre équipe ici).
Innovations et publications
De nombreuses innovations ayant conduites à la très grande vague de popularité de l’apprentissage profond dans les médias ont été inventées ou co-inventées au MILA. Citons notamment des contributions importantes au pré-entraînement de réseaux non supervisés couche par couche, aux réseaux rectifieurs profonds supervisés, aux réseaux neuronaux génératifs, à la théorie et aux avancées sur les réseaux récurrents, à l’ajustement automatique d’hyper-paramètres, à la traduction automatique et à l’analyse théorique des réseaux neuronaux. Voir notre répertoire de publications pour une liste plus exhaustive.
Fondateur du laboratoire: Yoshua Bengio
Yoshua Bengio est le fondateur de ce laboratoire. En poursuivant ses recherches en apprentissage profond, il a pour ambition de comprendre les mécanismes de l’intelligence en développant des algorithmes d’apprentissage automatique. Ses travaux de recherche sont largement cités (plus de 22000 citations et un H-index de 59 d’après Google Scholar en 2015). Il est actuellement l’éditeur du Journal of Machine Learning Research, éditeur associé de Neural Computation, éditeur de Foundations and Trends in Machine Learning. Il a également été éditeur associé de The Machine Learing Journal et de IEEE Transactions on Neural Networks. Yoshua Bengio a été le responsable de la programmation de NIPS’2008 et le directeur de la programmation de NIPS’2009 (NIPS est la conférence phare dans le domaine des algorithmes d’apprentissage et des réseaux neuronaux). Depuis 1999, il a été co-organisateur avec Yann Le Cun du Learning Workshop. Il a également créé avec lui the International Conference on Representation Learning (ICLR). Depuis 2007, il est également l’organisateur ou le co-organisateur de plusieurs événements tels que les ateliers d’apprentissage profonds à ICLM et NIPS.
Nos publications importantes récentes
- Y. Bengio, I. Goodfellow, A. Courville. (2015) Deep Learning. MIT Press (under preparation)
- Y. Bengio, A. Courville, P. Vincent. (2013) Unsupervised feature learning and deep learning: A review and new perspectives. IEEE Trans. Pattern Analysis and Machine Intelligence.
- I. Goodfellow, D. Warde-Farley, M. Mirza, A. Courville and Y. Bengio (2013). Maxout Networks. Proc. ICML’2013.
- K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio. (2014) Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP.
- Y. Bengio, E. Thibodeau-Laufer, G. Alain, J. Yosinski. (2014) Deep Generative Stochastic Networks Trainable by Backprop. In Proceedings of NIPS.