Pourquoi étudier au MILA?

Le MILA étudie l’apprentissage machine, avec une spécialisation particulière en apprentissage profond et en apprentissage par renforcement

Nous sommes toujours intéressés à pousser les limites de la recherche fondamentale en apprentissage machine. Cet institut est d’ailleurs reconnu pour ses compétences sur les:

  • Fondements de l’apprentissage profond: l’institut compte à son actif la publication de l’un des premiers articles du domaine (NIPS 2006), un livre (2009), une revue de la littérature résumant l’état de l’art de l’apprentissage profond (2013) ainsi que plusieurs autres contributions. Ian Goodfellow (ancien étudiant au doctorat de MILA), Yoshua Bengio et Aaron Courville  a publié l’un des livres les plus complets sur l’apprentissage profond en 2016.
  • Autoencodeurs: le MILA a contribué à la révolution de l’apprentissage profond en introduisant l’empilement d’auto-encodeurs débruitants (stacked denoising autoencoders). C’est également ici qu’ont été inventés les auto-encodeurs contractifs (contractive autoencoders) et les réseaux stochastiques génératifs (generative stochastic networks).
  • Réseaux de neuronnes supervisés: le MILA est un pionnier dans l’utilisation des neurones linéaires rectifiés utilisés dans les réseaux de neurones à propagation avant (feedforward neural nets). Les réseaux rectifieurs profonds ont acquis une grande popularité dans les domaines de la vision et de la reconnaissance de parole. Nous avons aussi développé récemment les unités maxout qui ont aussi gagné en popularité dans une variété d’applications en traitement de la parole et de vision par ordinateur.
  • Modèles génératifs: le MILA est le lieu de naissance du  « spike-and-slab » RBM (restricted Boltzmann machine), l’un des meilleurs modèles génératifs pour les images naturelles. Les étudiants du MILA étudient également un vaste registre de sujets reliés aux machines de Boltzmann, y compris la manière dont on peut améliorer l’entraînement et l’échantillonnage avec ces machines.
  • Réseaux de neurones récurrents: les étudiants du MILA travaillent sur la modélisation de la structure temporelle à l’aide de réseaux récurrents. Les modèles neuronaux de langage (avec des mots intégrés) ont été inventés ici tout comme les RNN-RBMs, des modèles très performants pour modéliser la musique polyphonique.

 

Partenaires industriels

Notre institut est financé par les partenaires industriels suivants:

  • IBM finance de nombreux projets de recherche sur l’apprentissage profond au MILA, principalement dans les domaines de la vision par ordinateur et du traitement des langues.
  • D-Wave, The Quantum Computing Company™. Le MILA explore des utilisations de l’ordinateur analogique quantique de D-Wave pour résoudre des problèmes difficiles d’apprentissage et d’inférence avec les modèles graphiques probabilistes.
  • Ubisoft, la plus grande compagnie de Montréal spécialisée dans la production de jeux vidéos. Le MILA travaille sur des solutions d’apprentissage automatique permettant d’améliorer et bonifier l’expérience de jeu des utilisateurs.
  • Google veut construire et entraîner efficacement des modèles de plus en plus gros. Nous avons introduit le concept de calcul conditionnel distribué ainsi que celui de réseaux dynamiquement structurés pour atteindre cet objectif.
  • Nuance s’intéresse à améliorer les algorithmes d’apprentissage pour la parole et le langage.
  • Facebook cherche à améliorer tous les aspects de l’apprentissage profond.

 

Il y a plusieurs avantages à devenir un étudiant du MILA

  • Milieu de recherche intellectuellement très stimulant: Au MILA nous sommes passionnés par l’avancement des connaissances en intelligence artificielle. Quelque soit l’heure ou le jour, vous trouverez des étudiants en train de débattre de toutes sortes d’idées de recherche originales. Les professeurs sont très engagés et impliqués avec les étudiants, ce qui contribue à créer un climat de recherche interactif et très ouvert.
  • Équilibre travail / vie personnelle: Contrairement à ce qui peut se vivre dans les laboratoires de recherche aux États-Unis, au MILA nous produisons une recherche de qualité tout en gardant un équilibre entre le travail et la vie personnelle. La culture québécoise favorise cet état d’esprit.
  • Ressources en calcul importantes: L’université de Montréal a le deuxième plus important budget de recherche parmi toutes les universités canadienne et le MILA a un historique prestigieux d’obtention de subventions de recherche. Ce qui veut dire que les étudiants du MILA ont accès à plusieurs ordinateurs puissants équipés de GPUs. L’institut bénéficie également de ressources additionnelles par le truchement d’un accès partagé au regroupement d’ordinateurs déployés à travers le Québec et le Canada.
  • Invitation à participer aux conférences: Tant que les ressources financières de l’institut le permettent, ce qui est vrai la plupart du temps, le MILA envoie habituellement une large délégation d’étudiants dans les conférences les plus prestigieuses en apprentissage automatique et en apprentissage profond telles que NIPS, ICML et ICLR. Contrairement à ce qui se passe dans plusieurs autres laboratoires, il est fréquent que les étudiants à la maîtrise, les seconds et troisièmes auteurs et même les étudiants qui n’ont pas eu de papiers acceptés aient la chance d’aller aux conférences. En effet, les professeurs encouragent fortement les étudiants à participer aux conférences parce qu’ils considèrent cela comme une partie essentielle de leur formation de chercheur.
  • Recherche financée: Les étudiants du MILA ont généralement accès à des bourses qui se comparent avantageusement à celles proposées dans les programmes gradués aux États-Unis. Ce financement est habituellement lié à des projets de recherche industrielle. Ces travaux sont souvent publiables. La plupart des étudiants trouvent cet arrangement préférable à celui proposé par d’autres universités où les étudiants financés doivent concéder une part importante de leur travail à effectuer des tâches qui ne sont pas des tâches liés à des activités de recherche.
  • Stages: Les étudiants du MILA font souvent des stages au sein des meilleurs groupes de recherche à travers le monde. Par exemple:
    • Sarath Chandar, Montreal Google Brain (2017)
    • Dzmitry Bahdanau, London DeepMind (2017)
    • Tim Cooijmans, London DeepMind (2017)
    • Tong Che, Berkeley, CA (2017)
    • Vincent Dumoulin, London DeepMind (2017)

FAQ:

Projets

La plupart des projets du MILA touchent à l’apprentissage profond, cependant l’institut a élargi récemment ses intérêts à l’apprentissage machine plus en général, incluant l’optimisation. Les projets du MILA appliquent l’apprentissage machine dans une grande variété de contextes, du traitement des langues naturelles à la vision par ordinateur, et visent l’amélioration des techniques et algorithmes actuels.

Pourquoi est-ce qu’une personne avec des habiletés en mathématiques et en informatique aimerait travailler dans le domaine de l’apprentissage automatique?

L’apprentissage profond est un champ de recherche nouveau et passionnant. Ce domaine est encore jeune. Ainsi, un étudiant avec de bonnes aptitudes en mathématiques peut assimiler aisément la plupart des idées centrales au domaine et commencer rapidement à contribuer à la recherche. Récemment, il a été démontré que l’apprentissage profond, grâce à de gros réseaux neuronaux utilisant des GPU ou implémentés selon une architecture distribuée, a permis à la reconnaissance d’objets et à la reconnaissance de la parole de faire de grands bonds en avant.

Ainsi, avec la recherche en apprentissage profond, les étudiants possédant un bon bagage en mathématiques et des habilités en programmation, ont une opportunité sans précédents de faire une différence et d’avoir un impact.

Quels professeurs sont actuellement à la recherche d’étudiants et quels sont les types de projets sur lesquels ils aimeraient travailler avec vous?

Veuillez vous référer à la page web du prof pour en connaître d’avantage sur ses intérêts de recherche.

Le MILA regroupe cinq professeurs du département d’informatique:

un professeur de l’École polytechnique qui est spécialisé en apprentissage automatique appliqué à la vision artificielle:

et deux professeur de l’école des Hautes Études Commercial (HEC) spécialisée en algorithmes de décisions et recommendations:

Et plusieurs membres associés (qui sont disponibles pour des co-supervision):

Vous pouvez faire une demande d’admission pour commencer à travailler avec eux.

Est-ce que je dois savoir parler français?

Le français est la langue officielle du Québec. Il pourrait être par conséquent très utile d’apprendre le français si vous choisissez de vivre ici et profiter au maximum de tout ce que la ville a à offrir.

Ceci étant dit, Montréal est l’une des villes les plus bilingues au monde et la plupart des étudiants actuels de l’institut sont arrivés au Québec en ne parlant pas, ou alors très peu, le français.

La popularité relative de l’anglais et du français au sein de l’institut varie en fonction du temps. En ce moment, beaucoup des étudiants proviennent de pays où le français n’est pas une langue officielle tel que les États-Unis, la Chine, la Turquie et l’Iran. À ce titre, tous les étudiants de l’institut parle raisonnablement bien anglais et un sous-ensemble d’entre eux parle également français.

Les cours de l’université de Montréal sont donnés en français. Il est cependant possible de prendre quelques cours en anglais à l’université McGill ou à l’université Concordia. Une ligne d’autobus relie l’université de Montréal au centre-ville où se trouvent ces deux universités. Il est possible de remettre vos devoirs et vos examens écrits en anglais. Les étudiants inscrits à un programme de 1er cycle doivent passer un examen de français qui est conditionnel à leur admission mais cet examen n’est pas un pré-requis pour l’admission aux programmes de maîtrise et de doctorat.

Est-ce que j’aurai à payer des frais supplémentaires en tant qu’étudiant étranger?

Par défaut, les étudiants étrangers doivent payer des frais additionnels, mais les étudiants du MILA peuvent habituellement faire financer ces frais par les fonds de recherche accordés à l’institut. Ils peuvent aussi, le cas échéant, obtenir une exemption. Vous devriez être avisé si vous devez payer ces frais avant la date limite d’acceptation ou de refus de l’offre d’admission de l’Université de Montréal.

Est-ce qu’il fait froid à Montréal?

C’est vrai qu’il peut faire froid à Montréal en hiver (il peut aussi faire très chaud durant l’été). Cependant, la ville est bien adaptée pour fonctionner dans ces conditions climatiques. Par exemple, le déneigement des rues se fait rapidement et efficacement. Bien entendu, vous aurez besoin d’un bon manteau et de bottes. La plupart des étudiants étrangers s’accommodent assez bien de ce climat qui, somme toute, n’est pas bien différent que celui qu’on retrouve à Boston ou Toronto.

L’hiver a malgré tout ses avantages. Il est possible de patiner sur le lac gelé du Mont-Royal, tout près de l’université. Des centres de ski (ski de fond et ski alpin) sont accessibles en voiture. Enfin, vous pouvez aller glisser dans les nombreux parcs de Montréal. Un grand carton déniché dans une des poubelles de recyclage de la ville fera l’affaire!

Avec leur diplôme en poche, que sont devenus les étudiants de notre institut?

  • Pascal Vincent a obtenu son doctorat au MILA et en demeure un membre actif. Il est maintenant professeur régulier.
  • Hugo Larochelle a obtenu son doctorat au MILA et est maintenant professeur régulier à l’université de Sherbrooke.
  • Dumitru Erhan a obtenu son doctorat au MILA et est maintenant ingénieur logiciel au sein de l’équipe de recherche en vision de Google, Venice, Californie près de Los Angeles.
  • James Bergstra a obtenu son doctorat au MILA et effectue un post-doctorat à l’université de Waterloo.
  • Nicolas Le Roux a obtenu son doctorat au MILA et est maintenant gestionnaire du programme scientifique à Criteo.
  • Nicolas Chapados a obtenu son doctorat au MILA et travaille maintenant à ApSTAT, compagnie qu’il a co-fondée avec d’autres membres du MILA.
  • Olivier Delalleau a obtenu son doctorat au MILA et travaille maintenant chez Ubisoft Montréal.
  • Philippe Hamel a obtenu son doctorat au MILA et travaille maintenant chez Google à Mountain View, Californie.
  • Guillaume Desjardins a obtenu son doctorat au MILA et travaille maintenant chez Google Deep Mind, Londres.
  • Razvan Pascanu a obtenu son doctorat au MILA et travaille maintenant chez Google Deep Mind, Londres.
  • Ian Goodfellow a obtenu son doctorat au MILA et travaille maintenant chez Google à Mountain View, Californie.