Cours

Sujets avancées pour la prédiction d’objets structurés (tels: graphes, couplages, réseau de flot). Apprentissage génératif vs discriminatif et modèles à énergie; CRF, SVM structurée, optimisation à grande échelle; algorithmes combinatoires; RNN.

Je. 13h30 – 15h30

(Winter 2019)

Algorithmes d’apprentissage de représentations des données et réseaux de neurones artificiels profonds. Avantages de l’apprentissage profond pour l’intelligence artificielle. Modélisation de la distribution de probabilité des données.

(Winter 2020)

La recherche dans le domaine de l’apprentissage profond produit des résultats de pointe sur un certain nombre de tâches d’apprentissage machine. La plupart de ces progrès sont le fruit de l’intuition et d’une exploration massive par essais et erreurs. Par conséquent, la théorie est actuellement à la traîne par rapport à la pratique. La communauté de l’apprentissage machine ne comprend pas pleinement pourquoi les meilleures méthodes fonctionnent. Pourquoi pouvons-nous optimiser de manière fiable des objectifs non convexes ? Dans quelle mesure nos architectures sont-elles expressives, en termes de classe d’hypothèses qu’elles décrivent ? Pourquoi certains de nos modèles les plus complexes généralisent-ils pour donner des exemples inédits lorsque nous utilisons des ensembles de données d’un ordre de grandeur inférieur à ce que la théorie classique de l’apprentissage statistique juge suffisant ? Un symptôme de ce manque de compréhension est que les méthodes d’apprentissage profond manquent largement de garanties et d’interprétabilité, deux propriétés nécessaires aux applications critiques. Plus important encore, une base théorique solide peut aider à la conception d’une nouvelle génération de méthodes efficaces – ce qui permet de répondre au besoin d’une exploration fondée sur des essais et des erreurs aveugles. Dans cette classe, nous passerons en revue un certain nombre de publications récentes qui tentent de faire la lumière sur ces questions. Avant de discuter des nouveaux résultats dans chaque article, nous présenterons d’abord les outils fondamentaux nécessaires de l’optimisation, les statistiques, la théorie de l’information et la mécanique statistique. Le but de ce cours est d’inciter les étudiants à s’engager dans de nouvelles recherches dans le domaine. À cette fin, la majorité du crédit sera accordée pour un rapport de projet de classe et une présentation sur un sujet pertinent. » Note : Il s’agit d’un cours avancé conçu pour les étudiants au doctorat ayant de solides connaissances en mathématiques.

Ce cours offre un survol des connections entre algèbre linéaire/multilinéaire et apprentissage automatique, et a pour but d’initier les étudiant.e.s aux nouvelles recherches dans ce domaine. – Notions fondamentales d’algèbre linéaire et multilinéaire. – Factorisation matricielle/tensorielle et apprentissage: PCA/CCA, systèmes de recommendation, méthodes spectrales d’apprentissage, K-FAC, normalisation spectrale, méthode des moments tensorielle, compression de modèles (e.g. MRF, NN), régression tensorielle, etc. – Problèmes ouverts.

Je. 11h30 – 13h30

(Winter 2020)

Stephen Hawking famously said, ‘Intelligence is the ability to adapt to change.’ While today’s AI systems can achieve impressive performance in specific tasks, from accurate image recognition to super-human performance in games such as Go and chess, they are still quite « narrow », i.e. not being able to easily adapt to a wide range of new tasks and environments, without forgetting what they have learned before – something that humans and animals seem to do naturally during their lifetime. This course will focus on the rapidly growing research area of machine learning called continual lifelong learning which aims to push modern AI from « narrow » to « broad », i.e. to develop learning models and algorithms capable of never-ending, lifelong, continual learning over a large, and potentially infinite set of drastically different tasks and environments. In this course, we will review state-of-art literature on continual lifelong learning in modern AI, including catastrophic forgetting problem and recent approaches to overcoming it in deep neural networks, from augmenting stochastic gradient decent algorithm to alternative optimization approaches, architecture adaptation/evolution based on expansion/compression, dynamic routing/selective execution (« internal » attention) and other approaches; moreover, we will also survey related work on stability vs plasticity dilemma in neuroscience and related topics in biology of adaptation and memory.x

Préparation aux applications pratiques de l’apprentissage automatique à travers des projets concrets sur des données réelles. Utilisation de logiciels spécialisés d’apprentissage automatique pour l’intelligence artificielle. Remarque : Il est recommandé de prendre IFT6135 Apprentissage de représentations auparavant ou concomitant.

Ve. 9h30 – 11h30

–

16-04-2021

Graph representation learning (GRL) is a quickly growing subfield of machine learning that seeks to apply machine learning methods to graph-structured data. Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. This course will provide an introduction to graph representation learning, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. During the course, we will study both the theoretical motivations and practical applications of these methods.

n/a

 n/a

Ven. 13:30 – 15:30

30-04-2020

(Hiver 2020)

This course aims to introduce the basic techniques of deep learning including feedforward neural networks, convolutional neural networks, and recurrent neural networks. We will also cover recent progress on deep generative models. Finally, we will introduce how to apply these techniques to natural language understanding and graph analysis.

Je. 10 – 11:30

(Hiver 2019)

Ce cours vise à étudier les algorithmes et outils mathématiques servant à analyser ou à optimiser des processus de décision séquentiels, pour lesquels il y a interaction entre les décisions, dans un environnement certain ou incertain. On verra comment implanter les algorithmes de calcul et on étudiera leur performance. Dans plusieurs cas on pourra démontrer certaines propriétés caractérisant la forme d’une politique optimale. On examinera aussi des exemples d’applications tirées de différents domaines, incluant la gestion et la finance.

Une introduction à l’inférence bayésienne via la programmation probabiliste.

n/a

Fri. 1:30 – 3:30

–

12-08-2020

Me 9h30 – 11h30

Je 9h30 – 10h30

Section A1

Je 10h30 – 12h30

Section A102

Je 10h30 – 12h30

–

12-03-2020

–

12-07-2020

–

12-04-2020

Une introduction à la modélisation informatique du langage naturel, y compris des algorithmes, des formalismes et des applications. Morphologie informatique, modélisation du langage, analyse syntaxique, sémantique lexicale et compositionnelle et analyse du discours. Applications sélectionnées telles que la synthèse automatique, la traduction automatique et le traitement de la parole. Techniques d’apprentissage automatique pour le traitement du langage naturel.

Le cours couvrira une sélection de sujets et de nouveaux développements dans l’exploration de données et dans l’apprentissage automatique, en mettant particulièrement l’accent sur les bonnes méthodes et pratiques permettant de déployer efficacement des systèmes réels. Nous étudierons des algorithmes et des techniques couramment utilisés, notamment la régression linéaire et logistique, la classification, les réseaux de neurones, les machines à vecteurs de support, les arbres de décision, etc. Nous discuterons également de méthodes permettant de résoudre des problèmes pratiques tels que la validation empirique, la sélection des caractéristiques, la réduction de la dimensionnalité et l’estimation des erreurs.

Je 10h00 – 11h30

Une introduction à la science des réseaux, c’est un cours mi-conférence mi-séminaire. Les réseaux modélisent les relations dans les systèmes complexes, depuis les hyperliens entre les pages web et les coauteurs entre chercheurs jusqu’aux interactions biologiques entre les protéines et les gènes, en passant par les liens synaptiques entre les neurones. La science des réseaux est un domaine de recherche interdisciplinaire impliquant des chercheurs en physique, informatique, sociologie, mathématiques et statistiques, avec des applications dans un large éventail de domaines dont la biologie, la médecine, les sciences politiques, le marketing, l’écologie, la criminologie, etc. Dans ce cours, nous couvrirons les concepts et techniques de base utilisés dans la science des réseaux, nous passerons en revue les techniques de pointe et nous discuterons des développements les plus récents.

Contrôle de véhicules autonomes avec vision par ordinateur et apprentissage automatique; construction d’un véhicule autonome à petite échelle; senseurs, vision, estimation d’état, navigation, planification, contrôle et actionnement.

Le cours est prévu pour être donné en anglais (pour accommoder des étudiants anglophones), sauf si tous les étudiants en classe sont francophones et demandent qu’il soit donné en français. Néanmoins, tous les travaux faits par les étudiants pourront toujours être remis en français.

Lu 15h30 – 17h30

Il s’agit d’un cours de séminaire avancé sur le sujet et en tant que tel, nous lirons et discuterons d’un large éventail d’articles récents et classiques. Les conférences seront en grande partie dirigées par des étudiants. Nous supposons une connaissance des principes fondamentaux de l’apprentissage automatique (et en particulier de l’apprentissage en profondeur – comme vous le trouveriez dans IFT6135), nous explorerons également les applications de l’apprentissage de la représentation auto-supervisé dans un large éventail de domaines, y compris le traitement du langage naturel, la vision par ordinateur. et apprentissage par renforcement. Une connaissance de base de ces domaines sera également supposée.

L’évaluation des étudiants se fera sur la base de deux volets: 50% pour les présentations en classe (environ 3 par étudiant); et 50% pour un projet de cours.

Je 18h30 – 20h30

Sujets avancés pour la prédiction d’objets structurés (tels: graphes, couplages, réseaux de flot). Apprentissage génératif vs.
discriminatif. Modèles à énergie. Champs aléatoires conditionnels. SVM structurées et à variable latente, algorithms CCCP. Optimization à grande échelle: Frank-Wolfe, SGD à variance réduite, méthodes bloques-coordonnées. Apprendre à chercher. RNN. Algorithmes
combinatoires: réseaux coût-min, optimization sous-modulaire,
programmation dynamique.

https://sites.google.com/mila.quebec/ift6135

La recherche dans le domaine de l’apprentissage profond produit des résultats de pointe sur un certain nombre de tâches d’apprentissage machine. La plupart de ces progrès sont le fruit de l’intuition et d’une exploration massive par essais et erreurs. Par conséquent, la théorie est actuellement à la traîne par rapport à la pratique. La communauté de l’apprentissage machine ne comprend pas pleinement pourquoi les meilleures méthodes fonctionnent. Pourquoi pouvons-nous optimiser de manière fiable des objectifs non convexes ? Dans quelle mesure nos architectures sont-elles expressives, en termes de classe d’hypothèses qu’elles décrivent ? Pourquoi certains de nos modèles les plus complexes généralisent-ils pour donner des exemples inédits lorsque nous utilisons des ensembles de données d’un ordre de grandeur inférieur à ce que la théorie classique de l’apprentissage statistique juge suffisant ? Un symptôme de ce manque de compréhension est que les méthodes d’apprentissage profond manquent largement de garanties et d’interprétabilité, deux propriétés nécessaires aux applications critiques. Plus important encore, une base théorique solide peut aider à la conception d’une nouvelle génération de méthodes efficaces – ce qui permet de répondre au besoin d’une exploration fondée sur des essais et des erreurs aveugles. Dans cette classe, nous passerons en revue un certain nombre de publications récentes qui tentent de faire la lumière sur ces questions. Avant de discuter des nouveaux résultats dans chaque article, nous présenterons d’abord les outils fondamentaux nécessaires de l’optimisation, les statistiques, la théorie de l’information et la mécanique statistique. Le but de ce cours est d’inciter les étudiants à s’engager dans de nouvelles recherches dans le domaine. À cette fin, la majorité du crédit sera accordée pour un rapport de projet de classe et une présentation sur un sujet pertinent.

Note : Il s’agit d’un cours avancé conçu pour les étudiants au doctorat ayant de solides connaissances en mathématiques

Ce cours offre un survol des connections entre algèbre linéaire/multilinéaire et apprentissage automatique, et a pour but d’initier les étudiant.e.s aux nouvelles recherches dans ce domaine.
– Notions fondamentales d’algèbre linéaire et multilinéaire.
– Factorisation matricielle/tensorielle et apprentissage: PCA/CCA, systèmes de recommendation,  méthodes spectrales d’apprentissage, K-FAC, normalisation spectrale, méthode des moments tensorielle, compression de modèles (e.g. MRF, NN),  régression tensorielle, etc.
– Problèmes ouverts.

Je 11h30 – 13h30

Stephen Hawking famously said, ‘Intelligence is the ability to adapt to change.’ While today’s AI systems can achieve impressive performance in specific tasks, from accurate image recognition to super-human performance in games such as Go and chess, they are still quite « narrow », i.e. not being able to easily adapt to a wide range of new tasks and environments, without forgetting what they have learned before – something that humans and animals seem to do naturally during their lifetime. This course will focus on the rapidly growing research area of machine learning called continual lifelong learning which aims to push modern AI from « narrow » to « broad », i.e. to develop learning models and algorithms capable of never-ending, lifelong, continual learning over a large, and potentially infinite set of drastically different tasks and environments. In this course, we will review state-of-art literature on continual lifelong learning in modern AI, including catastrophic forgetting problem and recent approaches to overcoming it in deep neural networks, from augmenting stochastic gradient decent algorithm to alternative optimization approaches, architecture adaptation/evolution based on expansion/compression, dynamic routing/selective execution (« internal » attention) and other approaches; moreover, we will also survey related work on stability vs plasticity dilemma in neuroscience and related topics in biology of adaptation and memory.

Je 16h30 – 18h30

au

16-04-2020

Ve 9h30 – 11h30

Graph representation learning (GRL) is a quickly growing subfield of machine learning that seeks to apply machine learning methods to graph-structured data. Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. This course will provide an introduction to graph representation learning, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. During the course, we will study both the theoretical motivations and practical applications of these methods.

Me 13h00 – 14h30

Me 8h30 – 10h00

Je 13h00 – 14h30

Je 16h05 – 17h25

Deep learning has achieved great success in a variety of fields such as speech recognition, image understanding, and natural language understanding. This course aims to introduce the basic techniques of deep learning and recent progress of deep learning on natural language understanding and graph analysis.

This course aims to introduce the basic techniques of deep learning including feedforward neural networks, convolutional neural networks, and recurrent neural networks. We will also cover recent progress on deep generative models. Finally, we will introduce how to apply these techniques to natural language understanding and graph analysis.

Ve 15h30 – 18h30

Deep learning has achieved great success in a variety of fields such as speech recognition, image understanding, and natural language understanding. This course aims to introduce the basic techniques of deep learning and recent progress of deep learning on natural This course covers a selected set of topics in machine learning and data mining, with an emphasis on good methods and practices for deployment of real systems. The majority of sections are related to commonly used supervised learning techniques, and to a lesser degree unsupervised methods. This includes fundamentals of algorithms on linear and logistic regression, decision trees, support vector machines, clustering, neural networks, as well as key techniques for feature selection and dimensionality reduction, error estimation and empirical validation.

Je 16h30 – 17h30

This course covers a selected set of topics in machine learning and data mining, with an emphasis on good methods and practices for deployment of real systems. The majority of sections are related to commonly used supervised learning techniques, and to a lesser degree unsupervised methods. This includes fundamentals of algorithms on linear and logistic regression, decision trees, support vector machines, clustering, neural networks, as well as key techniques for feature selection and dimensionality reduction, error estimation and empirical validation.

Je 11h30 – 13h00

Ma 10:30 – 12:29

Section A1 Je 10:30-12:30

Section A102 Je 10:30-12:30

Section A102: 05-09-2019 – 05-12-2019

Section A102: 05-09-2019 – 05-12-2019

Dans ce cours, nous étudierons des modèles d’apprentissage automatique. En plus des modèles standards, nous étudierons des modèles d’analyse du comportement des utilisateurs et de prise de décision. Les jeux de données volumineux sont désormais courants et nécessitent des outils d’analyse évolutifs. De plus, nous discuterons de modèles récents pour les systèmes de recommandation ainsi que pour la prise de décision (incluant les bandits à plusieurs bras et l’apprentissage par renforcement).

Une introduction à la modélisation informatique du langage naturel, y compris des algorithmes, des formalismes et des applications. Morphologie informatique, modélisation du langage, analyse syntaxique, sémantique lexicale et compositionnelle et analyse du discours. Applications sélectionnées telles que la synthèse automatique, la traduction automatique et le traitement de la parole. Techniques d’apprentissage automatique pour le traitement du langage naturel.

Je 11:35 – 12:55

Le cours couvrira une sélection de sujets et de nouveaux développements dans l’exploration de données et dans l’apprentissage automatique, en mettant particulièrement l’accent sur les bonnes méthodes et pratiques permettant de déployer efficacement des systèmes réels. Nous étudierons des algorithmes et des techniques couramment utilisés, notamment la régression linéaire et logistique, la classification, les réseaux de neurones, les machines à vecteurs de support, les arbres de décision, etc. Nous discuterons également de méthodes permettant de résoudre des problèmes pratiques tels que la validation empirique, la sélection des caractéristiques, la réduction de la dimensionnalité et l’estimation des erreurs.

Me 16:00 – 17:30

Je 10:00 – 11:30

Me 11:30 – 13:30

Je 15h30 – 17h00

https://sites.google.com/mila.quebec/ift6135

Ce cours offre un survol des connections entre algèbre linéaire/multilinéaire et apprentissage automatique, et a pour but d’initier les étudiant.e.s aux nouvelles recherches dans ce domaine.
– Notions fondamentales d’algèbre linéaire et multilinéaire.
– Factorisation matricielle/tensorielle et apprentissage: PCA/CCA, systèmes de recommendation,  méthodes spectrales d’apprentissage, K-FAC, normalisation spectrale, méthode des moments tensorielle, compression de modèles (e.g. MRF, NN),  régression tensorielle, etc.
– Problèmes ouverts.

Je 11h30 – 13h29

Ma 10:30 – 12:29

ENGMC 13

Ma 12:30-14:30

Lu 10:30-12:30

Ju 10:30-12:00