Cours

Sujets avancés pour la prédiction d’objets structurés (tels: graphes, couplages, réseaux de flot). Apprentissage génératif vs.
discriminatif. Modèles à énergie. Champs aléatoires conditionnels. SVM structurées et à variable latente, algorithms CCCP. Optimization à grande échelle: Frank-Wolfe, SGD à variance réduite, méthodes bloques-coordonnées. Apprendre à chercher. RNN. Algorithmes
combinatoires: réseaux coût-min, optimization sous-modulaire,
programmation dynamique.

https://sites.google.com/mila.quebec/ift6135

La recherche dans le domaine de l’apprentissage profond produit des résultats de pointe sur un certain nombre de tâches d’apprentissage machine. La plupart de ces progrès sont le fruit de l’intuition et d’une exploration massive par essais et erreurs. Par conséquent, la théorie est actuellement à la traîne par rapport à la pratique. La communauté de l’apprentissage machine ne comprend pas pleinement pourquoi les meilleures méthodes fonctionnent. Pourquoi pouvons-nous optimiser de manière fiable des objectifs non convexes ? Dans quelle mesure nos architectures sont-elles expressives, en termes de classe d’hypothèses qu’elles décrivent ? Pourquoi certains de nos modèles les plus complexes généralisent-ils pour donner des exemples inédits lorsque nous utilisons des ensembles de données d’un ordre de grandeur inférieur à ce que la théorie classique de l’apprentissage statistique juge suffisant ? Un symptôme de ce manque de compréhension est que les méthodes d’apprentissage profond manquent largement de garanties et d’interprétabilité, deux propriétés nécessaires aux applications critiques. Plus important encore, une base théorique solide peut aider à la conception d’une nouvelle génération de méthodes efficaces – ce qui permet de répondre au besoin d’une exploration fondée sur des essais et des erreurs aveugles. Dans cette classe, nous passerons en revue un certain nombre de publications récentes qui tentent de faire la lumière sur ces questions. Avant de discuter des nouveaux résultats dans chaque article, nous présenterons d’abord les outils fondamentaux nécessaires de l’optimisation, les statistiques, la théorie de l’information et la mécanique statistique. Le but de ce cours est d’inciter les étudiants à s’engager dans de nouvelles recherches dans le domaine. À cette fin, la majorité du crédit sera accordée pour un rapport de projet de classe et une présentation sur un sujet pertinent.

Note : Il s’agit d’un cours avancé conçu pour les étudiants au doctorat ayant de solides connaissances en mathématiques

Ce cours offre un survol des connections entre algèbre linéaire/multilinéaire et apprentissage automatique, et a pour but d’initier les étudiant.e.s aux nouvelles recherches dans ce domaine.
– Notions fondamentales d’algèbre linéaire et multilinéaire.
– Factorisation matricielle/tensorielle et apprentissage: PCA/CCA, systèmes de recommendation,  méthodes spectrales d’apprentissage, K-FAC, normalisation spectrale, méthode des moments tensorielle, compression de modèles (e.g. MRF, NN),  régression tensorielle, etc.
– Problèmes ouverts.

Je 11h30 – 13h30

Stephen Hawking famously said, ‘Intelligence is the ability to adapt to change.’ While today’s AI systems can achieve impressive performance in specific tasks, from accurate image recognition to super-human performance in games such as Go and chess, they are still quite « narrow », i.e. not being able to easily adapt to a wide range of new tasks and environments, without forgetting what they have learned before – something that humans and animals seem to do naturally during their lifetime. This course will focus on the rapidly growing research area of machine learning called continual lifelong learning which aims to push modern AI from « narrow » to « broad », i.e. to develop learning models and algorithms capable of never-ending, lifelong, continual learning over a large, and potentially infinite set of drastically different tasks and environments. In this course, we will review state-of-art literature on continual lifelong learning in modern AI, including catastrophic forgetting problem and recent approaches to overcoming it in deep neural networks, from augmenting stochastic gradient decent algorithm to alternative optimization approaches, architecture adaptation/evolution based on expansion/compression, dynamic routing/selective execution (« internal » attention) and other approaches; moreover, we will also survey related work on stability vs plasticity dilemma in neuroscience and related topics in biology of adaptation and memory.

Je 16h30 – 18h30

au

16-04-2020

Ve 9h30 – 11h30

Graph representation learning (GRL) is a quickly growing subfield of machine learning that seeks to apply machine learning methods to graph-structured data. Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. This course will provide an introduction to graph representation learning, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. During the course, we will study both the theoretical motivations and practical applications of these methods.

Me 13h00 – 14h30

Me 8h30 – 10h00

Je 13h00 – 14h30

Je 16h05 – 17h25

Deep learning has achieved great success in a variety of fields such as speech recognition, image understanding, and natural language understanding. This course aims to introduce the basic techniques of deep learning and recent progress of deep learning on natural language understanding and graph analysis.

This course aims to introduce the basic techniques of deep learning including feedforward neural networks, convolutional neural networks, and recurrent neural networks. We will also cover recent progress on deep generative models. Finally, we will introduce how to apply these techniques to natural language understanding and graph analysis.

Ve 15h30 – 18h30

Deep learning has achieved great success in a variety of fields such as speech recognition, image understanding, and natural language understanding. This course aims to introduce the basic techniques of deep learning and recent progress of deep learning on natural This course covers a selected set of topics in machine learning and data mining, with an emphasis on good methods and practices for deployment of real systems. The majority of sections are related to commonly used supervised learning techniques, and to a lesser degree unsupervised methods. This includes fundamentals of algorithms on linear and logistic regression, decision trees, support vector machines, clustering, neural networks, as well as key techniques for feature selection and dimensionality reduction, error estimation and empirical validation.

Je 16h30 – 17h30

This course covers a selected set of topics in machine learning and data mining, with an emphasis on good methods and practices for deployment of real systems. The majority of sections are related to commonly used supervised learning techniques, and to a lesser degree unsupervised methods. This includes fundamentals of algorithms on linear and logistic regression, decision trees, support vector machines, clustering, neural networks, as well as key techniques for feature selection and dimensionality reduction, error estimation and empirical validation.

Je 11h30 – 13h00

Ma 10:30 – 12:29

Section A1 Je 10:30-12:30

Section A102 Je 10:30-12:30

Section A102: 05-09-2019 – 05-12-2019

Section A102: 05-09-2019 – 05-12-2019

Dans ce cours, nous étudierons des modèles d’apprentissage automatique. En plus des modèles standards, nous étudierons des modèles d’analyse du comportement des utilisateurs et de prise de décision. Les jeux de données volumineux sont désormais courants et nécessitent des outils d’analyse évolutifs. De plus, nous discuterons de modèles récents pour les systèmes de recommandation ainsi que pour la prise de décision (incluant les bandits à plusieurs bras et l’apprentissage par renforcement).

Une introduction à la modélisation informatique du langage naturel, y compris des algorithmes, des formalismes et des applications. Morphologie informatique, modélisation du langage, analyse syntaxique, sémantique lexicale et compositionnelle et analyse du discours. Applications sélectionnées telles que la synthèse automatique, la traduction automatique et le traitement de la parole. Techniques d’apprentissage automatique pour le traitement du langage naturel.

Je 11:35 – 12:55

Le cours couvrira une sélection de sujets et de nouveaux développements dans l’exploration de données et dans l’apprentissage automatique, en mettant particulièrement l’accent sur les bonnes méthodes et pratiques permettant de déployer efficacement des systèmes réels. Nous étudierons des algorithmes et des techniques couramment utilisés, notamment la régression linéaire et logistique, la classification, les réseaux de neurones, les machines à vecteurs de support, les arbres de décision, etc. Nous discuterons également de méthodes permettant de résoudre des problèmes pratiques tels que la validation empirique, la sélection des caractéristiques, la réduction de la dimensionnalité et l’estimation des erreurs.

Me 16:00 – 17:30

Je 10:00 – 11:30

Me 11:30 – 13:30

Je 15h30 – 17h00

https://sites.google.com/mila.quebec/ift6135

Ce cours offre un survol des connections entre algèbre linéaire/multilinéaire et apprentissage automatique, et a pour but d’initier les étudiant.e.s aux nouvelles recherches dans ce domaine.
– Notions fondamentales d’algèbre linéaire et multilinéaire.
– Factorisation matricielle/tensorielle et apprentissage: PCA/CCA, systèmes de recommendation,  méthodes spectrales d’apprentissage, K-FAC, normalisation spectrale, méthode des moments tensorielle, compression de modèles (e.g. MRF, NN),  régression tensorielle, etc.
– Problèmes ouverts.

Je 11h30 – 13h29

Ma 10:30 – 12:29

ENGMC 13

Ma 12:30-14:30

Lu 10:30-12:30

Ju 10:30-12:00