Cours

Ven : 15h – 17h

09/09/2022

Mila

Designing autonomous decision making systems is one of the longstanding goals of Artificial Intelligence. Such decision making systems, if realized, can have a big impact in machine learning for robotics, game playing, control, health care to name a few. This course introduces Reinforcement Learning as a general framework to design such autonomous decision making systems. By the end of this course, you will have a solid knowledge of the core challenges in designing RL systems and how to approach them.

I am teaching both the English and the French version in Fall 2022.

Une introduction à la modélisation informatique du langage naturel, y compris des algorithmes, des formalismes et des applications. Morphologie informatique, modélisation du langage, analyse syntaxique, sémantique lexicale et compositionnelle et analyse du discours. Applications sélectionnées telles que la synthèse automatique, la traduction automatique et le traitement de la parole. Techniques d’apprentissage automatique pour le traitement du langage naturel.

Probabilistic inference viewed as a form of non-standard interpretation of programming languages with a focus on sampling algorithms using the programming language Gen.

Une introduction à la science des réseaux, c’est un cours mi-conférence mi-séminaire. Les réseaux modélisent les relations dans les systèmes complexes, depuis les hyperliens entre les pages web et les coauteurs entre chercheurs jusqu’aux interactions biologiques entre les protéines et les gènes, en passant par les liens synaptiques entre les neurones. La science des réseaux est un domaine de recherche interdisciplinaire impliquant des chercheurs en physique, informatique, sociologie, mathématiques et statistiques, avec des applications dans un large éventail de domaines dont la biologie, la médecine, les sciences politiques, le marketing, l’écologie, la criminologie, etc. Dans ce cours, nous couvrirons les concepts et techniques de base utilisés dans la science des réseaux, nous passerons en revue les techniques de pointe et nous discuterons des développements les plus récents.

Le cours est prévu pour être donné en anglais (pour accommoder des étudiants anglophones), sauf si tous les étudiants en classe sont francophones et demandent qu’il soit donné en français. Néanmoins, tous les travaux faits par les étudiants pourront toujours être remis en français.

UdeM : 4186 Pav. Andre-Aisenstadt

L’objectif de ce cours est d’introduire les idées (théorie et pratique) nécessaires pour aborder et résoudre les problèmes de science des données. La première partie du cours couvrira les principes de l’analyse des données, les bases des différents types de modèles et l’inférence statistique. La seconde partie se développe dans les méthodes statistiques et les techniques pratiques pour traiter des modalités courantes de données – image, texte et graphes. Les cadres de programmation spécifiques requis pour la science des données seront abordés au cours des sessions de laboratoire.

En ligne

This is a graduate course, in which we will cover methods for trustworthy and ethical machine learning and AI, focusing on the technical perspective of methods that allow addressing current ethical issues. Recent years have shown that unintended discrimination arises naturally and frequently in the use of machine learning and algorithmic decision making. We will work systematically towards a technical understanding of this problem mindful of its social and legal context. This course will bring analytic and technical precision to normative debates about the role that data science, machine learning, and artificial intelligence play in consequential decision-making in commerce, employment, finance, healthcare, education, policing, and other areas. Students will learn to think critically about how to plan, execute, and evaluate a project with these concerns in mind, and how to cope with novel challenges for which there are often no easy answers or established solutions.

Algorithmes d’apprentissage de représentations des données et réseaux de neurones artificiels profonds. Avantages de l’apprentissage profond pour l’intelligence artificielle. Modélisation de la distribution de probabilité des données.

Agora Mila

In recent years Deep Generative Models have seen remarkable success over a variety of data domains such as images, text, and audio to name a few. However, the predominant approach in many of these models (e.g. GANS, VAE, Normalizing Flows) is to treat data as fixed-dimensional continuous vectors in some Euclidean space, despite significant evidence to the contrary (e.g. 3D molecules). This course places a direct emphasis on learning generative models for complex geometries described via manifolds, such as spheres, tori, hyperbolic spaces, implicit surfaces, and homogeneous spaces. The purpose of this seminar course is to understand the key design principles that underpin the new wave of geometry-aware generative models that treat the rich geometric structure in data as a first-class citizen. This seminar course will also serve to develop extensions to these approaches at the leading edge of research and as a result, a major component of the course will focus on class participation through presenting papers and a thematically-relevant course project.

La prédiction structurée décrit le problème d’apprendre une correspondance entre des entrées et des sorties structurées, c’est-à-dire des sorties qui sont constituées de parties interdépendantes souvent soumises à des contraintes. Des exemples incluent la prédiction de graphes, d’ordonnancements, d’appareillements, etc., et apparaissent dans de nombreuses applications telles que la vision par ordinateur, le traitement du langage naturel et la biologie computationnelle, parmi d’autres.

Il s’agit d’un cours d’apprentissage machine avancé qui se concentrera sur les principes fondamentaux et les outils connexes pour la prédiction structurée. Le cours passera en revue l’état de l’art, fera le lien entre les anciennes et les nouvelles approches, et identifiera les questions en suspens. Il consistera en un mélange de cours magistraux et d’un projet de recherche mené par les étudiants.

Prérequis : Je suppose que la plupart du contenu de IFT 6269 modèles graphiques probabilistes sera maitrisé par les étudiants.

Algorithmes d’apprentissage de représentations des données et réseaux de neurones artificiels profonds. Avantages de l’apprentissage profond pour l’intelligence artificielle. Modélisation de la distribution de probabilité des données.

La recherche dans le domaine de l’apprentissage profond produit des résultats de pointe sur un certain nombre de tâches d’apprentissage machine. La plupart de ces progrès sont le fruit de l’intuition et d’une exploration massive par essais et erreurs. Par conséquent, la théorie est actuellement à la traîne par rapport à la pratique. La communauté de l’apprentissage machine ne comprend pas pleinement pourquoi les meilleures méthodes fonctionnent. Pourquoi pouvons-nous optimiser de manière fiable des objectifs non convexes ? Dans quelle mesure nos architectures sont-elles expressives, en termes de classe d’hypothèses qu’elles décrivent ? Pourquoi certains de nos modèles les plus complexes généralisent-ils pour donner des exemples inédits lorsque nous utilisons des ensembles de données d’un ordre de grandeur inférieur à ce que la théorie classique de l’apprentissage statistique juge suffisant ? Un symptôme de ce manque de compréhension est que les méthodes d’apprentissage profond manquent largement de garanties et d’interprétabilité, deux propriétés nécessaires aux applications critiques. Plus important encore, une base théorique solide peut aider à la conception d’une nouvelle génération de méthodes efficaces – ce qui permet de répondre au besoin d’une exploration fondée sur des essais et des erreurs aveugles. Dans cette classe, nous passerons en revue un certain nombre de publications récentes qui tentent de faire la lumière sur ces questions. Avant de discuter des nouveaux résultats dans chaque article, nous présenterons d’abord les outils fondamentaux nécessaires de l’optimisation, les statistiques, la théorie de l’information et la mécanique statistique. Le but de ce cours est d’inciter les étudiants à s’engager dans de nouvelles recherches dans le domaine. À cette fin, la majorité du crédit sera accordée pour un rapport de projet de classe et une présentation sur un sujet pertinent.

Note : Il s’agit d’un cours avancé conçu pour les étudiants au doctorat ayant de solides connaissances en mathématiques.

This seminar-style course will focus on recent advances in the rapidly developing area of “foundation models”, i.e. large-scale neural network models (e.g., GPT-3, CLIP, DALL-e, etc) pretrained on very large, diverse datasets. Such models often demonstrate significant improvement in their few-shot generalization abilities, as compared to their smaller-scale counterparts, across a wide range of downstream tasks – what one could call a “transformation of quantity into quality” or an “emergent behavior”. This is an important step towards a long-standing objective of achieving Artificial General Intelligence (AGI). By AGI here we mean literally a “general”, i.e. broad, versatile AI capable of quickly adapting to a wide range of situations and tasks, both novel and those encountered before – i.e. achieving a good stability (memory) vs plasticity (adaptation) trade-off, using the continual learning terminology. In this course, we will survey most recent advances in large-scale pretrained models, focusing specifically on empirical scaling laws of such systems’ performance, with increasing compute, model size, and pretraining data (power laws, phase transitions). We will also explore the trade-off between the increasing AI capabilities and AI safety/alignment with human values, considering a range of evaluation metrics beyond the predictive performance. Finally, we will touch upon several related fields, including transfer-, continual- and meta-learning, as well as out-of-distribution generalization, robustness and invariant/causal predictive modeling.

Ce cours offre un survol des connections entre algèbre linéaire/multilinéaire et apprentissage automatique, et a pour but d’initier les étudiant.e.s aux nouvelles recherches dans ce domaine. – Notions fondamentales d’algèbre linéaire et multilinéaire. – Factorisation matricielle/tensorielle et apprentissage: PCA/CCA, systèmes de recommendation, méthodes spectrales d’apprentissage, K-FAC, normalisation spectrale, méthode des moments tensorielle, compression de modèles (e.g. MRF, NN), régression tensorielle, etc. – Problèmes ouverts.

séminaire virtuel Ma : 13h-14h (sujet à changement)

TBD

TBD

L’apprentissage profond a connu un grand succès dans une variété de domaines tels que la reconnaissance vocale, la compréhension d’images et la compréhension du langage naturel. Ce cours vise à introduire les techniques de base de l’apprentissage en profondeur et les progrès récents de l’apprentissage en profondeur sur la compréhension du langage naturel et l’analyse de graphes.

Ce cours vise à introduire les techniques de base de l’apprentissage en profondeur, notamment les réseaux de neurones à action directe, les réseaux de neurones convolutifs et les réseaux de neurones récurrents. Nous couvrirons également les progrès récents sur les modèles génératifs profonds. Enfin, nous présenterons comment appliquer ces techniques à la compréhension du langage naturel et à l’analyse de graphes.

Le domaine du traitement du langage naturel (PNL) a connu de multiples changements de paradigme au fil des décennies, de l’IA symbolique aux méthodes statistiques en passant par l’apprentissage en profondeur. Nous examinons ce changement à travers le prisme de la compréhension du langage naturel (NLU), une branche de la PNL qui traite du « sens ». Nous commençons par ce qu’est le sens et qu’est-ce que cela signifie pour une machine de comprendre le langage ? Nous explorons comment représenter le sens des mots, des phrases, des phrases et du discours. Nous plongeons ensuite dans de nombreuses applications NLU utiles.

Introduction to foundational ideas in computational linguistics and natural language processing. Topics include formal language theory, probability theory, estimation and inference, and recursively defined models of language structure. Emphasis on both the mathematical foundations of the field as well as how to use these tools to understand human language.

A seminar course on recent advances in research problems at the intersection of computer vision and natural language processing, such as caption based image retrieval, grounding referring expressions, image captioning, visual question answering, etc.

Ve : 13h30 à 15h30

Éléments de base des algorithmes d’apprentissage statistique. Exemples d’applications en forage de données, régression non linéaire, et données temporelles et apprentissage profond.

There is a growing interest in the intersection of causal inference and machine learning. On one hand, ML methods — e.g., prediction methods, unsupervised methods, representation learning — can be adapted to estimate causal relationships between variables. On the other hand, the language of causality could lead to new learning criteria that yield more robust and fair ML algorithms. In this course, we’ll begin with an introduction to the theory behind causal inference. Next, we’ll cover work on causal estimation with neural networks, representation learning for causal inference, and flexible sensitivity analysis. We’ll conclude with work that draws upon causality to make machine learning methods fair or robust. This is an advanced course, taught seminar-style, and expects students to have a strong background in ML.

Les méthodes d’apprentissage telles que l’apprentissage profond par renforcement ont réussi à résoudre des problèmes de planification et de contrôle simulés, mais ont du mal à produire un comportement intelligent et diversifié sur les robots. L’objectif de ce cours est de discuter de ces limitations et d’étudier des méthodes pour les surmonter et permettre à des agents capables de s’entraîner de manière autonome, de devenir des systèmes d’apprentissage et d’adaptation nécessitant peu de supervision. À la fin du cours, chaque étudiant devrait avoir une solide maîtrise des différentes techniques pour entraîner des robots à accomplir des tâches dans le monde réel. Ces techniques qui seront couvertes dans le cours incluent, sans s’y limiter, l’apprentissage par renforcement (RL), le RL par lots, le RL multitâche, le RL basé sur un modèle, Sim2Real, le RL hiérarchique, le RL conditionné par les objectifs et les fonctions de récompense d’apprentissage.

This seminar will explore how machine learning can be applied in fighting climate change. We will look at ways that machine learning can be used to help mitigate greenhouse gas emissions and adapt to the effects of climate change – via applications in electricity systems, buildings, transportation, agriculture, disaster response, and many other areas. Particular emphasis will be given to understanding exactly when machine learning is relevant and helpful, and how to go about scoping, developing, and deploying a project so that it has the intended impact.

McGill

This course presents modern mathematical models of lighting and the algorithms needed to solve them and generate beautiful realistic images. Both traditional numerical methods and modern machine learning-based approaches will be covered.

McGill

This course is for people with no experience is NLP and would like to see how it can be used for exciting data science applications. We suggest other NLP/CL courses if you want to focus on theoretical side of NLP/CL. Topics covered in this course include: Language data and applications, Searching through data, How to make sense of data, Language Modeling, Language to decisions, Information Retrieval, Information Extraction, Social Networks (Twitter and Facebook data), Recommendation systems, Ethics