Cours

La prédiction structurée décrit le problème d’apprendre une correspondance entre des entrées et des sorties structurées, c’est-à-dire des sorties qui sont constituées de parties interdépendantes souvent soumises à des contraintes. Des exemples incluent la prédiction de graphes, d’ordonnancements, d’appareillements, etc., et apparaissent dans de nombreuses applications telles que la vision par ordinateur, le traitement du langage naturel et la biologie computationnelle, parmi d’autres.

Il s’agit d’un cours d’apprentissage machine avancé qui se concentrera sur les principes fondamentaux et les outils connexes pour la prédiction structurée. Le cours passera en revue l’état de l’art, fera le lien entre les anciennes et les nouvelles approches, et identifiera les questions en suspens. Il consistera en un mélange de cours magistraux et d’un projet de recherche mené par les étudiants.

Prérequis : Je suppose que la plupart du contenu de IFT 6269 modèles graphiques probabilistes sera maitrisé par les étudiants.

Il sera disponible à l’hiver 2023.

Il sera disponible à l’hiver 2023.

Algorithmes d’apprentissage de représentations des données et réseaux de neurones artificiels profonds. Avantages de l’apprentissage profond pour l’intelligence artificielle. Modélisation de la distribution de probabilité des données.

Me : 12h30 à 14h30

La recherche dans le domaine de l’apprentissage profond produit des résultats de pointe sur un certain nombre de tâches d’apprentissage machine. La plupart de ces progrès sont le fruit de l’intuition et d’une exploration massive par essais et erreurs. Par conséquent, la théorie est actuellement à la traîne par rapport à la pratique. La communauté de l’apprentissage machine ne comprend pas pleinement pourquoi les meilleures méthodes fonctionnent. Pourquoi pouvons-nous optimiser de manière fiable des objectifs non convexes ? Dans quelle mesure nos architectures sont-elles expressives, en termes de classe d’hypothèses qu’elles décrivent ? Pourquoi certains de nos modèles les plus complexes généralisent-ils pour donner des exemples inédits lorsque nous utilisons des ensembles de données d’un ordre de grandeur inférieur à ce que la théorie classique de l’apprentissage statistique juge suffisant ? Un symptôme de ce manque de compréhension est que les méthodes d’apprentissage profond manquent largement de garanties et d’interprétabilité, deux propriétés nécessaires aux applications critiques. Plus important encore, une base théorique solide peut aider à la conception d’une nouvelle génération de méthodes efficaces – ce qui permet de répondre au besoin d’une exploration fondée sur des essais et des erreurs aveugles. Dans cette classe, nous passerons en revue un certain nombre de publications récentes qui tentent de faire la lumière sur ces questions. Avant de discuter des nouveaux résultats dans chaque article, nous présenterons d’abord les outils fondamentaux nécessaires de l’optimisation, les statistiques, la théorie de l’information et la mécanique statistique. Le but de ce cours est d’inciter les étudiants à s’engager dans de nouvelles recherches dans le domaine. À cette fin, la majorité du crédit sera accordée pour un rapport de projet de classe et une présentation sur un sujet pertinent.

Note : Il s’agit d’un cours avancé conçu pour les étudiants au doctorat ayant de solides connaissances en mathématiques.

Je : 9h30 à 11h30

This seminar-style course will focus on recent advances in the rapidly developing area of “foundation models”, i.e. large-scale neural network models (e.g., GPT-3, CLIP, DALL-e, etc) pretrained on very large, diverse datasets. Such models often demonstrate significant improvement in their few-shot generalization abilities, as compared to their smaller-scale counterparts, across a wide range of downstream tasks – what one could call a “transformation of quantity into quality” or an “emergent behavior”. This is an important step towards a long-standing objective of achieving Artificial General Intelligence (AGI). By AGI here we mean literally a “general”, i.e. broad, versatile AI capable of quickly adapting to a wide range of situations and tasks, both novel and those encountered before – i.e. achieving a good stability (memory) vs plasticity (adaptation) trade-off, using the continual learning terminology. In this course, we will survey most recent advances in large-scale pretrained models, focusing specifically on empirical scaling laws of such systems’ performance, with increasing compute, model size, and pretraining data (power laws, phase transitions). We will also explore the trade-off between the increasing AI capabilities and AI safety/alignment with human values, considering a range of evaluation metrics beyond the predictive performance. Finally, we will touch upon several related fields, including transfer-, continual- and meta-learning, as well as out-of-distribution generalization, robustness and invariant/causal predictive modeling.

Je : 16h30 à 18h30

Ce cours offre un survol des connections entre algèbre linéaire/multilinéaire et apprentissage automatique, et a pour but d’initier les étudiant.e.s aux nouvelles recherches dans ce domaine. – Notions fondamentales d’algèbre linéaire et multilinéaire. – Factorisation matricielle/tensorielle et apprentissage: PCA/CCA, systèmes de recommendation, méthodes spectrales d’apprentissage, K-FAC, normalisation spectrale, méthode des moments tensorielle, compression de modèles (e.g. MRF, NN), régression tensorielle, etc. – Problèmes ouverts.

Je : 11h30 à 13h30

TBD

Me : 16h à 17h30

TBD

Ve : 15h30 à 17h30

L’apprentissage profond a connu un grand succès dans une variété de domaines tels que la reconnaissance vocale, la compréhension d’images et la compréhension du langage naturel. Ce cours vise à introduire les techniques de base de l’apprentissage en profondeur et les progrès récents de l’apprentissage en profondeur sur la compréhension du langage naturel et l’analyse de graphes.

Ce cours vise à introduire les techniques de base de l’apprentissage en profondeur, notamment les réseaux de neurones à action directe, les réseaux de neurones convolutifs et les réseaux de neurones récurrents. Nous couvrirons également les progrès récents sur les modèles génératifs profonds. Enfin, nous présenterons comment appliquer ces techniques à la compréhension du langage naturel et à l’analyse de graphes.

Je : 13h à 14h25

Le domaine du traitement du langage naturel (PNL) a connu de multiples changements de paradigme au fil des décennies, de l’IA symbolique aux méthodes statistiques en passant par l’apprentissage en profondeur. Nous examinons ce changement à travers le prisme de la compréhension du langage naturel (NLU), une branche de la PNL qui traite du « sens ». Nous commençons par ce qu’est le sens et qu’est-ce que cela signifie pour une machine de comprendre le langage ? Nous explorons comment représenter le sens des mots, des phrases, des phrases et du discours. Nous plongeons ensuite dans de nombreuses applications NLU utiles.

Une introduction à l’inférence bayésienne via la programmation probabiliste.

Un séminaire sur les avancées récentes de la recherche sur la vision et le langage.

Ve : 13h30 à 15h30

Éléments de base des algorithmes d’apprentissage statistique. Exemples d’applications en forage de données, régression non linéaire, et données temporelles et apprentissage profond.

Me : 14h30 à 17h30

There is a growing interest in the intersection of causal inference and machine learning. On one hand, ML methods — e.g., prediction methods, unsupervised methods, representation learning — can be adapted to estimate causal relationships between variables. On the other hand, the language of causality could lead to new learning criteria that yield more robust and fair ML algorithms. In this course, we’ll begin with an introduction to the theory behind causal inference. Next, we’ll cover work on causal estimation with neural networks, representation learning for causal inference, and flexible sensitivity analysis. We’ll conclude with work that draws upon causality to make machine learning methods fair or robust. This is an advanced course, taught seminar-style, and expects students to have a strong background in ML.

Ve : 11h30 à 13h30

Me 9:30-11:30 et Je 9:30-10:30

Section A1 :

Je 10:30-12:30

Section A102 :

Je 10:30-12:30

–

08-12-2021

Designing autonomous decision making systems is one of the longstanding goals of Artificial Intelligence. Such decision making systems, if realized, can have a big impact in machine learning for robotics, game playing, control, health care to name a few. This course introduces Reinforcement Learning as a general framework to design such autonomous decision making systems. By the end of this course, you will have a solid knowledge of the core challenges in designing RL systems and how to approach them.

[2eme] 09-03-2021 – 12-03-2021

Une introduction à la modélisation informatique du langage naturel, y compris des algorithmes, des formalismes et des applications. Morphologie informatique, modélisation du langage, analyse syntaxique, sémantique lexicale et compositionnelle et analyse du discours. Applications sélectionnées telles que la synthèse automatique, la traduction automatique et le traitement de la parole. Techniques d’apprentissage automatique pour le traitement du langage naturel.

Ce cours est destiné aux personnes sans expérience en PNL et qui aimeraient voir comment elle peut être utilisée pour des applications passionnantes de science des données. Nous suggérons d’autres cours PNL/CL si vous souhaitez vous concentrer sur le côté théorique de la PNL/CL. Les sujets abordés dans ce cours comprennent : les données et les applications linguistiques, la recherche dans les données, comment donner un sens aux données, la modélisation du langage, le langage des décisions, la recherche d’informations, l’extraction d’informations, les réseaux sociaux (données Twitter et Facebook), les systèmes de recommandation, l’éthique.

Introduction to foundational ideas in computational linguistics and natural language processing. Topics include formal language theory, probability theory, estimation and inference, and recursively defined models of language structure. Emphasis on both the mathematical foundations of the field as well as how to use these tools to understand human language.

Une introduction à la science des réseaux, c’est un cours mi-conférence mi-séminaire. Les réseaux modélisent les relations dans les systèmes complexes, depuis les hyperliens entre les pages web et les coauteurs entre chercheurs jusqu’aux interactions biologiques entre les protéines et les gènes, en passant par les liens synaptiques entre les neurones. La science des réseaux est un domaine de recherche interdisciplinaire impliquant des chercheurs en physique, informatique, sociologie, mathématiques et statistiques, avec des applications dans un large éventail de domaines dont la biologie, la médecine, les sciences politiques, le marketing, l’écologie, la criminologie, etc. Dans ce cours, nous couvrirons les concepts et techniques de base utilisés dans la science des réseaux, nous passerons en revue les techniques de pointe et nous discuterons des développements les plus récents.

Le cours est prévu pour être donné en anglais (pour accommoder des étudiants anglophones), sauf si tous les étudiants en classe sont francophones et demandent qu’il soit donné en français. Néanmoins, tous les travaux faits par les étudiants pourront toujours être remis en français.

Lu : 3:30 – 5:30

13-09-2021 – 04-10-2021

25-10-2021 – 06-12-2021

27-10–2021 – 08-12-2021

L’objectif de ce cours est d’introduire les idées (théorie et pratique) nécessaires pour aborder et résoudre les problèmes de science des données. La première partie du cours couvrira les principes de l’analyse des données, les bases des différents types de modèles et l’inférence statistique. La seconde partie se développe dans les méthodes statistiques et les techniques pratiques pour traiter des modalités courantes de données – image, texte et graphes. Les cadres de programmation spécifiques requis pour la science des données seront abordés au cours des sessions de laboratoire.

TBC

Ce cours est donné en anglais.

Une introduction éclair aux mathématiques importantes qui apparaissent partout en informatique. L’accent est mis sur la façon de penser mathématiquement et d’écrire des preuves, en utilisant des techniques telles que l’induction, la contradiction et les monovariants. Nous explorerons, d’un point de vue mathématique, des sujets tels que la combinatoire, la théorie des graphes, les probabilités, l’algèbre linéaire, les algorithmes, les structures de données et la complexité informatique.

Algorithmes d’apprentissage de représentations des données et réseaux de neurones artificiels profonds. Avantages de l’apprentissage profond pour l’intelligence artificielle. Modélisation de la distribution de probabilité des données.