Cours et horaires

Ce cours couvre un ensemble de sujets sélectionnés dans le domaine de l'apprentissage automatique et de l'exploration de données, en mettant l'accent sur la compréhension du fonctionnement interne des algorithmes courants. La majorité des sections sont liées aux techniques d'apprentissage supervisé couramment utilisées et, dans une moindre mesure, aux méthodes non supervisées. Cela inclut les bases des algorithmes de régression linéaire et logistique, les arbres de décision, les machines à vecteurs de support, le clustering, les réseaux neuronaux, ainsi que les techniques clés pour la sélection des caractéristiques et la réduction de la dimensionnalité, l'estimation de l'erreur et la validation empirique.

Il s'agit d'un cours de type séminaire, dans le cadre duquel l'ensemble de la classe travaillera ensemble à l'organisation du cours. Dans les premiers cours, je donnerai une vue d'ensemble des LLM et je soulignerai les défis à relever. À la fin du cours, vous devriez être en mesure de contribuer de manière significative à la recherche de pointe dans le domaine de la compréhension du langage naturel.

Les réseaux de flux génératifs, également connus sous le nom de GFlowNets ou simplement GFN, sont une classe de modèles d'apprentissage automatique génératifs qui effectuent une inférence probabiliste amortie. Ce cours couvrira les aspects fondamentaux de GFlowNets, à partir d'une motivation et d'une introduction à la méthode, en progressant vers des concepts et applications plus avancés, ainsi que le lien avec d'autres modèles génératifs et méthodes d'inférence probabiliste. Le cours combinera la théorie avec le travail de projet, avec un accent particulier sur l'application des GFlowNets pour la découverte scientifique.

La prédiction (le piège statistique, la probabilité, la généralisation, la répétabilité). La méthode de maintien (stabilité, validité interne). Benchmarks d'apprentissage automatique (histoire de la conception des benchmarks, échecs d'évaluation, benchmarks dynamiques, benchmarking multi-tâches, sensibilité). Validité externe, reproductibilité, robustesse (déplacement de la distribution). Adaptabilité et surajustement (réutilisation des jeux d'essai). Validité du construit (contexte, portée, défense lakatosienne). Évaluation de l'incertitude (erreur d'étalonnage, ensembles de prédictions, inférence conforme). Évaluation des prévisions (règles de notation, prise en compte de l'incertitude, séquences de confiance). Les jeux en tant que points de référence (histoire des jeux de référence). Évaluation des interventions (validité temporelle, conformité, ajustement). Réglementation et déploiement (évaluation des programmes, évaluation des politiques, audit via des tests d'hypothèses séquentiels).

Applications des probabilités, statistiques et optimisation pour la science des données; nettoyage et visualisation de données; enjeux statistiques de l'apprentissage automatique sur données structurées; généralisation et surapprentissage.

L'apprentissage statistique est une discipline qui concerne l'extraction d'informations à partir de données observées en vue de résoudre un problème précis. Il peut s'agir par exemple de détecter des motifs dans des signaux (images, séries chronologiques), d'identier des liens d'association entre diérentes variables ou encore de mettre en évidence des structures de groupe dans un jeu de données.

Ce séminaire explore les recherches de pointe et les méthodologies liées à la génération contrôlée dans les LLMs, en mettant l’accent sur les méthodes computationnelles et les cadres permettant de contraindre et de guider les sorties des modèles de langage.

Le cours examine les approches visant à appliquer des contraintes logiques, à assurer la sécurité des types et la cohérence sémantique, tout en maintenant la qualité de génération. Les étudiants s’engageront avec les recherches les plus récentes à travers des présentations et des discussions, couvrant les méthodes probabilistes, les innovations architecturales et les applications pratiques des techniques de génération contrôlée.

Les véhicules autonomes sont sur le point de devenir l'une des applications les plus répandues et les plus importantes de l'autonomie, et ont fait l'objet d'une grande attention ces derniers temps.

Ce cours examine les problèmes de perception, de navigation, de planification et de contrôle, ainsi que leur intégration au niveau des systèmes dans le contexte des véhicules autoguidés, grâce à un programme d'enseignement de l'autonomie open source qui met l'accent sur l'expérience pratique. Dans le cadre de ce cours, les étudiant⋅e⋅s collaboreront à la mise en œuvre des concepts abordés dans les cours magistraux sur un véhicule autonome à faible coût dans le but de naviguer dans une ville modèle dotée de routes, de panneaux de signalisation, de feux de circulation, d'obstacles et de citoyens.

Ce séminaire explorera la manière dont l'apprentissage automatique peut être appliqué à la lutte contre le changement climatique. Nous verrons comment l'apprentissage automatique peut être utilisé pour atténuer les émissions de gaz à effet de serre et s'adapter aux effets du changement climatique, grâce à des applications dans les systèmes électriques, les bâtiments, les transports, l'agriculture, les interventions en cas de catastrophe et bien d'autres domaines. L'accent sera mis en particulier sur la compréhension du moment exact où l'apprentissage automatique est pertinent et utile, et sur la manière de définir le champ d'application, de développer et de déployer un projet de manière à ce qu'il ait l'impact escompté.

Ce cours porte sur les modèles d'apprentissage automatique (machine learning). En plus des modèles standards, nous étudierons aussi les modèles pour analyser les comportements des utilisateurs ainsi que pour la prise de décision.
Nous étudierons les modèles d'apprentissage automatique pour l'apprentissage supervisé, non supervisé et comment ils peuvent être étendus aux données massives à l'aide de techniques de calcul à grande échelle (p. ex., grappe d'ordinateurs). Nous étudierons en plus des modèles récents pour les systèmes de recommandations ainsi que pour la prise de décision (apprentissage par renforcement).

Éléments de base des algorithmes d'apprentissage statistique et symbolique. Exemples d'applications dans l'exploration de données, la reconnaissance des formes, la régression non linéaire et les données temporelles.

Il s'agit d'un cours d'introduction à l'apprentissage par renforcement (RL) et à la prise de décision séquentielle en situation d'incertitude, qui met l'accent sur la compréhension des fondements théoriques. Nous étudions comment les méthodes de programmation dynamique telles que l'itération de valeur et de politique peuvent être utilisées pour résoudre des problèmes de prise de décision séquentielle avec des modèles connus, et comment ces approches peuvent être étendues afin de résoudre des problèmes d'apprentissage par renforcement, où le modèle est inconnu. D'autres sujets incluent, mais ne sont pas limités à, l'approximation de fonction dans RL, les méthodes de gradient de politique, RL basé sur le modèle, et l'équilibre du compromis exploration-exploitation. Le cours sera dispensé sous la forme d'un mélange de conférences et de lecture d'articles classiques et récents assignés aux étudiants. L'accent étant mis sur la compréhension des fondements, vous devez vous attendre à passer par des détails mathématiques et des preuves. Les connaissances requises pour ce cours comprennent la théorie des probabilités et les statistiques, le calcul, l'algèbre linéaire, l'optimisation et l'apprentissage automatique (supervisé).

Cours donné en anglais
Une introduction à la modélisation informatique du langage naturel, y compris des algorithmes, des formalismes et des applications. Morphologie informatique, modélisation du langage, analyse syntaxique, sémantique lexicale et compositionnelle et analyse du discours. Applications sélectionnées telles que la synthèse automatique, la traduction automatique et le traitement de la parole. Techniques d’apprentissage automatique pour le traitement du langage naturel.

Les méthodes modernes d'analyse des données sont censées traiter des quantités massives de données à haute dimension qui sont collectées dans une variété de domaines. La haute dimensionnalité de ces données pose de nombreux problèmes, généralement appelés « malédiction de la dimensionnalité », qui rendent les approches d'apprentissage statistique traditionnelles peu pratiques ou inefficaces pour leur analyse. Pour faire face à ces défis, des efforts importants ont été consacrés au développement d'approches d'analyse de données géométriques qui modélisent et capturent la géométrie intrinsèque des données traitées, plutôt que de modéliser directement leur distribution. Dans ce cours, nous explorerons de telles approches et fournirons une étude analytique des modèles et des algorithmes qu'elles utilisent. Nous commencerons par étudier l'apprentissage supervisé et distinguerons les classificateurs basés sur des principes géométriques des approches d'estimation a posteriori et de vraisemblance. Ensuite, nous examinerons la tâche d'apprentissage non supervisé consistant à regrouper des données et nous distinguerons les approches basées sur l'estimation de la densité de celles qui s'appuient sur des espaces métriques ou des constructions de graphes. Enfin, nous examinerons des tâches plus fondamentales dans l'apprentissage des représentations intrinsèques, en mettant l'accent sur la réduction de la dimensionnalité et l'apprentissage de variétés, par exemple avec diffusion maps, tSNE, et PHATE. Si le temps le permet, nous inclurons des présentations invitées sur des domaines de recherche liés au cours, ainsi que des discussions sur les développements récents dans le traitement de signaux sur les graphes et l'apprentissage profond géométrique.

Ce cours fournit une introduction rigoureuse au domaine de l'apprentissage machine (ML). L'objectif du cours n'est pas seulement d'enseigner comment utiliser les algorithmes d'apprentissage automatique, mais aussi d'expliquer pourquoi, comment et quand ces algorithmes fonctionnent. Le cours introduit les algorithmes fondamentaux de l'apprentissage supervisé et de l'apprentissage non supervisé à partir des premiers principes. Le cours, tout en couvrant plusieurs problèmes d'apprentissage automatique comme la régression, la classification, l'apprentissage de la représentation, la réduction de la dimensionnalité, introduira la théorie de base qui unifie tous les algorithmes.

Applications des probabilités, statistiques et optimisation pour la science des données; nettoyage et visualisation de données; enjeux statistiques de l'apprentissage automatique sur données structurées; généralisation et surapprentissage.

Cours avancé en apprentissage par renforcement. Méthodes par ascension du gradient de la politique, estimation de dérivées, analyse des algorithmes d'approximation de fonction de valeur, contrôle optimal en temps discret et différentiation automatique, optimisation à bi-niveau en méta-apprentissage par renforcement et apprentissage par renforcement inverse.

Il s'agit d'un cours sur l'apprentissage par représentation en général et l'apprentissage profond en particulier. L'apprentissage profond a récemment été à l'origine d'un grand nombre de gains empiriques impressionnants dans un large éventail d'applications, notamment la vision par ordinateur, le traitement du langage naturel et la reconnaissance vocale.

Ce cours de style séminaire se concentrera sur les avancées récentes dans le domaine en développement rapide des “modèles de base”, c’est-à-dire des modèles de réseaux de neurones à grande échelle (par exemple, GPT-3, CLIP, DALL-e, etc.) préformés sur de très grands, divers ensembles de données.