Langage et image

Les systèmes d'intelligence artificielle (IA) peuvent traiter des données collectées à partir de sources multiples, par le biais d'une variété de capteurs, pour aider les ordinateurs à faire des prédictions et à prendre des décisions. Les chercheur·euse·s de Mila sont des pionnier·ère·s dans les domaines du traitement du langage naturel et de la vision par ordinateur, et continuent d'explorer les intersections de ces deux technologies.

Ordinateur portable entrouvert, allumé dans une pièce sombre.

Projets phares

Paysage virtuel

Chaire de recherche industrielle Ubisoft-Mila

Conçue pour guider l'innovation technologique dans l'industrie du jeu vidéo, la Chaire de recherche industrielle Ubisoft-Mila explore l'utilisation éthique de l'IA dans le développement des jeux. 

Formes géométriques sur fond bleu foncé.

ConceptGraphs

ConceptGraphs est un système de cartographie qui construit des graphes de scène 3D d'objets et de leurs relations, permettant aux robots d'effectuer des tâches complexes de navigation et de manipulation d'objets.

Les progrès réalisés dans le domaine des grands modèles de langage ont propulsé l'IA dans une nouvelle phase, ce qui soulève de nombreuses questions nouvelles et importantes pour les chercheur·euse·s de Mila. Celles-ci sont liées à l'écart qui subsiste entre l'IA de pointe et les capacités cognitives humaines - notamment le raisonnement, la compréhension des causes et des effets et l'acceptation du doute - avec des conséquences importantes pour le déploiement et la sécurité de ces systèmes.

Les systèmes d'IA multimodaux peuvent faire des prédictions et prendre des décisions sur la base de plusieurs formes de données, notamment la vision, le langage naturel et l'audio, et peuvent, par exemple, fournir des sous-titres en direct et répondre à des questions sur des images.

Grâce à la recherche multimodale en apprentissage automatique, les exper·e·s de Mila contribuent à développer des systèmes d'IA plus aptes à comprendre comment les humains perçoivent le monde, ce qui leur permet de mieux répondre aux besoins de la société.

Photo de Aishwarya Agrawal

La recherche multimodale en apprentissage automatique nous permet de créer des systèmes d'IA plus proches de la perception du monde par les humains, qui seront plus aptes à servir l'humanité à l'avenir.

Aishwarya Agrawal, professeure adjointe, Université de Montréal, membre académique principale, Mila

Ressources

Understanding LLM Understanding
Co-organisée par Mila, cette école d'été qui s'est tenue en juin 2024 a rassemblé des expert⋅e⋅s de divers domaines tels que l'informatique, les neurosciences et la psychologie pour explorer les grands modèles de langage sous diverses perspectives.
MAPL
MAPL est un système d'intelligence artificielle multimodal capable de comprendre des images et du texte, tout en générant du texte libre en sortie.
ConceptGraphs
ConceptGraphs est une représentation graphique structurée à vocabulaire ouvert pour les scènes 3D.

Laboratoires de recherche

Les professeur⋅e⋅s de Mila qui explorent le sujet dans le cadre de leurs recherches.

Corps professoral
Membre académique principal
Portrait de David Ifeoluwa Adelani
Professeur adjoint, McGill University
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Aishwarya Agrawal
Professeure adjointe, Université de Montréal
Chaire en IA Canada-CIFAR
Membre académique associé
Portrait de Narges Armanfard
Professeure agrégée, McGill University
Membre académique principal
Portrait de Sarath Chandar
Professeur associé, Polytechnique Montréal
Chaire en IA Canada-CIFAR
Membre industriel associé
Portrait de Nicolas Chapados
Vice-président, Recherche, Nera
Membre académique principal
Portrait de Laurent Charlin
Professeur agrégé, HEC Montréal
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Jackie Cheung
Directeur scientifique adjoint, Mila, Professeur agrégé, McGill University
Chaire en IA Canada-CIFAR
Membre académique associé
Portrait de James Clark
Professeur titulaire, McGill University
Membre industriel associé
Portrait de Marc-Alexandre Côté
Microsoft Research
Membre affilié
Portrait de Maria Cutumisu
Professeure agrégée, McGill University
Membre industriel associé
Portrait de Alexandre Drouin
Chercheur scientifique, ServiceNow
Membre affilié
Portrait de Samira Ebrahimi Kahou
Professeure agrégée, University of Calgary
Membre académique associé
Portrait de Christian Gagné
Professeur titulaire, Université Laval
Chaire en IA Canada-CIFAR
Membre affilié
Portrait de Éric Granger
Professeur titulaire, École de technologie suprérieure
Membre académique associé
Portrait de Warren Gross
Professeur, McGill University
Membre académique associé
Portrait de Mohammad Hamdaqa
Professeur agrégé, Polytechnique Montréal
Membre académique associé
Portrait de Toby Dylan Hocking
Professeur agrégé, Université Sherbrooke
Membre académique associé
Portrait de Mahdi Hosseini
Professeur adjoint, Concordia University
Membre affilié
Portrait de Shin (Alexandre) Koseki
Professeur adjoint, Université de Montréal
Membre académique associé
Portrait de Jean-François Lalonde
Professeur titulaire, Université Laval
Membre académique associé
Portrait de Yue Li
Professeur adjoint, McGill University
Membre académique associé
Portrait de Xue (Steve) Liu n'est pas disponible
Professeur titulaire, McGill University
Membre académique principal
Portrait de Tegan Maharaj
Professeure adjointe en apprentissage automatique, HEC Montréal
Membre affilié
Portrait de Majid Mohajerani
Professeur agrégé, McGill University
Membre académique associé
Portrait de Eilif B. Muller
Professeur adjoint, Université de Montréal
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Derek Nowrouzezahrai
Professeur titulaire, McGill University
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Timothy O'Donnell
Professeur adjoint, McGill University
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Chris Pal
Professeur titulaire, Polytechnique Montréal
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Laurence Perreault-Levasseur
Professeure agrégée, Université de Montréal
Membre affilié
Portrait de Louis Petit
Professeur adjoint, Université de Sherbrooke
Membre académique associé
Portrait de Pablo Piantanida
Professeur titulaire, Université Paris-Saclay
Membre académique associé
Portrait de Isabeau Prémont-Schwarz
Université Laval
Membre académique principal
Portrait de Guillaume Rabusseau
Professeur adjoint, Université de Montréal
Chaire en IA Canada-CIFAR
Membre affilié
Portrait de Ahmed Ragab
Professeur associé, Polytechnique Montréal
Membre académique principal
Portrait de Siamak Ravanbakhsh
Professeur agrégé, McGill University
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Siva Reddy
Professeur adjoint, McGill University
Chaire en IA Canada-CIFAR
Membre académique associé
Portrait de Ayla Rigouts Terryn
Professeure adjointe, Université de Montréal
Membre académique principal
Portrait de Irina Rish
Professeure titulaire, Université de Montréal
Chaire en IA Canada-CIFAR
Membre académique associé
Portrait de Hassan Rivaz
Professeur titulaire, Concordia University
Membre affilié
Portrait de Jennifer Tang
Professeure adjointe, Polytechnique Montréal
Membre académique associé
Portrait de Amine Trabelsi
Professeur agrégé, Université de Sherbrooke
Membre industriel associé
Portrait de Fabio Viola
Ingénieur chercheur principal, Google DeepMind
Membre industriel associé
Portrait de Kory Wallace Mathewson
Chercheur scientifique, DeepMind
Membre académique associé
Portrait de Skyler Wang
Professeur adjoint, McGill University
Membre académique associé
Portrait de Yang Wang
Professeur agrégé, Concordia University
Membre académique associé
Portrait de Amal Zouaq
Professeure titulaire, Polytechnique Montréal

Publications

IG-RL: Inductive Graph Reinforcement Learning for Massive-Scale Traffic Signal Control
François-Xavier Devailly
Denis Larocque
Scaling adaptive traffic signal control involves dealing with combinatorial state and action spaces. Multi-agent reinforcement learning atte… (voir plus)mpts to address this challenge by distributing control to specialized agents. However, specialization hinders generalization and transferability, and the computational graphs underlying neural-network architectures—dominating in the multi-agent setting—do not offer the flexibility to handle an arbitrary number of entities which changes both between road networks, and over time as vehicles traverse the network. We introduce Inductive Graph Reinforcement Learning (IG-RL) based on graph-convolutional networks which adapts to the structure of any road network, to learn detailed representations of traffic signal controllers and their surroundings. Our decentralized approach enables learning of a transferable-adaptive-traffic-signal-control policy. After being trained on an arbitrary set of road networks, our model can generalize to new road networks and traffic distributions, with no additional training and a constant number of parameters, enabling greater scalability compared to prior methods. Furthermore, our approach can exploit the granularity of available data by capturing the (dynamic) demand at both the lane level and the vehicle level. The proposed method is tested on both road networks and traffic settings never experienced during training. We compare IG-RL to multi-agent reinforcement learning and domain-specific baselines. In both synthetic road networks and in a larger experiment involving the control of the 3,971 traffic signals of Manhattan, we show that different instantiations of IG-RL outperform baselines.
MAPL: Parameter-Efficient Adaptation of Unimodal Pre-Trained Models for Vision-Language Few-Shot Prompting
Pau Rodríguez
Aida Nematzadeh
Large pre-trained models have proved to be remarkable zero- and (prompt-based) few-shot learners in unimodal vision and language tasks. We p… (voir plus)ropose MAPL, a simple and parameter-efficient method that reuses frozen pre-trained unimodal models and leverages their strong generalization capabilities in multimodal vision-language (VL) settings. MAPL learns a lightweight mapping between the representation spaces of unimodal models using aligned image-text data, and can generalize to unseen VL tasks from just a few in-context examples. The small number of trainable parameters makes MAPL effective at low-data and in-domain learning. Moreover, MAPL's modularity enables easy extension to other pre-trained models. Extensive experiments on several visual question answering and image captioning benchmarks show that MAPL achieves superior or competitive performance compared to similar methods while training orders of magnitude fewer parameters. MAPL can be trained in just a few hours using modest computational resources and public datasets. We release our code and pre-trained model weights at https://github.com/mair-lab/mapl.
MCVD: Masked Conditional Video Diffusion for Prediction, Generation, and Interpolation
MeshDiffusion: Score-Based Generative 3D Mesh Modeling
Yao Feng
Michael J. Black
Weiyang Liu
We consider the task of generating realistic 3D shapes, which is useful for a variety of applications such as automatic scene generation and… (voir plus) physical simulation. Compared to other 3D representations like voxels and point clouds, meshes are more desirable in practice, because (1) they enable easy and arbitrary manipulation of shapes for relighting and simulation, and (2) they can fully leverage the power of modern graphics pipelines which are mostly optimized for meshes. Previous scalable methods for generating meshes typically rely on sub-optimal post-processing, and they tend to produce overly-smooth or noisy surfaces without fine-grained geometric details. To overcome these shortcomings, we take advantage of the graph structure of meshes and use a simple yet very effective generative modeling method to generate 3D meshes. Specifically, we represent meshes with deformable tetrahedral grids, and then train a diffusion model on this direct parametrization. We demonstrate the effectiveness of our model on multiple generative tasks.