Robotique

Les robots sont utilisés dans le monde entier dans de nombreux processus industriels et s'améliorent d'année en année pour aider les humains. Les algorithmes d'apprentissage automatique améliorent les capacités de la robotique traditionnelle et sont devenus essentiels pour rendre les robots plus adaptables aux situations difficiles.

Des personnes observent un bras robotisé à l'œuvre dans une usine.

L'apprentissage automatique incarné cherche à émuler la manière dont les humains apprennent. En utilisant une grande variété de capteurs sur le matériel robotique, les chercheur·euse·s sont en mesure d'aider les robots à percevoir, analyser, interagir et naviguer dans des environnements physiques imprévisibles. Les chercheur·euse·s de Mila s'attaquent à des défis tels qu'une meilleure planification à long terme de l'utilisation des robots dans la vie quotidienne, la construction de représentations du monde - y compris la localisation et la cartographie simultanées - tout en créant de meilleurs flux de travail pour enseigner de nouvelles tâches aux robots. 

Les travaux de Mila comprennent également la conception d'algorithmes expérimentaux d'apprentissage automatique pour aider les robots à être plus performants dans des applications industrielles telles que l'assemblage et le désassemblage, la préparation des repas et la gestion d’entrepôts.

Projets phares

Ingénieurs travaillant avec des équipements robotiques médicaux.

DROID

DROID est une initiative qui vise à remédier à la pénurie des ensembles de données exhaustifs en robotique, en favorisant le développement d'algorithmes de manipulation pour des applications dans le monde réel. 

Formes géométriques sur fond bleu foncé.

ConceptGraphs

ConceptGraphs est un système de cartographie qui construit des graphes de scène 3D d'objets et de leurs relations, permettant aux robots d'effectuer des tâches complexes de navigation et de manipulation d'objets.

Photo de Glen Berseth

L'intelligence artificielle peut nous aider à rendre les robots plus adaptables aux environnements imprévisibles, ce qui mènera à de véritables assistants robotiques dans le monde réel.

Glen Berseth, professeur adjoint, Université de Montréal, membre académique principal, Mila

Laboratoires de recherche

Les professeur·e·s de Mila qui explorent le sujet dans le cadre de leurs recherches.

Corps professoral
Membre académique principal
Portrait de Glen Berseth
Professeur agrégé, Université de Montréal, Département d'informatique et de recherche opérationnelle
Chaire en IA Canada-CIFAR
Membre académique associé
Portrait de Samira Ebrahimi Kahou
Professeure agrégée, École de technologie supérieure (ETS), Département de génie lociciel et des TI
Chaire en IA Canada-CIFAR
Membre industriel associé
Portrait de Maxime Gasse
Chercheur scientifique principal, ServiceNow
Membre académique associé
Portrait de Xue (Steve) Liu n'est pas disponible
Professeur titulaire, McGill University, École d'informatique
Membre académique associé
Portrait de David Meger
Professeur adjoint, McGill University, École d'informatique
Membre académique principal
Portrait de AJung Moon
Professeure adjointe, McGill University, Département de génie électrique et informatique
Membre académique associé
Portrait de Eilif Benjamin Muller
Professeur adjoint, Université de Montréal, Département de neurosciences
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Chris Pal
Professeur titulaire, Polytechnique Montréal, Département de génie informatique et de génie logiciel
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Liam Paull
Professeur adjoint, Université de Montréal, Département d'informatique et de recherche opérationnelle
Chaire en IA Canada-CIFAR
Membre académique principal
Portrait de Doina Precup
Professeure agrégée, McGill University, École d'informatique
Chaire en IA Canada-CIFAR
Membre académique associé
Portrait de Audrey Sedal
Professeure adjointe, McGill University, Département de l'ingénierie médicale

Vidéo à la une

Le professeur Glen Berseth étudie comment l'apprentissage automatique peut être utilisé pour former des robots plus adaptables qui pourraient aider l'humanité à relever ses défis les plus pressants.

Publications

ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning
Qiao Gu
Alihusein Kuwajerwala
Sacha Morin
Krishna Murthy
Bipasha Sen
Aditya Agarwal
Corban Rivera
William Paul
Kirsty Ellis
Rama Chellappa
Chuang Gan
Celso M de Melo
Joshua B. Tenenbaum
Antonio Torralba
Florian Shkurti
For robots to perform a wide variety of tasks, they require a 3D representation of the world that is semantically rich, yet compact and effi… (voir plus)cient for task-driven perception and planning. Recent approaches have attempted to leverage features from large vision-language models to encode semantics in 3D representations. However, these approaches tend to produce maps with per-point feature vectors, which do not scale well in larger environments, nor do they contain semantic spatial relationships between entities in the environment, which are useful for downstream planning. In this work, we propose ConceptGraphs, an open-vocabulary graph-structured representation for 3D scenes. ConceptGraphs is built by leveraging 2D foundation models and fusing their output to 3D by multi-view association. The resulting representations generalize to novel semantic classes, without the need to collect large 3D datasets or finetune models. We demonstrate the utility of this representation through a number of downstream planning tasks that are specified through abstract (language) prompts and require complex reasoning over spatial and semantic concepts. (Project page: https://concept-graphs.github.io/ Explainer video: https://youtu.be/mRhNkQwRYnc )
DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
Alexander Khazatsky
Karl Pertsch
Suraj Nair
Ashwin Balakrishna
Sudeep Dasari
Siddharth Karamcheti
Soroush Nasiriany
Mohan Kumar Srirama
Lawrence Yunliang Chen
Kirsty Ellis
Peter David Fagan
Joey Hejna
Masha Itkina
Marie Lepert
Ye Ma
Patrick Tree Miller
Jimmy Wu
Suneel Belkhale
S. Dass
Huy Ha … (voir 79 de plus)
Arhan Jain
Abraham Lee
Youngwoon Lee
Marius Memmel
S. Park
Ilija Radosavovic
Kaiyuan Wang
Albert Zhan
Kevin Black
Cheng Chi
Kyle Beltran Hatch
Shan Lin
Jingpei Lu
Jean-Pierre Mercat
Abdul Rehman
Pannag R. Sanketi
Archit Sharma
C. Simpson
Q. Vương
Homer Rich Walke
Blake Wulfe
Ted Xiao
Jonathan Heewon Yang
Arefeh Yavary
Tony Z. Zhao
Christopher Agia
Rohan Baijal
Mateo Guaman Castro
D. Chen
Qiuyu Chen
Trinity Chung
Jaimyn Drake
Ethan Paul Foster
Jensen Gao
David Antonio Herrera
Minho Heo
Kyle Hsu
Jiaheng Hu
Donovon Jackson
Charlotte Le
Yunshuang Li
K. Lin
Roy Lin
Zehan Ma
Abhiram Maddukuri
Suvir Mirchandani
D. Morton
Tony Nguyen
Abigail O'Neill
R. Scalise
Derick Seale
Victor Son
Stephen Tian
Emi Tran
Andrew E. Wang
Yilin Wu
Annie Xie
Jingyun Yang
Patrick Yin
Yunchu Zhang
Osbert Bastani
Jeannette Bohg
Ken Goldberg
Abhinav Gupta
Abhishek Gupta
Dinesh Jayaraman
Joseph J. Lim
Jitendra Malik
Roberto Mart'in-Mart'in
Subramanian Ramamoorthy
Dorsa Sadigh
Shuran Song
Jiajun Wu
Michael C. Yip
Yuke Zhu
Thomas Kollar
Sergey Levine
Chelsea Finn
The creation of large, diverse, high-quality robot manipulation datasets is an important stepping stone on the path toward more capable and … (voir plus)robust robotic manipulation policies. However, creating such datasets is challenging: collecting robot manipulation data in diverse environments poses logistical and safety challenges and requires substantial investments in hardware and human labour. As a result, even the most general robot manipulation policies today are mostly trained on data collected in a small number of environments with limited scene and task diversity. In this work, we introduce DROID (Distributed Robot Interaction Dataset), a diverse robot manipulation dataset with 76k demonstration trajectories or 350 hours of interaction data, collected across 564 scenes and 84 tasks by 50 data collectors in North America, Asia, and Europe over the course of 12 months. We demonstrate that training with DROID leads to policies with higher performance and improved generalization ability. We open source the full dataset, policy learning code, and a detailed guide for reproducing our robot hardware setup.
ConceptFusion: Open-set Multimodal 3D Mapping
Krishna Murthy
Alihusein Kuwajerwala
Qiao Gu
Mohd Omama
Tao Chen
Shuang Li
Alaa Maalouf
Ganesh Subramanian Iyer
Soroush Saryazdi
Nikhil Varma Keetha
Ayush Tewari
Joshua B. Tenenbaum
Celso M de Melo
Madhava Krishna
Florian Shkurti
Antonio Torralba
Building 3D maps of the environment is central to robot navigation, planning, and interaction with objects in a scene. Most existing approac… (voir plus)hes that integrate semantic concepts with 3D maps largely remain confined to the closed-set setting: they can only reason about a finite set of concepts, pre-defined at training time. Further, these maps can only be queried using class labels, or in recent work, using text prompts. We address both these issues with ConceptFusion, a scene representation that is: (i) fundamentally open-set, enabling reasoning beyond a closed set of concepts (ii) inherently multi-modal, enabling a diverse range of possible queries to the 3D map, from language, to images, to audio, to 3D geometry, all working in concert. ConceptFusion leverages the open-set capabilities of today’s foundation models pre-trained on internet-scale data to reason about concepts across modalities such as natural language, images, and audio. We demonstrate that pixel-aligned open-set features can be fused into 3D maps via traditional SLAM and multi-view fusion approaches. This enables effective zero-shot spatial reasoning, not needing any additional training or finetuning, and retains long-tailed concepts better than supervised approaches, outperforming them by more than 40% margin on 3D IoU. We extensively evaluate ConceptFusion on a number of real-world datasets, simulated home environments, a real-world tabletop manipulation task, and an autonomous driving platform. We showcase new avenues for blending foundation models with 3D open-set multimodal mapping.
Hierarchical Reinforcement Learning for Precise Soccer Shooting Skills using a Quadrupedal Robot
Yandong Ji
Zhongyu Li
Yinan Sun
Xue Bin Peng
Sergey Levine
Koushil Sreenath
We address the problem of enabling quadrupedal robots to perform precise shooting skills in the real world using reinforcement learning. Dev… (voir plus)eloping algorithms to enable a legged robot to shoot a soccer ball to a given target is a challenging problem that combines robot motion control and planning into one task. To solve this problem, we need to consider the dynamics limitation and motion stability during the control of a dynamic legged robot. Moreover, we need to consider motion planning to shoot the hard-to-model deformable ball rolling on the ground with uncertain friction to a desired location. In this paper, we propose a hierarchical framework that leverages deep reinforcement learning to train (a) a robust motion control policy that can track arbitrary motions and (b) a planning policy to decide the desired kicking motion to shoot a soccer ball to a target. We deploy the proposed framework on an A1 quadrupedal robot and enable it to accurately shoot the ball to random targets in the real world.