Robotique

Les robots sont utilisés dans le monde entier dans de nombreux processus industriels et s'améliorent d'année en année pour aider les humains. Les algorithmes d'apprentissage automatique améliorent les capacités de la robotique traditionnelle et sont devenus essentiels pour rendre les robots plus adaptables aux situations difficiles.

Des personnes observent un bras robotisé à l'œuvre dans une usine.

L'apprentissage automatique incarné cherche à émuler la manière dont les humains apprennent. En utilisant une grande variété de capteurs sur le matériel robotique, les chercheur·euse·s sont en mesure d'aider les robots à percevoir, analyser, interagir et naviguer dans des environnements physiques imprévisibles. Les chercheur·euse·s de Mila s'attaquent à des défis tels qu'une meilleure planification à long terme de l'utilisation des robots dans la vie quotidienne, la construction de représentations du monde - y compris la localisation et la cartographie simultanées - tout en créant de meilleurs flux de travail pour enseigner de nouvelles tâches aux robots.

Les travaux de Mila comprennent également la conception d'algorithmes expérimentaux d'apprentissage automatique pour aider les robots à être plus performants dans des applications industrielles telles que l'assemblage et le désassemblage, la préparation des repas et la gestion d’entrepôts.

Projets phares

Ingénieurs travaillant avec des équipements robotiques médicaux.

DROID

DROID est une initiative qui vise à remédier à la pénurie des ensembles de données exhaustifs en robotique, en favorisant le développement d'algorithmes de manipulation pour des applications dans le monde réel.

Formes géométriques sur fond bleu foncé.

ConceptGraphs

ConceptGraphs est un système de cartographie qui construit des graphes de scène 3D d'objets et de leurs relations, permettant aux robots d'effectuer des tâches complexes de navigation et de manipulation d'objets.

L'intelligence artificielle peut nous aider à rendre les robots plus adaptables aux environnements imprévisibles, ce qui mènera à de véritables assistants robotiques dans le monde réel.

Glen Berseth, professeur adjoint, Université de Montréal, membre académique principal, Mila

Laboratoires de recherche

Les professeur·e·s de Mila qui explorent le sujet dans le cadre de leurs recherches.

Corps professoral

Membre académique principal

Glen Berseth

Professeur agrégé, Université de Montréal, Département d'informatique et de recherche opérationnelle

Chaire en IA Canada-CIFAR

Voir le profil

Membre académique associé

Gregory Dudek

Professeur titulaire et Directeur de recherche du laboratoire de robotique mobile, McGill University, École d'informatique

Voir le profil

Membre affilié

Samira Ebrahimi Kahou

Professeure adjointe, University of Calgary, Départment de génie électrique et logiciel

Chaire en IA Canada-CIFAR

Voir le profil

Membre académique principal

Amir-massoud Farahmand

Professeur associé, Polytechnique Montréal

Voir le profil

Membre industriel associé

Maxime Gasse

Chercheur scientifique principal, ServiceNow

Voir le profil

Membre académique associé

Toby Dylan Hocking

Professeur agrégé, Université Sherbrooke, Département d'informatique

Voir le profil

Membre académique associé

Xue (Steve) Liu

Professeur titulaire, McGill University, École d'informatique

Voir le profil

Membre académique associé

David Meger

Professeur adjoint, McGill University, École d'informatique

Voir le profil

Membre académique principal

AJung Moon

Professeure adjointe, McGill University, Département de génie électrique et informatique

Voir le profil

Membre académique associé

Eilif Benjamin Muller

Professeur adjoint, Université de Montréal, Département de neurosciences

Chaire en IA Canada-CIFAR

Voir le profil

Membre académique associé

Borke Obada-Obieh

Professeure adjointe, McGill University, École d'informatique

Voir le profil

Membre académique principal

Chris Pal

Professeur titulaire, Polytechnique Montréal, Département de génie informatique et de génie logiciel

Chaire en IA Canada-CIFAR

Voir le profil

Membre académique principal

Liam Paull

Professeur adjoint, Université de Montréal, Département d'informatique et de recherche opérationnelle

Chaire en IA Canada-CIFAR

Voir le profil

Membre académique principal

Doina Precup

Professeure agrégée, McGill University, École d'informatique

Chaire en IA Canada-CIFAR

Voir le profil

Membre académique associé

Audrey Sedal

Professeure adjointe, McGill University, Département de l'ingénierie médicale

Voir le profil

Vidéo à la une

Le professeur Glen Berseth étudie comment l'apprentissage automatique peut être utilisé pour former des robots plus adaptables qui pourraient aider l'humanité à relever ses défis les plus pressants.

Publications

ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning

Qiao Gu

Alihusein Kuwajerwala

Sacha Morin

Krishna Murthy

Bipasha Sen

Aditya Agarwal

Corban Rivera

William Paul

Kirsty Ellis

Rama Chellappa

Chuang Gan

Celso M de Melo

Joshua B. Tenenbaum

Antonio Torralba

Florian Shkurti

Liam Paull

For robots to perform a wide variety of tasks, they require a 3D representation of the world that is semantically rich, yet compact and effi… (voir plus)cient for task-driven perception and planning. Recent approaches have attempted to leverage features from large vision-language models to encode semantics in 3D representations. However, these approaches tend to produce maps with per-point feature vectors, which do not scale well in larger environments, nor do they contain semantic spatial relationships between entities in the environment, which are useful for downstream planning. In this work, we propose ConceptGraphs, an open-vocabulary graph-structured representation for 3D scenes. ConceptGraphs is built by leveraging 2D foundation models and fusing their output to 3D by multi-view association. The resulting representations generalize to novel semantic classes, without the need to collect large 3D datasets or finetune models. We demonstrate the utility of this representation through a number of downstream planning tasks that are specified through abstract (language) prompts and require complex reasoning over spatial and semantic concepts. (Project page: https://concept-graphs.github.io/ Explainer video: https://youtu.be/mRhNkQwRYnc )

2024-05-13

2024 IEEE International Conference on Robotics and Automation (ICRA) (publié)

doi.org

openreview.net

DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset

Alexander Khazatsky

Karl Pertsch

Suraj Nair

Ashwin Balakrishna

Sudeep Dasari

Siddharth Karamcheti

Soroush Nasiriany

Mohan Kumar Srirama

Lawrence Yunliang Chen

Kirsty Ellis

Peter David Fagan

Joey Hejna

Masha Itkina

Marion Lepert

Yecheng Jason Ma

Ye Ma

Patrick Tree Miller

Jimmy Wu

Suneel Belkhale

Shivin Dass … (voir 80 de plus)

Huy Ha

Arhan Jain

Abraham Lee

Youngwoon Lee

Marius Memmel

Sungjae Park

Ilija Radosavovic

Kaiyuan Wang

Albert Zhan

Kevin Black

Cheng Chi

Kyle Beltran Hatch

Shan Lin

Jingpei Lu

Jean Mercat

Abdul Rehman

Pannag R Sanketi

Archit Sharma

Cody Simpson

Quan Vuong

Homer Rich Walke

Blake Wulfe

Ted Xiao

Jonathan Heewon Yang

Arefeh Yavary

Tony Z. Zhao

Christopher Agia

Rohan Baijal

Mateo Guaman Castro

Daphne Chen

Qiuyu Chen

Trinity Chung

Jaimyn Drake

Ethan Paul Foster

Jensen Gao

David Antonio Herrera

Minho Heo

Kyle Hsu

Jiaheng Hu

Donovon Jackson

Charlotte Le

Yunshuang Li

K. Lin

Roy Lin

Zehan Ma

Abhiram Maddukuri

Suvir Mirchandani

Daniel Morton

Tony Khuong Nguyen

Abigail O'Neill

Rosario Scalise

Derick Seale

Victor Son

Stephen Tian

Emi Tran

Andrew E. Wang

Yilin Wu

Annie Xie

Jingyun Yang

Patrick Yin

Yunchu Zhang

Osbert Bastani

Glen Berseth

Jeannette Bohg

Ken Goldberg

Abhinav Gupta

Abhishek Gupta

Dinesh Jayaraman

Joseph J Lim

Jitendra Malik

Roberto Martín-Martín

Subramanian Ramamoorthy

Dorsa Sadigh

Shuran Song

Jiajun Wu

Michael C. Yip

Yuke Zhu

Thomas Kollar

Sergey Levine

Chelsea Finn

The creation of large, diverse, high-quality robot manipulation datasets is an important stepping stone on the path toward more capable and … (voir plus)robust robotic manipulation policies. However, creating such datasets is challenging: collecting robot manipulation data in diverse environments poses logistical and safety challenges and requires substantial investments in hardware and human labour. As a result, even the most general robot manipulation policies today are mostly trained on data collected in a small number of environments with limited scene and task diversity. In this work, we introduce DROID (Distributed Robot Interaction Dataset), a diverse robot manipulation dataset with 76k demonstration trajectories or 350 hours of interaction data, collected across 564 scenes and 84 tasks by 50 data collectors in North America, Asia, and Europe over the course of 12 months. We demonstrate that training with DROID leads to policies with higher performance and improved generalization ability. We open source the full dataset, policy learning code, and a detailed guide for reproducing our robot hardware setup.

2024-06-26

roboticsfoundation.org/RSS/2024/Workshop/DGR (poster)

doi.org

openreview.net

ConceptFusion: Open-set Multimodal 3D Mapping

Krishna Murthy

Alihusein Kuwajerwala

Qiao Gu

Mohd Omama

Tao Chen

Shuang Li

Alaa Maalouf

Ganesh Subramanian Iyer

Soroush Saryazdi

Nikhil Varma Keetha

Ayush Tewari

Joshua B. Tenenbaum

Celso M de Melo

Madhava Krishna

Liam Paull

Florian Shkurti

Antonio Torralba

Building 3D maps of the environment is central to robot navigation, planning, and interaction with objects in a scene. Most existing approac… (voir plus)hes that integrate semantic concepts with 3D maps largely remain confined to the closed-set setting: they can only reason about a finite set of concepts, pre-defined at training time. Further, these maps can only be queried using class labels, or in recent work, using text prompts. We address both these issues with ConceptFusion, a scene representation that is: (i) fundamentally open-set, enabling reasoning beyond a closed set of concepts (ii) inherently multi-modal, enabling a diverse range of possible queries to the 3D map, from language, to images, to audio, to 3D geometry, all working in concert. ConceptFusion leverages the open-set capabilities of today’s foundation models pre-trained on internet-scale data to reason about concepts across modalities such as natural language, images, and audio. We demonstrate that pixel-aligned open-set features can be fused into 3D maps via traditional SLAM and multi-view fusion approaches. This enables effective zero-shot spatial reasoning, not needing any additional training or finetuning, and retains long-tailed concepts better than supervised approaches, outperforming them by more than 40% margin on 3D IoU. We extensively evaluate ConceptFusion on a number of real-world datasets, simulated home environments, a real-world tabletop manipulation task, and an autonomous driving platform. We showcase new avenues for blending foundation models with 3D open-set multimodal mapping.

2023-05-06

ICRA.org/2023/Workshop/Pretraining4Robotics (publié)

doi.org

openreview.net

Hierarchical Reinforcement Learning for Precise Soccer Shooting Skills using a Quadrupedal Robot

Yandong Ji

Zhongyu Li

Yinan Sun

Xue Bin Peng

Sergey Levine

Glen Berseth

Koushil Sreenath

We address the problem of enabling quadrupedal robots to perform precise shooting skills in the real world using reinforcement learning. Dev… (voir plus)eloping algorithms to enable a legged robot to shoot a soccer ball to a given target is a challenging problem that combines robot motion control and planning into one task. To solve this problem, we need to consider the dynamics limitation and motion stability during the control of a dynamic legged robot. Moreover, we need to consider motion planning to shoot the hard-to-model deformable ball rolling on the ground with uncertain friction to a desired location. In this paper, we propose a hierarchical framework that leverages deep reinforcement learning to train (a) a robust motion control policy that can track arbitrary motions and (b) a planning policy to decide the desired kicking motion to shoot a soccer ball to a target. We deploy the proposed framework on an A1 quadrupedal robot and enable it to accurately shoot the ball to random targets in the real world.

2022-10-23

2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (publié)

doi.org

arxiv.org

Voir plus de publications