DROID : Mieux contrôler les robots grâce à un ensemble de données à grande échelle
Une vaste collection de démonstrations d'expert·e·s utilisée pour entraîner des modèles de fondation pour la manipulation des robots.
Contexte
Les grands modèles de langage (LLM) excellent dans les tâches de traitement du langage naturel grâce à de vastes ensembles de données, mais la robotique est confrontée à un défi lié aux tâches de manipulation.
Contrairement aux LLM, qui bénéficient de vastes corpus de textes, la robotique ne dispose pas d'ensembles de données de taille comparable pour les tâches de manipulation.
Dès 2023, plusieurs membres du laboratoire de robotique de Montréal (REAL) ont collaboré avec 12 autres laboratoires de recherche à travers le monde pour produire un ensemble de données de manipulation de robots vaste, diversifié et de haute qualité.
Objectifs
L'équipe du laboratoire REAL a recruté des collecteur·rice·s de données parmi les étudiant·e·s de Mila et de l'Université de Montréal pour produire des milliers de trajectoires de tâches de manipulation domestique afin d'exploiter cet ensemble de données et aboutir à des politiques de manipulation robotique plus performantes et plus robustes.
Cette initiative vise à remédier à la rareté des ensembles de données exhaustifs en robotique, contribuant ainsi au développement de meilleurs algorithmes de manipulation pour les applications en conditions réelles.
Chaque laboratoire a construit des systèmes de téléopération identiques, permettant une collecte de données cohérente dans toutes les institutions.
Un bras robotisé Franka a été monté sur un bureau roulant réglable en hauteur, nous permettant de déplacer l'installation vers différentes scènes et ainsi de diversifier les données.
Le dispositif était équipé de trois caméras stéréo, de deux caméras Zed 2 offrant des vues réglables au-dessus de l'épaule et d'une caméra Zed Mini montée sur le poignet, offrant une vue détaillée de la pince.
La configuration adaptable permet d'obtenir des données diversifiées, allant des scènes aux positions multiples du robot en passant par les positions variées de la caméra. Par exemple, l'installation a été transportée dans la cuisine de Mila et des données sur la préparation du café ont été recueillies.
La communauté de l'apprentissage automatique a récemment pris conscience de l'importance de la diversité des données. Pour ce projet, nous nous concentrons sur la collecte de données de manipulation de robots avec une plus grande diversité de tâches et d'images. Cela augmente considérablement la capacité des grands modèles entraînés pour la robotique.
Glen Berseth, professeur adjoint, Université de Montréal, membre académique principal, Mila
Ressources
DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
Lire l'article
https://arxiv.org/abs/2403.12945
Ensemble de données DROID
L'ensemble de données, le code d'apprentissage des politiques et un guide détaillé pour reproduire la configuration matérielle de notre robot.
En savoir plus
https://droid-dataset.github.io/
Équipe
Membres Mila
Partenaires
