Mi-juin 2023, 27 participant·e·s ont pris part à la deuxième édition de l'école d'été en robotique à Mila afin d’apprendre comment combiner l’intelligence artificielle avec les méthodes de robotique traditionnelles et d’appliquer leurs connaissances lors d’une compétition où un robot quadrupède devait évoluer à travers un parcours d'obstacles.
Pendant une semaine, les participant·e·s ont exploré des techniques de pointe en robotique et en apprentissage automatique et ont travaillé sur des projets pratiques au cours de sessions nommées "robot time".
L'école d'été cherche avant tout à combler l’écart entre les méthodes de robotique traditionnelles et les modèles d'apprentissage automatique qui peuvent améliorer la capacité d'adaptation des robots dans des situations difficiles, selon Glen Berseth, membre académique principal de Mila et professeur adjoint à l'Université de Montréal.
Elle a été créée l'année dernière afin de réunir un groupe d’experts en apprentissage automatique désireux d'appliquer leurs compétences sur une interface physique et les associer à un groupe d’experts en robotique souhaitant en savoir plus sur les applications de l'IA dans leur domaine.
"L'apprentissage automatique fonctionne mieux que les modèles robotiques classiques lorsque des éléments tels que la physique et la dynamique ne sont pas linéaires et sont très difficiles à modéliser. Cela se produit souvent dans les domaines où le robot interagit avec son environnement, et c'est là que ça devient amusant et intéressant", a expliqué Glen Berseth.
C'est particulièrement vrai dans le cas du robot quadrupède utilisé pendant l’école d'été, dont la dynamique est plus complexe et imprévisible que celle d'un robot plus simple et plus lent doté de roues, par exemple.
"Les robots à pattes peuvent faire beaucoup de sauts impressionnants et courir partout", a-t-il déclaré.
Avec suffisamment de données, l'apprentissage automatique peut donc être utilisé pour approximer ces situations et préparer le robot à faire face à un environnement instable.
S’entraîner à l'imprévisible
Pour se préparer à la compétition finale, les participant·e·s ont utilisé l'apprentissage par renforcement profond pour pré-entraîner des modèles au cours de simulations, a souligné Glen Berseth.
"Les participant·e·s disposent d'une version simulée de l’interface réelle, ce qui leur permet d’entraîner, beaucoup plus rapidement, une politique capable de contrôler la version simulée, puis de transférer cette politique sur l’interface réelle. Ils peuvent ensuite comparer l'efficacité du modèle sur l’interface réelle avec celle des méthodes traditionnelles de robotique."
Florian Golemo, étudiant postdoctoral à Mila, a aidé à opérationnaliser les exercices de robotique et d'encadrer les participant·e·s tout au long du programme. Les étudiants ont utilisé le simulateur de pointe Isaac Gym pour entraîner des tâches robotiques complexes en quelques minutes.
"Le robot est livré avec un contrôleur classique, mais il a de gros problèmes lorsqu'il franchit des obstacles ou lorsqu'il fait quelque chose de légèrement inattendu. Si le robot est dans ce mode et que vous essayez de le soulever, il s'affole et ses jambes partent dans tous les sens", a déclaré Florian Golemo.
Mais "une fois que l'on a préparé le robot grâce à l'apprentissage par renforcement profond, il est beaucoup plus robuste. Dans notre simulateur, nous avons un tas de terrains différents, comme des marches, des terrains bosselés ou rebondissants, et le robot est prêt à marcher sur tous ces terrains en une demi-heure, alors qu'il aurait fallu des semaines ou des mois dans le cas d’un contrôleur classique," a expliqué Florian Golemo.
Il a surtout apprécié la passion des étudiants, qui ont passé des soirées entières à mettre au point leurs projets avant le concours.
"Les élèves se sont vraiment investis dans la compétition,en encourageant leur robot comme s'il s'agissait d'une équipe de football!".
Nouvelles idées
Sacha Morin, doctorant à Mila, a enseigné aux participant·e·s comment coordonner les informations provenant de plusieurs capteurs du robot, en particulier les caméras, afin de planifier une trajectoire et d'éviter les obstacles. Au cours de la semaine, il a constaté les progrès "impressionnants" des étudiants.
"Les deux premiers jours, les participant·e·s se familiarisaient avec leur environnement, comprenaient le code et le robot ne faisait pas grand-chose. Mais les jours suivants, les mouvements et la navigation se sont vraiment améliorés. On voyait que l’école d'été portaient ses fruits, mais aussi la magie des échéances à l'approche de la compétition, où tout le monde se donnait à fond".
"Ce que j'aime vraiment dans la robotique, c'est de voir son programme et ses idées prendre vie. J'ai été heureux de pouvoir partager cette expérience avec d'autres étudiants, en particulier ceux qui ont une formation en apprentissage automatique et qui sont moins familiarisés avec la robotique,” a-t-il déclaré.
Glen Berseth a mis l'accent sur les nouvelles idées apportées par l'apprentissage automatique à la robotique afin de résoudre des problèmes.
" J'ai apprécié les idées très originales de certains étudiants... Ils ont proposé des idées très intéressantes sur la manière de programmer ou d'utiliser des méthodes d'apprentissage automatique pour contrôler le robot et accomplir les tâches du concours à la fin de la semaine."
Il espère désormais voir l’école d'été se développer au cours des prochaines années, avec plus de matériel, plus d'étudiant·e·s et plus de temps de pratique, ainsi qu’établir des partenariats avec des entreprises locales pour présenter le matériel de robotique dernier cri aux chercheurs émergents.
