Portrait de Giovanni Beltrame

Giovanni Beltrame

Membre affilié
Professeur titulaire, Polytechnique Montréal, Département de génie informatique et génie logiciel
Sujets de recherche
Apprentissage en ligne
Apprentissage par renforcement
Intelligence en essaim
Interaction humain-robot
Navigation robotique autonome
Robotique
Systèmes distribués
Vision par ordinateur

Biographie

Giovanni Beltrame a obtenu un doctorat en génie informatique du Politecnico di Milano en 2006, après quoi il a travaillé comme ingénieur en microélectronique à l'Agence spatiale européenne (ESA) sur un certain nombre de projets, allant des systèmes tolérants aux radiations à la conception assistée par ordinateur. En 2010, il s'est installé à Montréal. Il est actuellement professeur au Département de génie informatique et logiciel de Polytechnique Montréal. Il dirige notamment le laboratoire MIST, qui se consacre aux technologies spatiales, où plus de 25 étudiant·e·s et postdoctorant·e·s sont sous sa supervision. Il a réalisé plusieurs projets en collaboration avec l'industrie et les agences gouvernementales dans les domaines de la robotique, de l'intervention en cas de catastrophe et de l'exploration spatiale. Avec son équipe, il a participé à plusieurs missions sur le terrain avec l'ESA, l'Agence spatiale canadienne (ASC) et la NASA (BRAILLE, PANAGAEA-X et IGLUNA, entre autres). Ses recherches portent sur la modélisation et la conception de systèmes embarqués, l'intelligence artificielle et la robotique, sujets sur lesquels il a publié plusieurs articles dans des revues et des conférences de premier plan.

Étudiants actuels

Doctorat - Polytechnique
Co-superviseur⋅e :
Collaborateur·rice de recherche - Polytechnique Montreal
Co-superviseur⋅e :
Maîtrise recherche - Polytechnique
Co-superviseur⋅e :
Doctorat - Polytechnique
Co-superviseur⋅e :
Maîtrise recherche - UdeM
Co-superviseur⋅e :
Doctorat - Polytechnique
Co-superviseur⋅e :

Publications

Reinforcement Learning with Random Delays
Action and observation delays commonly occur in many Reinforcement Learning applications, such as remote control scenarios. We study the ana… (voir plus)tomy of randomly delayed environments, and show that partially resampling trajectory fragments in hindsight allows for off-policy multi-step value estimation. We apply this principle to derive Delay-Correcting Actor-Critic (DCAC), an algorithm based on Soft Actor-Critic with significantly better performance in environments with delays. This is shown theoretically and also demonstrated practically on a delay-augmented version of the MuJoCo continuous control benchmark.