Active Domain Randomization

La randomisation de domaines est une technique couramment utilisée pour améliorer le transfert de domaine. Elle est souvent utilisée dans un contexte de «zero-shot» lorsque le domaine cible est inconnu ou ne peut pas être facilement utilisé pour la formation. Dans ce travail, nous examinons empiriquement les effets de la randomisation de domaine sur la généralisation de l’agent. Nos expériences montrent que la randomisation de domaines peut conduire à des politiques sous-optimales à forte variance, que nous attribuons à l’échantillonnage uniforme des paramètres d’environnement. Nous proposons «Active Domain Randomization», un nouvel algorithme qui apprend une stratégie d’échantillonnage de paramètres. Notre méthode recherche les variations d’environnement les plus informatives au sein des plages de randomisation données en exploitant les écarts de déploiement de stratégies dans des instances d’environnement aléatoires et de référence. Nous constatons que la formation plus fréquente sur ces instances conduit à une meilleure généralisation globale des agents. Nos expériences sur diverses tâches simulées et sur des robots réels basées sur la physique montrent que cette amélioration conduit à des politiques plus robustes et plus cohérentes.