Des vidéos de l’évènement sont disponibles sur la chaîne YouTube de Mila.
Accélérer la découverte scientifique
Cette nouvelle méthode d’apprentissage automatique, mise en avant en 2021 par un article de recherche d’Emmanuel Bengio intitulé Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation, a depuis été explorée par plusieurs chercheuses et chercheurs de Mila et d’autres laboratoires à travers le monde.
Tristan Deleu, étudiant au doctorat sous la supervision de Yoshua Bengio et l’un des organisateurs de l’atelier, a récemment présenté son article Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network à la conférence principale de NeurIPS 2023.
Celui-ci explique que les GFlowNets ont de nombreuses applications potentielles : découverte de molécules, de médicaments, de matériaux, ou encore séquences biologiques et modèles de langage. Tous ces domaines de recherche impliquent des problèmes combinatoires comprenant une vaste étendue de solutions potentielles dont les GFlowNets facilitent la navigation.
Tristan Deleu prend en exemple l'étude des interactions entre les gènes humains (Gene Regulatory Networks) pour illustrer ce type de problèmes : « Le génome humain comprenant 20 000 gènes, le nombre de toutes les relations causales potentielles serait bien plus élevé que le nombre combiné de tous les atomes dans l’univers! ».
Générer des molécules
Les GFlowNets permettent par exemple de favoriser la génération, en partant de zéro et atome par atome, de certaines molécules favorisées selon certains critères plutôt que d’autres, accélérant ainsi le processus de découverte scientifique.
« Avec les GFlownets, on obtient cette manière générative de construire plusieurs types d’objets ayant des propriétés similaires, comme des molécules, et chacune de ces molécules a une récompense associée, par exemple : sa pertinence pour soigner une certaine maladie », explique Tristan Deleu.
Traditionnellement, les méthodes d’apprentissage par renforcement (reinforcement learning, RL) cherchent à générer la meilleure solution possible, c'est-à-dire celle maximisant les chances de récompenses associées.
Mais dans le cas de la génération d’une molécule dans un objectif de découverte scientifique, ce processus risque de favoriser des molécules dont les propriétés sont déjà connues.
« Ce qui nous intéresse, ce sont d’autres molécules au moins aussi bonnes, mais qui ne sont pas vraiment celles qu'on avait découvertes au début. Les GFlowNets nous permettent de justement trouver cette diversité dans les molécules qu'on va pouvoir générer », explique Tristan Deleu.
Favoriser la transparence des modèles
Selon lui, le succès de l’atelier organisé à Mila est une preuve de la pertinence de cette méthode dans la recherche scientifique au sens large : la moitié des chercheurs et chercheuses présents étaient spécialisés en apprentissage automatique, l’autre moitié étant composée de scientifiques d’autres domaines, notamment en biologie, physique et chimie.
Par rapport à l’approche traditionnelle de l’apprentissage automatique (un modèle faisant des prédictions à partir de données et prenant ensuite une décision), les GFlowNets permettent d’améliorer l’explicabilité du processus de prise de décision et ainsi d’en favoriser sa transparence, cruciale dans le cadre de la recherche scientifique au sens large, mais aussi dans le cas d’applications de l’IA dans des domaines critiques.
« L’approche probabiliste derrière les GFlowNets permet de prendre en compte l'incertitude sur les décisions prises, ce qui est important dans le cas d’applications critiques d'un point de vue sécurité », explique Tristan Deleu.
Par exemple, plutôt que de prendre arbitrairement une décision sans l’expliquer, une voiture autonome pourrait indiquer son pourcentage d’incertitude par rapport à une direction à prendre, préservant ainsi la capacité de l’humain à prendre la décision finale.
« Il est important de passer de modèles prédictifs à des modèles plus probabilistes comprenant cette notion d'incertitude pour favoriser la sécurité des systèmes d’IA », conclut Tristan Deleu.
