Nous avons récemment eu l’occasion d’entendre Ian Goodfellow, un ancien élève de Mila formé à l’apprentissage automatique, qui travaille actuellement chez GoogleDeep Mind, dans l’espoir d’aider d’autres institutions à faire de la production d’énergie de fusion une réalité.
Parlez-nous de votre parcours universitaire et professionnel.
J’ai fait mes études de premier cycle à l’Université Stanford. J’y ai mené de nombreux projets de recherche indépendants sur le robot d’IA de Stanford avec Andrew Ng, principalement autour de la vision par ordinateur et de l’apprentissage automatique classique.
Pendant mon séjour à Stanford, j’ai aussi eu l’occasion de travailler sur l’apprentissage profond avec mon collègue Ethan.
À la fin de mon baccalauréat, lorsque je postulais en doctorat, j’ai envisagé plusieurs écoles, mais j’étais surtout intéressé par les laboratoires de Geoff Hinton et Yoshua Bengio. Yoshua m’a offert une place dans son laboratoire, et la décision a été très facile à prendre.
Après avoir obtenu mon diplôme, j’ai travaillé chez Google Brain, où j’ai dirigé la “Red Team” chargée d’étudier l’apprentissage automatique face aux attaques adversariales. J’ai co-écrit l’un des deux premiers articles ayant découvert de manière indépendante les exemples adversariaux, et Christian Szegedy et moi avons co-inventé l’entraînement adversarial pour renforcer la robustesse face à ces attaques. J’ai également collaboré avec Nicolas Papernot, Kunal Talwar, Ulfar Erlingsson et Martin Abadi sur des projets liés à la confidentialité et à la sécurité, notamment parmi les premières publications sur l’entraînement différentiellement privé de réseaux de neurones.
J’ai ensuite occupé le poste de directeur de l’apprentissage automatique dans le groupe des projets spéciaux d’Apple de 2019 à 2022. Travailler en équipe sur un projet confidentiel a vraiment créé une atmosphère collaborative où chacun se mobilisait pour assurer la réussite du projet commun.
Depuis longtemps, je suis de plus en plus préoccupé par le changement climatique, et j’ai cherché progressivement comment m’impliquer davantage. Le déclic s’est produit lorsque DeepMind a publié un article sur le contrôle des réacteurs à fusion nucléaire par apprentissage par renforcement. Peu après avoir découvert ce travail, j’ai rejoint DeepMind (désormais Google DeepMind), et je travaille encore aujourd’hui à la fois sur la production d’énergie par fusion et sur des recherches liées à la factualité des grands modèles de langage (LLM).
Comment votre intérêt pour l’IA est-il né ? Qu’est-ce qui vous a attiré au départ ?
Mon intérêt pour l’IA s’est développé par vagues successives :
- Adolescent, je lisais beaucoup de vulgarisation scientifique, notamment Scientific American. Au début des années 2000, on y prédisait souvent que l’IA et les nanotechnologies seraient les technologies majeures du XXIe siècle. Je voulais m’y engager pour m’assurer qu’elles seraient utilisées à bon escient. J’étais aussi préoccupé par les mauvais usages de l’IA, influencé par la fiction cyberpunk, comme dans le jeu Deus Ex, où l’IA est utilisée à des fins de surveillance et de contrôle totalitaire.
- Lors d’un stage aux National Institutes of Health en 2006, j’ai découvert mon premier modèle d’apprentissage automatique, utilisé pour classifier automatiquement des événements dans les données EEG. Cela m’a beaucoup intéressé, et j’en ai parlé à mon conseiller académique à mon retour. J’ai alors changé de spécialisation pour l’informatique, pris tous les cours d’Andrew Ng, et passé mes étés à travailler sur ses projets de robotique à Stanford ou chez Willow Garage, une startup de robotique liée à ce projet.
- Je ne me suis vraiment engagé dans la recherche en IA qu’après avoir découvert l’apprentissage profond grâce à mon ami Ethan. À partir de là, la question « comment faire fonctionner l’apprentissage profond ? » m’a captivé et a suffi à maintenir mon intérêt.
Y a-t-il un sujet que vous souhaitez approfondir ? Sur quoi travaillez-vous actuellement ?
En ce moment, je travaille sur l’IA appliquée au contrôle des générateurs d’énergie par fusion. Vous pouvez lire un article à ce sujet ici.
En général, les performances de l’apprentissage automatique reposent sur les données — ou, dans le cas de l’apprentissage par renforcement, sur le simulateur. Pour ce projet de fusion, je travaille sur la simulation. La majorité de mon travail consiste à écrire du code pour des solveurs numériques d’équations différentielles ; je ne travaille donc pas directement sur le cœur des algorithmes d’apprentissage automatique. Mon expérience en implémentation d’algorithmes numériquement complexes (type Monte Carlo ou optimisation) m’a bien préparé à écrire ces solveurs, qui sont essentiels pour entraîner un agent d’apprentissage par renforcement.
Parlez-nous un peu de votre passage à Mila.
C’était avant la création officielle de Mila — j’étais alors étudiant à l’UdeM, dans le laboratoire LISA. À l’époque, l’apprentissage profond et l’IA étaient encore balbutiants. Comme l’apprentissage profond ne fonctionnait pas encore bien, la recherche était beaucoup plus ouverte et exploratoire : on expérimentait en permanence avec des idées très différentes.
Je ressens encore de la nostalgie pour cette période : il y avait un fort esprit de curiosité, les chercheurs travaillaient pour la connaissance avant tout, avec une grande liberté d’exploration, et sans trop penser aux conséquences ou à l’impact de leur travail.
Ce que j’ai particulièrement aimé, c’est l’esprit communautaire : tout le monde s’unissait quand il fallait finaliser un article rapidement. Par exemple, quand j’ai eu l’idée des GANs à peine deux semaines avant la date limite de la conférence (qui s’appelait encore NIPS à l’époque), il a fallu une grande mobilisation de mes collègues pour faire tourner les expériences et valider les résultats. Je leur suis très reconnaissant d’avoir tout mis de côté pour qu’on réussisse à publier ce travail à temps.
Un autre aspect marquant du LISA, à mon époque, était son avance sur l’open source académique : Yoshua et le labo étaient des pionniers dans l’idée que les contributeurs à des logiciels open source scientifiques devaient recevoir du crédit académique. Les outils développés par le labo, comme Theano ou Pylearn2, ont vraiment encouragé l’expérimentation rapide d’idées nouvelles, ce qui contribuait à cette ambiance de liberté intellectuelle.
Quels conseils donneriez-vous aux nouvelles et nouveaux étudiant·e·s de Mila ?
- Réfléchissez à l’impact positif de votre travail, et envisagez des approches interdisciplinaires. Par exemple, je travaille dans la production d’énergie, où l’IA n’est qu’un élément parmi d’autres. Il y a aussi un grand besoin d’expertise sur l’IA dans les domaines du droit et des politiques publiques.
- Apprenez à gérer vos émotions et vos attentes. La recherche est difficile. Il est tentant de se comparer aux chercheurs les plus connus, sans voir leurs échecs (car ils les rendent rarement publics). Il faut éviter de se décourager, tout en apprenant à reconnaître quand un projet ne fonctionne pas et doit être abandonné.
- Soyez prêt à faire le travail moins prestigieux mais essentiel à la réussite des projets (comme je l’ai fait avec Theano, Pylearn2, ou aujourd’hui avec la simulation pour la fusion). Mais il est aussi crucial de défendre votre travail et de vous assurer qu’il soit reconnu.
- Bruce Lee disait : « Je ne crains pas l’homme qui a pratiqué 10 000 coups une fois, mais celui qui a pratiqué un coup 10 000 fois. » Pour nous, cela veut dire devenir très à l’aise avec la programmation Python, le calcul numérique, l’algèbre linéaire et les probabilités.
- Apprenez à reconnaître les moments où vous devez chercher à collaborer. Si vous avez besoin d’une compétence que vous ne maîtrisez pas encore, trouvez quelqu’un qui l’a développée. Par exemple, j’ai co-écrit des articles avec Jean-Pouget Abadie (théorie des jeux) et Kunal Talwar (confidentialité différentielle).
Quel est, selon vous, le plus grand défi que l’IA doit relever aujourd’hui ?
Le plus grand défi, c’est que l’IA est devenue un domaine aux conséquences réelles. Avant, seuls les chercheurs en IA s’y intéressaient. Aujourd’hui, elle a un impact sur tout le monde, et de nombreux acteurs puissants cherchent à l’influencer, parfois pour le meilleur, parfois pour le pire. En tant que scientifique, il est difficile de naviguer dans ce monde complexe de manière responsable.
Qu’attendez-vous de l’évolution de l’IA ?
Depuis l’adolescence, mon rêve a été d’utiliser l’IA pour accomplir ce que les humains seuls ne peuvent pas réaliser, notamment dans les domaines scientifique et médical. J’espère que mes collègues chez GDM et moi pourrons aider d’autres institutions à rendre la fusion nucléaire réellement viable. Je suis aussi enthousiaste à propos de la startup de Max Welling, CuspAI, qui développe de nouveaux matériaux pour la capture du carbone grâce au machine learning. Et j’espère voir d’autres avancées médicales à l’avenir.
Avez-vous des réalisations récentes à partager ?
Oui ! Ma première contribution publique au projet de fusion chez Google DeepMind est désormais disponible. Il s’agit d’un simulateur de physique des plasmas open source, accessible ici et décrit dans cet article sur arXiv.
