L'IA peut aider à détecter les comportements discriminatoires en ligne, mais s'attaquer aux préjugés sexistes et aux sous-entendus misogynes est un défi pour les chercheurs en apprentissage automatique depuis des années. Pour combler cette lacune, une équipe de Mila travaille depuis 2021 sur un nouvel ensemble de données en libre accès pour aider à détecter, quantifier et réduire la misogynie subtile dans les textes en collaborant avec une équipe interdisciplinaire.
Subtle Misogyny Detection and Mitigation: An Expert-Annotated Dataset, accepté en tant que spotlight et présentation orale à un atelier de NeurIPS 2023, propose un ensemble de données destiné à faciliter la détection et la suppression automatisées de la misogynie subtile dans les textes. Cette reconnaissance est une étape importante pour le projet Biasly, débuté il y a plus de quatre ans.
Deux des coauteures, Anna Richter et Brooklyn Sheppard, scientifiques en traitement du langage naturel (NLP) à Mila avec une formation en sciences cognitives et en linguistique, ont rejoint le projet en 2022 dans le but de créer un ensemble de données permettant de repérer et de corriger les cas subtils de misogynie dans les textes.
« Lorsque les gens pensent à la misogynie, il s’agit souvent d’exemples très marqués, mais il existe aussi une autre forme de misogynie beaucoup plus subtile, mais aussi beaucoup plus présente dans la vie quotidienne de beaucoup d'entre nous, les femmes, dans notre société », a déclaré Anna Richter.
Allison Cohen, co-auteure de l'article et responsable du projet à Mila, a expliqué qu'une vingtaine de personnes ont rejoint le projet depuis 2021, allant des chercheuses en apprentissage automatique aux annotateurs en passant par des spécialistes en sciences sociales.
Selon elle, le projet est l'occasion d'établir un dialogue entre les disciplines et de valoriser les perspectives des annotateurs pour garantir que l'ensemble de données est efficace, digne de confiance et développé de manière responsable.
« La qualité du travail dépend en grande partie du processus », a-t-elle souligné.
Travail d'équipe interdisciplinaire
Des ensembles de données permettant la détection de formes marquées de misogynie (notamment les discours haineux et la détection des insultes) existent déjà, mais l’équipe a constaté un manque d'ensembles de données de haute qualité permettant de s'attaquer aux exemples plus subtils.
Pour ce faire, les chercheuses ont fait appel à des expertes dans d'autres domaines, notamment les sciences sociales.
Elles ont ainsi collaboré avec une équipe interdisciplinaire en études de genre (Tamara Kneese), en linguistique (Elizabeth Smith) ainsi qu’une conseillère en NLP (Yue Dong) pour s'assurer de la fiabilité de l'ensemble de données. Toutes les chercheuses, expertes et la plupart des annotateurs étaient des femmes, et tous les annotateurs avaient également une formation dans ces domaines.
« Ce n'est pas une équipe typique pour un article technique, c'est certain », a plaisanté Brooklyn Sheppard.
Les avis d'expertes interdisciplinaires ont joué un rôle crucial dans la création de la base de données.
« Notre experte en études de genre nous a aidés à identifier les types de misogynie, et l'experte en linguistique est intervenue pour réécrire les textes misogynes pour les rendre non misogynes tout en préservant le sens de la phrase », a expliqué Brooklyn Sheppard.
L'ensemble de données a été constitué à partir de sous-titres de films nord-américains des dix dernières années.
« Au cours d'un processus itératif et d'un dialogue entre l'équipe chargée de l'apprentissage automatique et celle chargée des sciences sociales, nous sommes parvenus à trouver une méthode optimale d'échantillonnage des mots clés, de manière à obtenir suffisamment de misogynie sans pour autant trop biaiser l'ensemble des données », a expliqué Anna Richter.
Sensibiliser la communauté de recherche en IA
Selon elle, le fait de voir l’article mis en valeur par un spotlight à NeurIPS prouve que la communauté de recherche en IA est intéressée par une démarche plus responsable.
« Recevoir ce spotlight et une présentation orale est pour nous un signe que la communauté de recherche en IA souhaite davantage de cette approche plus lente, détaillée, interdisciplinaire et éthique », a déclaré Anna Richter.
« J'espère vraiment que cet article sensibilisera la communauté de recherche en IA au travail nécessaire pour créer un ensemble de données de haute qualité. Nous avons détaillé le processus afin que d'autres personnes souhaitant également créer un ensemble de données, en particulier pour des problèmes socio-techniques avec beaucoup de subjectivité, puissent le faire », a-t-elle ajouté.
Elle a souligné la dimension éthique du processus: les annotateurs ont été rémunérés équitablement, ont reçu un soutien en matière de santé mentale et ont bénéficié de suivis réguliers avec l'équipe.
Pour sa part, Brooklyn Sheppard a estimé que le développement de l'IA moderne ne peut que bénéficier de collaborations interdisciplinaires.
« Il est très important, à ce stade de développement de l'IA, d'avoir des spécialistes des sciences sociales et d'autres disciplines qui analysent ces modèles, qui aident à les créer, parce qu'ils deviennent si puissants que sans ces contrôles et ce souci d'éthique, ils peuvent devenir très dangereux », a-t-elle souligné.
Biasly a été créé en 2019 au AI4GoodLab (désormais mené par Mila) en 2019 en tant que prototype dirigé par Andrea Jang, Carolyne Pelletier, Ines Moreno et Yasmeen Hitti. Il fait désormais partie du portefeuille de projets appliqués de l'équipe IA pour l’humanité de Mila.
