Cette première version, dévelopée par Mila et ROOST, offre aux développeur·euse·s une nouvelle mesure de protection concrète visant à réduire les risques liés au suicide dans les agents conversationnels d’IA.
Montréal, le 9 juillet 2026 – Mila et Robust Open Online Safety Tools (ROOST) ont annoncé aujourd'hui une première version du Filtre de Sécurité pour la Prévention du Suicide de Mila, un modèle de sécurité en temps réel et à code source ouvert qui empêche les agents conversationnels dotés d'intelligence artificielle (IA) d'encourager ou d'orienter le suicide chez les jeunes.
Il s'agit du premier outil concret issu du partenariat annoncé par Mila et ROOST en juin, lors de la réunion des ministres du Numérique du G7 2026 à Paris. Ce partenariat a été créé pour faire progresser les outils de sécurité en IA à code source ouvert, en commençant par la sécurité des jeunes et la nécessité de mieux les protéger dans leurs interactions avec l'IA conversationnelle.
Les filtres de contenu à usage général actuels ne suffisent pas à eux seuls. La plupart sont conçus pour détecter de grandes catégories de contenu préjudiciable, alors que les risques liés au suicide peuvent être plus difficiles à identifier, particulièrement lorsque les utilisateur·rice·s testent les limites du système, emploient un langage codé ou tentent de contourner les mesures de protection existantes. À mesure que de plus en plus de jeunes utilisent les agents conversationnels d’IA pour obtenir de l'information, du soutien ou de la compagnie, les développeur·euse·s d'IA doivent disposer d'outils adaptés aux risques particuliers pouvant émerger de ces échanges.
Le Filtre de Sécurité pour la Prévention du Suicide de Mila a été créé pour combler cette lacune de façon simple, ciblée et accessible, permettant aux développeur·euse·s de l'intégrer à un agent conversationnel d’IA. Son rôle est d'aider à détecter et à signaler les réponses d’agents conversationnels susceptibles de fournir des conseils préjudiciables liés au suicide ou de ne pas traiter avec la prudence nécessaire les risques pour la santé mentale des jeunes. Il ne remplace pas le soutien en cas de crise, les soins professionnels ni la supervision humaine. Il vise à offrir aux développeur·euse·s une mesure de protection concrète supplémentaire pour contribuer à rendre les systèmes d'IA plus sécuritaires pour les jeunes.
Ce projet pilote s'inscrit dans une démarche plus large de Mila et de ROOST visant à rendre les outils de sécurité en IA plus ouverts, transparents et faciles à adopter pour les développeur·euse·s. Il s'agit également du premier d'une série de filtres prévus par le Studio de sécurité en intelligence artificielle de Mila, destinés à aider les développeur·euse·s à renforcer les protections contre différents types de préjudices liés à l'IA.
« Le Filtre de Sécurité pour la Prévention du Suicide de Mila cible délibérément un domaine à haut risque où les développeur·euse·s ont besoin d'un soutien concret », a déclaré Simona Gandrabur, responsable du Studio de sécurité en intelligence artificielle de Mila. « Notre objectif est d'offrir un outil ciblé, léger et adaptable qui peut être testé, amélioré et utilisé en complément d'autres mesures de sécurité. Cette version bêta n'est pas une solution aboutie, mais elle constitue une étape importante vers la mise au point de systèmes d'IA plus sécuritaires, dans le cadre d’une démarche ouverte. »
L'outil est publié à titre de version préliminaire et sera accessible aux développeur·euse·s par l'écosystème d'outils de ROOST. À ce stade, il analyse les réponses des agents conversationnels une à la fois afin d'aider à repérer les résultats non sécuritaires. Les travaux futurs devraient permettre d'élargir la portée vers des mesures de sécurité plus contextuelles, y compris des outils capables de mieux évaluer les conversations et les messages des utilisateur·rice·s sur une plus longue durée.
« Les besoins en matière de sécurité de l’IA évoluent rapidement. Plus que jamais, les protections essentielles doivent être accessibles aux plateformes et aux organisations de toute taille. C’est la raison d’être de ROOST : rendre les technologies de sécurité ouvertes par défaut. Nous sommes fiers de lancer ce modèle avec Mila afin que la communauté puisse l’étudier, l’utiliser et contribuer à bâtir des systèmes d’IA plus sécuritaires », a déclaré Juliet Shen, cheffe de produit chez ROOST.
Mila et ROOST continueront de collaborer avec les développeur·euse·s, les chercheur·euse·s et les spécialistes de la sécurité pour améliorer le filtre et soutenir le développement d'autres outils axés sur la sécurité des jeunes et la résilience mentale.
À propos de Mila – Institut québécois d'intelligence artificielle
Fondé par le professeur Yoshua Bengio, Mila - Institut québécois d'intelligence artificielle est le plus grand centre universitaire de recherche en IA au monde spécialisé dans l'apprentissage profond, qui compte plus de 1 500 membres. Basé à Montréal, Mila est né d'un partenariat unique entre l'Université de Montréal et l'Université McGill, qui se consacre à faire progresser les avancées scientifiques qui stimulent l'innovation et garantissent que l'IA profite à toutes et à tous. Organisme à but non lucratif, Mila est fortement soutenu par le gouvernement du Canada et le gouvernement du Québec. Reconnu internationalement pour ses recherches influentes, ses partenariats mondiaux en matière d'innovation et son leadership dans les efforts multilatéraux en faveur d'une IA responsable, Mila continue de façonner l'avenir de l'IA à l'échelle mondiale. Pour en savoir plus, visitez mila.québec.
À propos de ROOST
ROOST (Robust Open Online Safety Tools) est une organisation technologique mondiale indépendante à but non lucratif qui construit l'infrastructure open source de sécurité, les briques essentielles qui permettent aux organisations et aux plateformes de toutes tailles de protéger leurs communautés. ROOST rend la sécurité numérique ouverte, partagée et auditable pour tous. Pour en savoir plus, visitez roost.tools.
-30-
Source : ROOST et Mila
Personnes-ressources pour les médias :
Pour ROOST : jacqueline@roost.tools
Pour Mila : medias@mila.quebec
