Et si les radiologues pouvaient utiliser les systèmes d'IA comme assistant de diagnostic fiable? Notre nouvel article de recherche nous rapproche de cette réalité : en utilisant l'IA générative, nous pouvons explorer visuellement des scénarios alternatifs basés sur de véritables images radiographiques, comme ce à quoi ressemblerait le corps d'un·e patient·e sans une maladie spécifique. Cela fournit aux médecins des outils d'IA sûrs et explicables pour prendre de meilleures décisions pour leurs patient·e·s.
PRISM : Génération d'images médicales contrefactuelles de haute résolution et précises à l'aide de la diffusion stable guidée par le langage (accepté comme oral à MIDL 2025) offre aux médecins un modèle qui non seulement explique le contenu des images médicales, mais génère également des versions "contrefactuelles" de haute résolution et précises pour personnaliser les soins aux patients et renforcer la confiance envers le processus de décision.
En affinant un modèle de fondation vision-langage (Stable Diffusion) sur des milliers d'images médicales, nous avons développé un modèle d'IA à la fois fiable et suffisamment explicable pour être utilisé dans des contextes cliniques réels.
PRISM est :
- Facile à utiliser avec le langage naturel;
- Fiable car il se concentre sur l'explicabilité basée sur l'image;
- Adaptable à de multiples scénarios d'imagerie médicale.
Ouvrir la boîte noire
Un obstacle majeur à l'utilisation de l'IA dans des situations médicales réelles est la relative invisibilité des décisions du modèle: souvent, la seule information que les médecins voient est le résultat (par exemple, "l'image médicale donnée montre un·e patient·e sain·e ou malade").
Les modèles d'IA d'imagerie médicale actuels utilisent principalement des classificateurs, ou modèles "boîte noire" pour le diagnostic des maladies. En raison de cette nature de "boîte noire", il y a un manque d'explicabilité : nous ne savons pas comment le modèle prend une décision spécifique. Ces solutions sont difficiles à mettre en œuvre dans des contextes médicaux réels, où le processus de prise de décision est tout aussi crucial que le diagnostic.
Pour accroître la confiance dans les outils d'imagerie médicale basés sur l’IA, nous avons étudié où le modèle regarde pour déterminer l'état du patient et ce qui informe ses décisions. Notre objectif est d'ouvrir la boîte noire pour voir ce qu'il y a derrière le rideau : si un·e patient·e est malade, nous voulons savoir pourquoi.
Processus de confiance
Nous avons abordé le problème fondamental des modèles de boîte noire en générant des images contrefactuelles de haute résolution: des scénarios alternatifs où un attribut spécifique est modifié, par exemple, lorsqu'une pathologie de maladie ou un dispositif médical est retiré de l'image originale.
Le modèle effectue une édition précise, ignorant les autres facteurs de confusion de la maladie (facteurs cachés indiquant une relation entre une exposition et une maladie). La soustraction des images factuelles et contrefactuelles montre exactement les zones qui doivent changer pour créer l'image générée, mettant en évidence les zones que le modèle a associées à la maladie.
PRISM ignore également les corrélations fallacieuses (ou raccourcis) présentes dans l'ensemble de données qui pourraient affecter la capacité d'un modèle à généraliser (c'est-à-dire à s'adapter à des données inédites) : un modèle apprenant à quoi ressemble une maladie en étudiant des images de patient·e·s malades pourrait associer faussement la maladie au dispositif utilisé pour la traiter, comme un drain thoracique ou un stimulateur cardiaque.
Favoriser l'accessibilité
Pour rendre le modèle encore plus accessible, nous avons permis l'utilisation de la guidance linguistique : un médecin peut demander au modèle de générer l'image d'un·e patient·e malade à partir d'une radiographie d'un·e patient·e sain·e, et le modèle synthétise alors l'image demandée.
PRISM pourrait être développé en un logiciel de backend pour l'analyse d'images médicales ou intégré dans des outils existants pour devenir un assistant IA efficace pour les radiologues en exercice ou un outil de formation fiable pour les futur·e·s médecins. Nos poids en source ouverte permettent un affinement supplémentaire pour s'adapter à encore plus de scénarios d'imagerie médicale à l'avenir.
- 🔍 Page du projet : https://amarkr1.github.io/PRISM/
- 📝 Open Review : https://openreview.net/forum?id=UpJMAlZNuo#discussion
- 💻 Code : https://github.com/Amarkr1/PRISM
