Les modèles de langage influencent les actualités que nous voyons, les candidatures retenant l'attention, et les réponses d'un agent conversationnel lorsqu'on lui demande des conseils médicaux. Pourtant, même les experts concevant ces systèmes sont souvent incapables d’expliquer pourquoi les modèles prennent certaines décisions, rendant la confiance, l’audit et les corrections difficiles. Notre article Cross-Layer Discrete Concept Discovery for Interpreting Language Models présente une méthode pour déchiffrer les concepts internes des modèles de langage afin de mieux les comprendre.
Examiner le modèle de l’intérieur
Dans les modèles transformer, l'information est répartie sur plusieurs couches. Bien que les outils actuels puissent condenser cette répartition, ils se heurtent à un autre problème : ils divisent une seule idée, comme un « sentiment positif » dans une critique de film, en un nombre inconnu de fragments plus petits de sens similaire (par exemple, « super », « génial » et « superbe »). Les chercheurs doivent alors les combiner manuellement ou fixer des seuils arbitraires, ce qui rend le raisonnement du modèle difficile à interpréter.
Pour résoudre ce problème, notre outil CLVQ-VAE agit comme un traducteur du raisonnement interne du modèle. Inspiré par l'idée de quantification vectorielle dans la génération d'images (le tri de données complexes dans un ensemble fixe de catégories distinctes), il mappe chacun des signaux internes du modèle à une entrée claire et unique dans un « dictionnaire » appris.
En entraînant notre outil à prédire la signification abstraite de niveau supérieur que ces signaux partagent à partir de sa lecture antérieure du texte, il apprend que « super », « génial » et « superbe » sont tous des échos du même concept (par exemple, « éloge ») et combine ces signaux dispersés en un signal clair et unifié.
Une méthode efficace
Nous avons testé notre méthode sur quatre modèles (BERT, RoBERTa, Llama et Qwen) pour la classification des sentiments, de la toxicité et des actualités. La suppression d'un concept identifié (par exemple, un groupe de mots élogieux) a réduit la précision du modèle jusqu'à 93 %, surpassant les méthodes précédentes et prouvant que ce concept était le principal déclencheur du raisonnement du modèle.
Par exemple, lorsqu'une critique élogieuse était lue comme positive, le concept décisif était un groupe étroit de mots élogieux tels que « superbe », « remarquable » et « magnifique » ; l'effacement de ce concept unique rendait le modèle incapable de déterminer que la critique était positive.
Pour vérifier la pertinence des concepts, nous avons montré à quatre juges basés sur l’IA (GPT-4o-mini, Gemini-Flash, Gemini-Flash lite et Claude Haiku) les éléments suivants : une critique, la prédiction du modèle et le concept que chaque méthode proposait comme explication, puis nous leur avons demandé quelle était la plus convaincante.
CLVQ-VAE a été choisi dans environ les deux tiers des cas. Dans notre évaluation humaine, nous avons également uniquement indiqué un nuage de mots d'un concept, sans critique ni étiquette attachée, et nous leur avons demandé de deviner la décision du modèle. Ils avaient raison 78 % du temps, contre 54 % pour l'approche de regroupement de données habituelle.
Comme un concept n'est qu'un groupe de mots, il montre également quand le modèle se trompe. Par exemple, dans une critique faisant l'éloge des imitations d'un acteur, le modèle s'est concentré sur certains mots d'imitation, tels que « parodie » et « faux », les a pris pour des critiques et a basculé son verdict au négatif. Une autre critique n'était que peu enthousiaste, mais le modèle s'est basé sur un concept de louanges faibles, « bien », « décent », « adéquat », et l'a jugée positive. Dans chaque cas, le concept révèle à la fois l'erreur et sa cause.
Les concepts réagissent également au contexte. Le mot « divertissement » correspond à un concept positif dans une critique enthousiaste, mais à un concept négatif dans une critique sévère.
Alors que l'IA endosse des rôles de plus en plus cruciaux, expliquer son raisonnement en termes humains est essentiel pour détecter les erreurs, vérifier les biais et décider quand un modèle a gagné la confiance d'un utilisateur. CLVQ-VAE est un pas vers la lisibilité a posteriori du raisonnement d'un modèle, afin que les concepts derrière ses réponses puissent être mieux inspectés, vérifiés et audités.
