(Et comment nous leur avons appris à lire les petits caractères)
Les modèles vision-langage comme CLIP sont les piliers des outils d'IA modernes. Ils propulsent tout, de la classification d'images sans apprentissage préalable (zero-shot) aux générateurs d'images à partir de texte comme Stable Diffusion.
Cependant, ces modèles présentent un angle mort : leur entraînement est largement dominé par des images associées à des légendes courtes et simples. Cela crée un biais qui les pousse à se concentrer uniquement sur les premiers mots et les objets les plus proéminents, ce qui fait qu'ils peinent à aligner des scènes complexes avec des descriptions denses de la longueur d'un paragraphe.
Dans notre récent article phare présenté à la conférence CVPR 2026, nous introduisons une solution simple pour corriger ce « biais des premiers tokens ». Au lieu d'ajouter des architectures complexes, nous modifions simplement la façon dont le modèle apprend à partir des données, le forçant ainsi à traiter l'intégralité du contexte plutôt que de rester à la surface.
Mettre en évidence les biais des modèles CLIP
Jusqu'à présent, les efforts pour corriger l'incapacité de CLIP à traiter des textes longs consistaient généralement à ajuster (fine-tuning) les modèles sur des jeux de données soigneusement sélectionnés contenant de longues légendes. Toutefois, nos recherches identifient un raccourci caché qu'empruntent ces modèles : les longues descriptions, qu'elles soient générées par des humains ou par l'IA, commencent souvent par une phrase résumant l'image.
Comme les modèles existants ont déjà un biais pour les premiers mots, ils s'accrochent à ce résumé introductif pour atteindre leurs objectifs d'entraînement, ignorant ainsi en grande partie les descriptions riches et détaillées qui suivent.
Nous mettons en évidence cette limite en testant ce qui se passe lorsque cette première phrase cruciale est déplacée ou supprimée. Par exemple, le simple fait d'inverser la première et la deuxième phrase d'une légende (« Move ») dégrade sévèrement la capacité des modèles précédents à trouver l'image correspondante. Supprimer totalement la phrase de résumé (« Remove ») provoque une chute encore plus spectaculaire. Cependant, comme le montre la figure ci-dessous, alors que des modèles comme Long-CLIP et TULIP voient leurs performances s'effondrer dans ces scénarios, le modèle DeBias-CLIP que nous proposons conserve une précision constante.
Une approche centrée sur les données : supprimer, échantillonner et combler
Notre modèle est une solution de remplacement prête à l'emploi qui ne nécessite aucun paramètre supplémentaire à entraîner. Plutôt que de modifier la mécanique interne du modèle, nous changeons simplement la façon dont il consomme le texte pendant l'entraînement en utilisant trois augmentations simples au niveau des légendes :
- Supprimer (Remove) : Nous retirons complètement la phrase de résumé introductive des légendes d'entraînement, forçant le modèle à cesser de s'appuyer sur ce raccourci pour commencer à associer l'image aux détails fins cachés plus loin dans le texte.
- Échantillonner (Sample) : Nous sélectionnons aléatoirement un sous-ensemble des phrases restantes. Cela introduit de la diversité et encourage le modèle à traiter tous les détails comme potentiellement importants, quel que soit leur ordre.
- Combler (Pad) : Nous ajoutons des tokens vides de « remplissage » (padding) au début de la séquence de texte. Cela repousse les mots informatifs plus loin dans la fenêtre de contexte du modèle, l'entraînant ainsi à extraire efficacement le sens à partir de positions plus reculées dans un paragraphe.
En fin de compte, l'élimination de ces raccourcis faciles force le modèle à aligner les images avec des textes denses et très détaillés, plutôt qu'avec de simples concepts. Alors que les modèles précédents comme Long-CLIP et SmartCLIP subissent une baisse d'attention à mesure qu'ils lisent plus loin dans un paragraphe, notre modèle maintient une concentration stable et constante sur chaque mot.
Au-delà du résumé : rendre possible une recherche d'images précise
En répartissant l'attention du modèle plus uniformément sur l'ensemble des mots, DeBias-CLIP atteint des performances de pointe pour la recherche à partir de textes longs, tout en maintenant ou en améliorant ses capacités sur les textes courts. Surtout, il est bien plus robuste que ses prédécesseurs. Comme le montre l'exemple ci-dessous, face à un paragraphe dense décrivant une scène, les modèles précédents comme Long-CLIP échouent à trouver la bonne correspondance. À l'inverse, DeBias-CLIP parvient à utiliser des détails spécifiques noyés dans le texte, tels que la couleur des pattes du chat ou les accoudoirs de la chaise, pour récupérer l'image correcte.
Améliorer la génération d'images à partir de texte
Cette nouvelle attention portée aux détails se traduit directement par de meilleures performances pour les tâches en aval. Lorsque nous intégrons notre modèle DeBias-CLIP dans un modèle de génération d'images comme Stable Diffusion, les images générées préservent des détails beaucoup plus fins issus des requêtes, comme des couleurs spécifiques, des objets et des interactions nuancées, que les modèles précédents ignorent tout simplement. Dans l'exemple de génération ci-dessous, DeBias-CLIP capture plus précisément que les autres modèles les détails qui apparaissent tardivement dans le prompt.
En définitive, notre approche permet aux chercheur·euse·s et aux professionnel·le·s d'améliorer n'importe quelle application dépendant d'un fort alignement entre l'image et le texte, qu'il s'agisse de concevoir des moteurs de recherche visuel plus précis ou de débloquer une génération d'images à partir de texte plus riche et plus détaillée.
Publication en open source
Page du projet : https://trailab.github.io/DeBias-CLIP-website/
Version Arxiv du papier: https://arxiv.org/abs/2602.22419
