Décodeurs additifs pour l’identification des variables latentes et l’extrapolation du produit cartésien

*Cet article a été accepté comme présentation orale à NeurIPS 2023.

[Figure 1 : Les décodeurs additifs permettent de générer de nouvelles images jamais vues pendant l’entraînement grâce à l’extrapolation du produit cartésien. Les régions violettes correspondent aux latents/observations constatés pendant l’entraînement. Les régions bleues correspondent à l’extension du produit cartésien. L’ensemble du milieu est la variété des images de cercles. Dans cet exemple, l’apprenant n’a jamais vu les deux cercles hauts, mais ceux-ci peuvent néanmoins être générés, en raison de la nature additive de la scène].

Motivation

L’apprentissage de représentations centrées sur l’objet [1, 2] vise à apprendre une représentation dans laquelle les renseignements sur les différents objets d’une scène sont encodés séparément. Cela permet de raisonner à partir de données perceptives de bas niveau, comme des images, des vidéos, etc., en apprenant des représentations structurées qui pourraient améliorer la robustesse et la généralisation systématique des systèmes de vision. Bien que plusieurs approches de segmentation fassent appel à la supervision, l’apprentissage non supervisé de représentations centrées sur l’objet qui utilisent une grande quantité de données d’images non étiquetées suscite un intérêt croissant.

[Figure 2 : Visualisation du rendu des cases et de la façon dont elles sont liées à un objet particulier de Slot Attention].

L’une des principales approches consiste à entraîner un encodeur et un décodeur afin de reconstruire les images. Par exemple, l’approche d’attention par case (“Slot Attention”) [2] permet d’apprendre un ensemble de cases (représentations) où chaque case est censée reconstruire un objet précis, comme le montre l’image ci-dessus. Ces approches ont donné des résultats impressionnants sur le plan empirique, mais la raison exacte pour laquelle elles démêlent les objets sans supervision doit être mieux comprise. Dans cet article, nous proposons une explication théorique de ce phénomène en prouvant les garanties de démêlage et d’extrapolation des décodeurs additifs, une architecture simple qui est semblable aux décodeurs centrés sur l’objet.

Démêlage et extrapolation prévisibles au moyen de décodeurs additifs

[Figure 3 : Illustration de l’hypothèse principale du décodeur additif dans notre processus de génération de données].

Démêlage

[Figure 4 : Représentation de l’intuition derrière le démêlage des blocs qui dicte que rendre chaque bloc latent conduit à un objet unique].

Extrapolation du produit cartésien

[Figure 5 : Illustration de l’extrapolation du produit cartésien, où le support conjoint change alors que le support marginal reste le même].

Expériences

[Figure 6 : Représentation du support de l’ensemble de données ScalarLatents, où les cercles se déplacent le long de l’axe des Y et où nous supprimons toutes les images où les deux cercles ont une coordonnée Y élevée].

La figure ci-dessous présente une visualisation qualitative des performances de l’approche du décodeur additif et de l’approche du décodeur non additif. Pour plus de détails concernant les résultats quantitatifs et les autres configurations, consulter l’article.

[Figure 7 : La figure de la première rangée montre la représentation latente produite par l’encodeur sur l’ensemble de données d’entraînement et les images reconstruites correspondantes du décodeur additif pour l’ensemble de données ScalarLatents. La figure de la deuxième rangée montre la même chose pour le décodeur non additif. Le gradient de couleur correspond à la valeur d’un des facteurs de la réalité-terrain, les points rouges correspondent aux facteurs utilisés pour générer les images, et le carré jaune en pointillé met en évidence les images extrapolées].

Enfin, nous visualisons également les reconstructions du décodeur propre au bloc des images générées par le décodeur additif dans la figure ci-dessous. Nous constatons en effet que chaque décodeur propre au bloc génère un objet unique, ce qui permet de démêler les représentations latentes apprises par le modèle.

[Figure 8 : La première rangée est l’image originale, la deuxième rangée est la reconstruction et les troisième et quatrième rangées sont la sortie des décodeurs propres à l’objet].

Conclusion

Notre article permet de comprendre pourquoi les méthodes centrées sur l’objet fonctionnent et comment elles peuvent servir à générer de nouvelles compositions d’objets. Bien que l’expressivité des décodeurs additifs soit limitée, il ne s’agit que d’une première étape. Nos travaux futurs consisteront à étendre nos résultats pour l’identification et l’extrapolation latentes prouvables dans le cas d’une addition masquée, comme dans le cas de l’occlusion d’un objet. Un article concurrent [3] établit une compositionnalité/extrapolation prouvable pour une classe plus générale de fonctions pouvant gérer l’addition masquée. Toutefois, il suppose l’accès aux vraies variables latentes, et son analyse ne montre pas comment obtenir un démêlage prouvable en même temps que la compositionnalité pour la classe proposée de fonctions de mixage. Par conséquent, la démonstration de ces résultats pour une classe plus générale de fonctions de mixage que les décodeurs additifs demeure un problème ouvert important.

De plus, nos travaux ne fournissent des garanties que pour l’extrapolation du décodeur à l’extension du produit cartésien du support d’entraînement, mais pas pour l’extrapolation de l’encodeur. Une prochaine étape importante consisterait à étendre notre analyse et notre méthode pour obtenir des garanties sur l’extrapolation de l’encodeur également. Un article récent [4] propose une fonction de perte de cohérence pour l’encodeur permettant d’atteindre le même objectif, et il serait intéressant d’approfondir cette question.

Enfin, nous sommes très enthousiastes à l’idée d’étendre cette stratégie pour comprendre la créativité dans les modèles génératifs profonds. Certains articles récents [5, 6] ont posé des hypothèses semblables à celles des décodeurs additifs pour les fonctions d’évaluation de la distribution des données. On y a montré comment cela peut être utilisé pour la compositionnalité avec des modèles de diffusion. Il s’agit donc d’une orientation intéressante et significative pour prouver des garanties semblables pour le démêlage et l’extrapolation avec des modèles de diffusion. 

Références

1. Burgess, Christopher P., Loic Matthey, Nicholas Watters, Rishabh Kabra, Irina Higgins, Matt Botvinick, et Alexander Lerchner. « Monet: Unsupervised scene decomposition and representation. » arXiv preprint arXiv:1901.11390 (2019).
2. Locatello, Francesco, Dirk Weissenborn, Thomas Unterthiner, Aravindh Mahendran, Georg Heigold, Jakob Uszkoreit, Alexey Dosovitskiy, et Thomas Kipf. « Object-centric learning with slot attention. » Advances in Neural Information Processing Systems 33 (2020): 11525-11538.
3. Wiedemer, Thaddäus, Prasanna Mayilvahanan, Matthias Bethge, et Wieland Brendel. « Compositional generalization from first principles. » Advances in Neural Information Processing Systems 36 (2024).
4. Wiedemer, Thaddäus, Jack Brady, Alexander Panfilov, Attila Juhos, Matthias Bethge, et Wieland Brendel. « Provable Compositional Generalization for Object-Centric Learning. » arXiv preprint arXiv:2310.05327 (2024).
5. Wang, Zihao, Lin Gui, Jeffrey Negrea, et Victor Veitch. « Concept Algebra for (Score-Based) Text-Controlled Generative Models. » Advances in Neural Information Processing Systems 36 (2024).
6. Liu, Nan, Yilun Du, Shuang Li, Joshua B. Tenenbaum, et Antonio Torralba. « Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models. » arXiv preprint arXiv:2306.05357 (2023).