Portrait de Adam M. Oberman

Adam M. Oberman

Membre académique associé
Chaire en IA Canada-CIFAR
Professeur titulaire, McGill University, Département de mathématiques et statistiques
Sujets de recherche
Apprentissage de représentations
Apprentissage profond
Modèles génératifs
Sécurité de l'IA
Théorie de l'apprentissage automatique

Biographie

Je suis professeur à l'Université McGill, au sein du Département de mathématiques et de statistiques. Mes recherches portent sur l'application de techniques mathématiques avancées dans le domaine de l'apprentissage profond. Mes principaux champs d'expertise incluent la modélisation générative, les méthodes d'optimisation stochastiques, l'équité et la suppression des biais en matière de vision par ordinateur, et la généralisation dans l'apprentissage par renforcement.

Avant de me joindre à McGill, en 2012, j'ai occupé un poste de professeur titulaire à l'Université Simon Fraser et j'ai effectué un stage postdoctoral à l'Université du Texas à Austin. J'ai réalisé ma formation de premier cycle à l'Université de Toronto et j'ai poursuivi des études supérieures à l'Université de Chicago. Au cours de ma carrière, j'ai également occupé des postes de visiteur à l’Université de Chicago à Los Angeles (UCLA) et à l'INRIA à Paris.

Mes recherches antérieures ont porté sur les domaines des équations aux dérivées partielles et du calcul scientifique; j'ai d’ailleurs apporté d'importantes contributions dans les secteurs du transport optimal numérique, des EDP géométriques et des problèmes de contrôle stochastique.

Je donne deux cours théoriques complets sur l'apprentissage automatique, couvrant des sujets tels que la théorie de l'apprentissage statistique et la théorie des noyaux.

Étudiants actuels

Linh Le
Visiteur de recherche indépendant - University of Technology Sydney
Github
Google Scholar
Noah Marshall
Doctorat - McGill
Co-superviseur⋅e :
Courtney Paquette
Mohamed Amine Merzouk
Postdoctorat - McGill
Site web
Github
Google Scholar
Michael Rizvi-Martel
Doctorat - UdeM
Superviseur⋅e principal⋅e :
Guillaume Rabusseau
Site web
Github
Google Scholar

Publications

Harnessing small projectors and multiple views for efficient vision pretraining
Arna Ghosh
Kumar Krishna Agrawal
Shagun Sodhani
Adam M. Oberman
Blake A. Richards
Recent progress in self-supervised (SSL) visual representation learning has led to the development of several different proposed frameworks … (voir plus)that rely on augmentations of images but use different loss functions. However, there are few theoretically grounded principles to guide practice, so practical implementation of each SSL framework requires several heuristics to achieve competitive performance. In this work, we build on recent analytical results to design practical recommendations for competitive and efficient SSL that are grounded in theory. Specifically, recent theory tells us that existing SSL frameworks are minimizing the same idealized loss, which is to learn features that best match the data similarity kernel defined by the augmentations used. We show how this idealized loss can be reformulated to a functionally equivalent loss that is more efficient to compute. We study the implicit bias of using gradient descent to minimize our reformulated loss function and find that using a stronger orthogonalization constraint with a reduced projector dimensionality should yield good representations. Furthermore, the theory tells us that approximating the reformulated loss should be improved by increasing the number of augmentations, and as such using multiple augmentations should lead to improved convergence. We empirically verify our findings on CIFAR, STL and Imagenet datasets, wherein we demonstrate an improved linear readout performance when training a ResNet-backbone using our theoretically grounded recommendations. Remarkably, we also demonstrate that by leveraging these insights, we can reduce the pretraining dataset size by up to 2
2023-12-31
NeurIPS (publié)
doi.org
openreview.net