Portrait de James Clark

James Clark

Membre académique associé
Professeur titulaire, McGill University
Sujets de recherche
IA appliquée
Modèles génératifs
Photographie computationnelle
Vision par ordinateur
Site web
Google Scholar
LinkedIn
X

Biographie

James Clark est professeur au département de génie électrique et informatique de l'Université McGill et membre (et ancien directeur) du Centre de recherche sur les machines intelligentes de McGill. Il est également membre associé de la Bensadoun School for Retail Management, où il est codirecteur du Retail Innovation Lab. Il est membre académique associé à Mila - Institut québécois d'intelligence artificielle et membre associé collaborateur du Centre de recherche interdisciplinaire en musique, médias et technologies (CIRMMT). Il est co-chercheur principal pour le Pôle stratégique FQRNT REPARTI - « Systèmes cyberphysiques et intelligence machine matérialisée », où il dirige l'axe « Perception ».

Les activités de recherche actuelles de M. Clark comprennent le développement de méthodes d'apprentissage automatique efficaces pour les appareils périphériques, les applications de l'IA au commerce de détail, l'évaluation de la qualité de l'image pour la conception d'écrans automobiles et l'étude de l'attention visuelle dans les environnements 3D.

En 2014, en reconnaissance de ses réalisations tout au long de sa carrière de chercheur, il a reçu le prix d'excellence en recherche de la Société canadienne de traitement d'images et de reconnaissance des formes (CIPPRS/ACTIRF). Il a été le principal président général de la Conférence internationale sur la vision par ordinateur (ICCV) de 2021 et siège actuellement au comité directeur de la conférence ICCV/CVPR, qui supervise le déroulement des deux conférences les plus importantes dans le domaine de la vision par ordinateur.

Étudiants actuels

Ibtihel Amara
Doctorat - McGill
Farzaneh Askari
Doctorat - McGill
Narges Erfan
Maîtrise recherche - McGill
Co-superviseur⋅e :
Aishwarya Agrawal
Nooshin Soheililangroodi
Maîtrise recherche - McGill
Yinan Wang
Doctorat - McGill
Tony Xu
Maîtrise recherche - McGill

Publications

Parameter Efficient Fine-tuning of Transformer-Based Language Models Using Dataset Pruning
Sayed Mohammadreza Tayaranian Hosseini
Seyyed Hasan Mozafari
James Clark
Brett Meyer
Warren Gross
The widespread use of transformer-based language models is in part owed to their ease of adaptation to various tasks. Fine-tuning is a metho… (voir plus)d of adapting pre-trained language models to a downstream task. The resource requirements for fine-tuning, although still less than pre-training, has been increasing due to the significant growth in the number of parameters of language models. Parameter efficient fine-tuning methods limit the set of model parameters that are updated during fine-tuning, leading to reductions in both memory usage and fine-tuning time. Dataset pruning is another method of efficient fine-tuning which removes training data points, thus reducing training time, while maintaining the evaluation performance of the fine-tuned model. In this work, we apply dataset pruning on top of parameter efficient fine-tuning to further reduce the hardware requirements of the fine-tuning. Our approach benefits from lower memory usage of parameter efficient methods while addressing their long fine-tuning time with dataset pruning. On average, our proposed method uses 22% of the fine-tuning dataset while updating only 0.5% of model parameters. As a result, while achieving an evaluation performance similar to full fine-tuning, our method reduces the peak memory usage of the fine-tuning by 40% and its wall clock time by 83%.
2023-12-31
Asilomar Conference on Signals, Systems, and Computers (publié)
doi.org