Depuis 4 ans, Mila travaille au développement de Milabench, un outil d’évaluation des unités de traitement graphique (GPU) transparent permettant aux centres de calcul de choisir le matériel le plus approprié selon les tâches de recherche en intelligence artificielle effectuées, sans être lié à un constructeur spécifique.
Un GPU pouvant être approprié pour une certaine utilisation plus qu’une autre, il est donc crucial pour les instituts de recherche possédant leur propre grappe de calcul (comme Mila) ou pour les entreprises de disposer d’un outil neutre et fiable permettant de faire des choix de matériel informatique éclairés et adaptés à leurs besoins.
Les solutions commerciales existantes, souvent conçues par les constructeurs de GPU eux-mêmes, ont tendance à mettre en avant des résultats issus de calculs optimisés afin de favoriser leur propre produit. Cependant, les centres de recherche n’arrivent que très rarement à égaler ces performances promises car leurs expériences réelles diffèrent généralement de celles menées par les constructeurs.
À l’inverse, Milabench ne cherche pas à faire la promotion d’un constructeur spécifique: les expériences prises en compte dans l’évaluation des GPU sont définies à l’avance sans possibilité de les modifier, ce qui en fait un outil fiable et impartial.
Choix éclairés
L’outil a été développé en collaboration avec des chercheuses et chercheurs de Mila, en utilisant les près de 1000 articles scientifiques affiliés à l’institut publiés en 2023 pour analyser l’utilisation des GPU dans les tâches de recherche extrêmement variées selon le domaine d’expertise.
En effet, certaines expériences nécessitent une meilleure connexion entre les différents GPU, d’autres dépendent plus fortement du débit de transfert entre les microprocesseurs (CPU) et le GPU… Autant de cas de figures spécifiques rendant impossible de déclarer un modèle “meilleur” que les autres en toutes circonstances.
Ainsi, grâce à Milabench, les centres de recherches peuvent désormais effectuer une analyse performance-coût fiable et pertinente et ainsi obtenir un maximum de performance selon leurs contraintes budgétaires
Optimiser la recherche scientifique
Milabench a notamment été utilisé par Calcul Canada pour sa dernière grappe de calcul mise en service, Narval. Il a également été conçu pour être flexible et paramétrable en fonction des besoins spécifiques des centres de calcul, qui varient d’un domaine à l’autre.
Au-delà du Canada, d’autres centres de calcul spécialisés en recherche scientifique (dans les domaines de la physique, chimie, biologie, météorologie) peuvent désormais bénéficier de cet outil pour la recherche tirant profit de l’intelligence artificielle. Milabenchi est disponible gratuitement en source ouverte.
Enfin, grâce à Milabench, les fabricants auront davantage de visibilité sur les besoins des chercheurs et leur permettront de prendre de meilleures décisions sur les correctifs à apporter (notamment le support de certaines librairies populaires) pour mieux adapter leurs produits aux besoins de la recherche de pointe en IA.
Pour plus d’information et pour les résultats, visitez milabenchreport.mila.quebec.
