Quand une intelligence artificielle rejette une personne candidate en raison de son origine ou de son genre, qui est responsable de cette injustice? L'employeur qui utilise l'outil, ou le concepteur qui l'a programmé? Dans une chaîne d’approvisionnement devenue opaque, la responsabilité s’évapore à chaque étape. Pour mettre fin à cette impunité, l'équipe de conseil en IA responsable des Studios de Mila a publié une analyse qui audite ces systèmes et propose des solutions concrètes.
Comment l’algorithme apprend à discriminer
Les logiciels de recrutement par IA promettent un gain de temps massif et une sélection sans préjugé humain aux recruteurs. Pourtant, une fois intégrés, ces outils certifiés conformes reproduisent souvent des biais racistes et sexistes. Comment une technologie de pointe peut-elle échouer sur le terrain de l’équité?
Pour apprendre à recruter, l’algorithme est entraîné sur des banques de CV et des historiques de recrutements. Or, ces données héritent de décennies de pratiques discriminatoires. L’IA ne fait que mathématiser le passé : à qualifications égales, certains logiciels privilégient les noms perçus comme « blancs » dans 85% des cas.
Même les tentatives de correction, comme l’usage de CV synthétiques « neutres » générés par IA, s'avèrent décevantes : elles ne font que rendre la discrimination plus difficile à tracer.
La responsabilité diluée parmi les parties prenantes
Les encadrements légaux actuels échouent à freiner ces biais systémiques. Le problème est principalement structurel : le marché du recrutement par IA repose sur une chaîne d’approvisionnement fragmentée. Des fournisseurs de données vendent des historiques d’embauche aux concepteurs qui entraînent des algorithmes, pour être intégrés ensuite dans des logiciels RH par des éditeurs, finalement achetés par l'employeur.
Avec toutes ces parties prenantes, la responsabilité se dilue. Si la loi désigne l’employeur comme responsable final, celui-ci n’a ni l’expertise technique, ni l'accès au code source protégé par le secret industriel, pour vérifier l'outil. À l’inverse, les concepteurs maîtrisent la technologie mais ignorent l’usage réel qui en est fait. C’est la politique de la « patate chaude » : quand un biais survient, chaque acteur rejette la faute sur le maillon précédent.
Quand le cadre réglementaire bute sur l’équation
Les lois anti-discrimination classiques sont inadaptées à la réalité technique des logiciels d'embauche. Par exemple, la règle des 4/5e, standard historique utilisé par les tribunaux, exige que le taux de sélection des minorités représente au moins 80 % de celui du groupe majoritaire. Si un employeur embauche 10% des hommes qui postulent, au moins 8 % des femmes doivent être embauchées. Cependant, si l’algorithme élimine injustement 90 % des candidates dès le tri initial, l’employeur peut paraître équitable sur les profils restants, ignorant l'exclusion massive opérée en amont.
À l'échelle mondiale, le paysage réglementaire présente de profondes divergences et des termes ambigus : l’IA Act européen exige des données « sans erreurs », New York impose des audits annuels limités, et le Colorado demande des évaluations aux critères flous.
De plus, évaluer l'équité peut être réalisée selon différentes métriques. Faut-il privilégier la parité démographique (même proportion de profils issus de minorités) ou la parité prédictive (même taux d'erreur pour tous)? Satisfaire simultanément ces métriques est techniquement impossible. Le problème s’aggrave lorsque l'employeur cumule des logiciels de fournisseurs différents. Si un trieur de CV et un algorithme de classement appliquent des définitions opposées de l’équité, leur interaction produit un système incohérent qui finit par discriminer.
Pour une surveillance continue et humaine
Face à ce constat, l'équipe de conseil en IA responsable des Studios de Mila propose des solutions pour rompre avec la problématique des audits annuels statiques :
- L’audit global et continu : Remplacer les évaluations isolées par une surveillance trimestrielle. Un algorithme jugé « équitable » à un instant T peut rapidement dériver suite à une mise à jour ou à un changement du bassin de personnes candidates. Il s'agit d'auditer le système de bout en bout, en vérifiant comment les différents outils (tri, classement, évaluation) interagissent réellement entre eux.
- La transparence contractuelle stricte : Les fournisseurs doivent sortir de l'opacité du secret industriel. Ils devraient être contractuellement tenus de déclarer quelle définition mathématique de l’équité ils utilisent et de documenter comment leurs choix techniques traduisent les exigences légales. En cas de dérive, la responsabilité (technique et financière) doit être pré-établie.
- Le droit à la contestation humaine : Mila insiste sur la formation des recruteurs, qui doivent pouvoir débrancher l'algorithme au moindre doute. Surtout, chaque personne candidate devrait être informée du recours à l'IA et bénéficier d'un droit de révision humaine en cas de rejet.
L’approche de Mila propose de passer d'audits isolés à une évaluation globale du système, où la responsabilité est partagée contractuellement entre tous les maillons de la chaîne. Sans cette coordination, chaque acteur peut respecter ses obligations individuelles tout en laissant l'outil final discriminer en toute impunité. Établir une telle transparence est le prérequis indispensable pour bâtir une IA réellement équitable, capable de tenir ses promesses dans le recrutement comme dans tous les autres domaines cruciaux de notre société.
