*** English version below ***
On entend souvent que les algorithmes d’IA sont plus objectifs que les humains car ils n’ont pas de préjugés, d’émotions, ou de biais. Mais c’est loin d’être vrai ! Ces algorithmes apprennent à partir de données, générées par des humains, qui eux sont biaisés. Les données résultant de leurs actions sont donc biaisées, et l’algorithme apprend donc les mêmes biais que les humains.
Par exemple on s’intéresse ici au processus de recrutement et au choix entre des candidats masculins ou féminins (pour simplifier). Si les humains ont un préjugé en faveur des hommes pour cet emploi, alors les données (le pourcentage d’hommes et de femmes dans cette entreprise) sont biaisées. L’algorithme va donc apprendre qu’un candidat masculin est probablement meilleur, puisqu’ils sont plus présents dans les candidats “gagnants”, recrutés par le passé. L’algorithme va donc plus souvent recruter des hommes, accentuant leur proportion parmi les employés. La probabilité de les recruter augmente donc de plus en plus, et la proportion de femmes baisse de plus en plus. L’algorithme d’IA a donc tendance non seulement à reproduire les biais humains, mais aussi à les amplifier.
Tester le modèle simple en français 
Dans une version plus élaborée, on s’intéresse à un autre biais qui influence lui aussi le recrutement. Il s’agit d’un biais d’auto-censure. Les personnes moins représentées sur un lieu de travail vont avoir tendance à moins candidater, ressentant qu’elles ont moins de chances d’être choisies. Ainsi les femmes vont moins choisir des études scientifiques où elles sont peu représentées, moins candidater sur des emplois “masculins”, etc. Si on ajoute ce biais au précédent, les discriminations se font encore plus fortes, car le recruteur peut ne même pas avoir de candidates féminines parmi lesquelles choisir.
In this model we show how AI can reproduce and amplify human biases. It is applied to CV selection, by either a human recruiter (who relies on human prejudices in favour of males for instance), or on an AI recruiter (which learns from the current percentage of women among employees: the more women are employed, the more likely it is to hire women again). One can observe that even though humans are known to be subjective, AI will do no better. On the contrary, it will reproduce and amplify that same biases: the less women are employed, the less the AI algorithm will hire them in the future, reducing their proportion even more, hence their probability to apply and to be selected, etc, until it falls to 0…
