L’évaluation automatique des risques criminels est de plus en plus courante dans de nombreuses courts de justice d’Etat américains et sont livrées aux juges lors de la condamnation pénale. Si le l’algorithme prédit correctement la récidive à 61%, les noirs ont deux fois plus de chance d’être évalué à plus haut risque que les blancs, indépendamment de leurs antécédents ou de la récidive. Ils rapportent par exemple l’influence de ce score sur la condamnation d’un homme coupable d’avoir volé une tondeuse à gazon, contre lequel le procureur avait requis un an de prison, mais qui a écopé de deux ans de prison et trois ans de surveillance du fait de son score de menace désastreux. Les prévenus ne peuvent contester leurs évaluations, notamment parce que les données sous-jacentes au calcul de ces scores (provenant de réponses à quelques 137 questions, affirme Northpointe) ne leur sont pas disponibles.
“Naturalisation des préjugés sociaux. Tant que l’on ne s’intéressera pas aux circonstances et conditions de production des “données” qui les nourrissent, les machines ne feront jamais que refléter passivement, tout en les immunisant (partiellement) de la critique, les biais et préjugés sociaux dominants.
Ce ne sont pas tant les machines (les algorithmes) qui sont en cause, que la manière dont nous produisons et enregistrons les données à propos de la réalité sociale.