compas justice big data

Compas : un homme condamné à six ans de prison par un algorithme

Il y a quelques mois, Eric L. Loomis a été condamné à six ans de prison suite au verdict rendu par l'algorithme Compas, estimant que l'accusé présentait un risque élevé de récidive. Face à cette sentence, de nombreuses questions se posent, notamment dans la mesure où cet algorithme est développé et détenu par une entreprise privée qui refuse de dévoiler la formule utilisée.

En avril dernier, le juge en chef John G.Roberts rendait visite à l'Institut Polytechnique de Rensselaer. Dans le cadre de cette visite, la présidente de l'université, Shirley Ann Jackson, lui a posé une question pour le moins étonnante, qui n'est pas sans rappeler le film Minority Report : « serez-vous un jour en mesure de prédire le futur ? ». Si cette question peut surprendre, la réponse de Roberts est encore plus insolite : « ce jour est déjà arrivé », a répondu le juge en chef.

À travers cette réponse, Roberts faisait certainement référence au cas de Eric L. Loomis, un homme du Wisconsin condamné à six ans de prison à partir du verdict d'un logiciel. Le programme en question est l'algorithme Compas, développé par l'entreprise privée Northpointe Inc. Le logiciel sert à évaluer le risque de récidive d'un criminel, en se basant sur une série de graphiques. Le rapport généré par Compas laissait présager un risque élevé de récidive et de violence, et donc une menace pour la société.

Compas : un algorithme tenu secret par l'entreprise qui le développe

Face à cette sentence, M Loomis a fait appel, affirmant que ses droits ont été violés par l'usage de cet algorithme qu'il n'a pas été en mesure de consulter lui-même. En effet, l'entreprise qui détient Compas considère que son algorithme est un secret commercial. Ni la justice ni les accusés ne sont donc autorisés à examiner la formule mathématique utilisée.

En mars dernier, la justice a finalement accepté d'étudier sa demande en réclamant l'avis du gouvernement fédéral. Quoi qu'il en soit, la Cour suprême du Wisconsin considère que Loomis aurait écopé de la même peine en se basant sur les facteurs traditionnels suite à son crime, un délit de fuite, venant s'ajouter à un casier judiciaire déjà chargé. Cependant, la cour semble admettre que l'usage d'un algorithme secret pour envoyer un homme en prison est discutable. La juge Ann Walsh Bradley met par exemple un rapport de ProPublica, selon lequel les hommes noirs ont plus de chance d'être condamnés par Compas que les hommes blancs.

Au final, toutefois, la juge Bradley a autorisé l'utilisation de Compas. Les juges doivent néanmoins prendre en compte les limites de l'algorithme et la confidentialité qui l'entoure. Le logiciel reste un outil très utile pour assister la cour pour assister les juges en leur fournissant un maximum d'informations sur l'accusé.

Les juges ajoutent que Loomis est libre de remettre en cause sa sentence et d'expliquer les failles potentielles de Compas. Cependant, il serait difficile pour lui de procéder ainsi sachant qu'il n'est pas en mesure d'accéder à l'algorithme. Ainsi, s'il semble effectivement louable d'utiliser le pour assurer l'uniformité pénale, la confidentialité totale de l'algorithme utilisé paraît très discutable. D'autant que cette confidentialité vise à protéger les intérêts d'une entreprise privée. Il serait certainement plus juste que le gouvernement développe ses propres algorithmes et autorise les avocats à les examiner.

Les gouvernements doivent réguler l'usage judiciaire du Big Data

Rappelons qu'en 1977, la Cour Suprême a annulé la condamnation à mort d'un homme en Floride, car le rapport contenait des passages confidentiels qu'il n'était pas autorisé à voir. Toutefois, il s'agissait d'une condamnation à mort, ce qui n'est pas le cas en l'occurrence. En tous les cas, comme le souligne le juge en chef Roberts, si le Big Data et les algorithmes influencent de plus en plus les décisions de justice, il est nécessaire que des règles strictes soient déterminées par le gouvernement.

Selon un rapport publié par Electronic Privacy Information Center, Compas et les produits similaires sont déjà utilisés par de nombreux systèmes judiciaires aux Etats-Unis. Ces logiciels servent à déterminer la durée des peines carcérales, et même à déterminer la culpabilité ou l'innocence d'un suspect. Pourtant, les mécanismes internes de ces outils sont le plus souvent dissimulés au regard du public.

Newsletter

Envie de ne louper aucun de nos articles ? Abonnez vous pour recevoir chaque semaine les meilleurs actualités avant tout le monde.

Cliquez pour commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *