LEBIGDATA.FR I.A, Cloud & Cybersécurité
IBM et la NYPD ont collaboré pour créer un système d'intelligence artificielle permettant aux autorités de chercher des personnes en les filtrant par couleur de peau ou origine ethnique. L'existence de cette IA vient d'être dévoilée, mais elle serait en développement depuis près de 10 ans.
Selon le site The Intercept et l'organisation Investigative Fund, qui tiennent leurs informations de » documents d'entreprise confidentiels » et d'entretiens avec des ingénieurs ayant contribué au projet, IBM a collaboré avec la NYPD pour développer un système d'intelligence artificielle permettant de chercher les personnes en les filtrant par couleur de peau, couleurs de cheveux, genre, âge, et diverses caractéristiques faciales.
IBM aurait commencé à développer cette plateforme analytique il y a environ 10 ans, en partenariat avec le centre antiterroriste Lower Manhattan Security Initiative de New York. A l'époque, IBM oeuvrait comme sous-traitant de Vexcel, subsidiaire de Microsoft.
Le système de vision par ordinateur a été entraîné à partir de plusieurs milliers de photographies en provenance de 50 caméras fournies par la NYPD. L'intelligence artificielle a appris à identifier la couleur des vêtements, les caractéristiques corporelles, ou encore à détecter des menaces potentielles telles que des bagages suspects, des personnes dépassant des limites interdites ou des voitures accélérant au milieu du trafic.
Les tests du logiciel ont commencé en 2012. Toutefois, selon le porte-parole de la NYPD, les outils de filtrage n'étaient utilisés qu'à des fins » d'évaluation « . Toujours d'après ses dires, les officiers avaient pour consigne d'exclure la couleur de peau des filtres de recherche. En outre, plusieurs dirigeants politiques et actionnaires étaient au courant de ce projet, mais les détails n'ont pas été communiqués publiquement.
IBM et la NYPD ont finalement décidé de ne pas déployer l'IA
Le porte-parole précise que la NYPD a finalement choisi de ne pas déployer le programme. En outre, elle aurait explicitement rejeté une version améliorée du logiciel permettant de rechercher des personnes en fonction de leur ethnicité : » asiatique « , » noir « , blanc » …
Suite à la révélation de l'existence de ce projet, IBM s'est exprimé en affirmant être attaché à l'utilisation éthique des nouvelles technologies. La firme rappelle également être reconnue pour sa politique favorisant la diversité et l'inclusion.
C'est d'ailleurs la raison pour laquelle elle met à la disposition des autres entreprises un dataset d'annotations pour plus d'un million d'images, afin de résoudre le problème du manque de diversité des données utilisées pour entraîner les systèmes IA. En effet, des études ont prouvé que l'intelligence artificielle tend à reproduire les mêmes discriminations que les humains.
- Partager l'article :
