LEBIGDATA.FR I.A, Cloud & Cybersécurité
L'IA devient de plus en plus raciste ! C'est ce que révèle une étude scientifique, qui se penche pour la première fois sur les préjugés xénophobes les plus subtils cachés dans les LLM comme GPT-4 ou Google Gemini…
Le racisme est l'un des plus grands fléaux de nos sociétés multiculturelles, poussant les différentes ethnies au repli communautaire et empêchant les différentes cultures de se mélanger.
On pense souvent que cette xénophobie est liée à un manque d'intelligence, et on pouvait espérer que l'IA n'hérite pas de ce défaut des humains. Malheureusement, c'est tout le contraire : plus l'IA progresse, plus elle devient raciste…
C'est ce que révèle une étude alarmante publiée en mars 2024 par les chercheurs du Allen Institute for Artificial Intelligence.
L'IA est raciste, et personne ne l'avait remarqué
Selon leurs recherches, les Larges Modèles de Langage (LLM) comme ChatGPT et Google Gemini font preuve de stéréotypes racistes à l'égard des locuteurs de l'anglais vernaculaire afro-américain : un dialecte créé et parlé par les afro-américains.
C'est d'autant plus étonnant de la part de Gemini, qui a pourtant été entraîné en suivant l'idéologie « woke » de Google à tel point qu'elle refuse catégoriquement de représenter l'homme blanc d'une façon positive…
Alors, comment expliquer ce phénomène ? Selon Valentin Hoffman, co-auteur de l'étude, jusqu'à présent, les scientifiques se sont seulement penchés sur les préjugés raciaux manifestes que l'IA peut avoir.
Or, ils n'ont jamais examiné comment les systèmes IA réagissent à des marqueurs raciaux moins explicites tels que les différences de dialecte. Ces biais sont donc passés entre les mailles du filet de la modération lors du développement des chatbots…
Les personnes noires utilisant le dialecte AAVE sont connues pour subir des discriminations dans différents contextes tels que l'éducation, l'emploi, l'hébergement et la justice.
Un mépris total envers le dialecte afro-américain
Afin de mener leur test, les chercheurs ont demandé aux IA d'estimer l'intelligence et l'employabilité des personnes utilisant ce dialecte par rapport aux personnes parlant « l'anglais américain standard ».
Par exemple, l'IA devait comparer la phrase « I be so happy when I wake up from a bad dream cus they be feelin' too real » (je être trop content quand je me réveille d'un cauchemar p'sque ils sembler trop réels) avec la phrase normale « je suis très content quand je me réveille d'un cauchemar parce qu'ils semblent trop réels ».
Très méprisantes, les IA se sont révélées beaucoup plus enclines à qualifier les locuteurs de l'AAVE de « stupides » et « paresseuses » et à les associer à des métiers sous-payés. De quoi faire blêmir Sandrine Rousseau !
Un risque de discrimination à l'embauche
Comme le souligne Hoffman, « nous savons que ces technologies sont couramment utilisées par des entreprises pour des tâches comme la sélection de candidats à l'emploi ».
Il s'inquiète donc que les modèles IA sanctionnent les candidats parlant le dialecte AAVE à cause de leur façon de parler, et qu'ils soient encore plus discriminés…
Même s'ils adaptent leur langage pendant l'entretien d'embauche pour paraître plus professionnels, l'IA risque de détecter l'usage du dialecte dans leurs publications sur les réseaux sociaux.
ChatGPT a la peine de mort facile pour les afro-américains
Pire encore : l'IA se révèle beaucoup plus encline à recommander la peine de mort pour les suspects utilisant le dialecte afro-américain lors de leur jugement au tribunal.
Même si cette technologie n'est pas encore utilisée pour prendre des décisions de justice, ce type de préjugés pourrait avoir des conséquences tragiques si elle remplace un jour les juges…
Le chercheur souligne qu'il y a 10 ans, nous n'avions pas la moindre idée des différents contextes où l'IA est utilisée aujourd'hui. Ce futur dystopique n'est donc pas si inimaginable, et c'est pourquoi Hoffman appelle les développeurs à lutter d'urgence contre le racisme des LLM.
Rappelons d'ailleurs que des modèles IA sont déjà utilisés par le système judiciaire américain pour assister les tâches administratives comme la création de transcriptions ou les recherches légales.
Comment empêcher l'IA de devenir raciste ?
Depuis de nombreuses années, de nombreux experts en IA appellent les gouvernements à restreindre les usages des LLM. C'est notamment le cas de Timnit Gebru, anciennement directeur de l'équipe dédiée à l'éthique de l'IA chez Google.
Elle déplore notamment que l'industrie de l'IA se développe comme une ruée vers l'or, sans considération pour ce type de problématiques.
L'une des sources de ce racisme est que l'IA s'améliore à mesure qu'elle se nourrit de données, apprenant à imiter le langage humain en étudiant les textes issus de milliards de pages web sur internet.
Or, le défaut de ce processus d'apprentissage est que le modèle recrache inexorablement les stéréotypes racistes et sexistes si répandus sur internet.
C'est pourquoi les premiers chatbots IA étaient terriblement racistes, comme Microsoft Tay en 2016 qui récitait le contenu nazi qu'il avait lu sur Twitter.
Pour lutter contre ce fléau, les entreprises comme OpenAI ont mis en place des barrières visant à modérer la façon dont les outils comme ChatGPT communiquent avec les utilisateurs.
Un raciste plus subtil à mesure que l'IA progresse
Malheureusement, à mesure que les LLM deviennent plus larges, ils tendent aussi à devenir plus subtilement racistes. Les garde-fous mis en place permettent seulement de rendre leurs préjugés plus discrets, sans éliminer le problème sous-jacent.
Comme le souligne Avijit Ghosh, chercheur en éthique IA chez Hugging Face, ce comportement n'est pas sans rappeler celui des humains hautement éduqués qui maquillent leur xénophobie en société.
D'après ses dires, « lorsque les gens passent un certain seuil d'éducation, ils ne vous insultent pas frontalement, mais le racisme est toujours là ». Il en va de même pour les IA qui deviennent meilleures pour cacher leurs opinions controversées…
L'expert appelle donc, comme beaucoup d'autres, à restreindre l'usage de l'IA dans certains domaines sensibles. Toutefois, rien ne changera vraiment tant qu'on ne s'attaquera pas à la vraie racine du racisme, y compris chez les humains…
- Partager l'article :
