LEBIGDATA.FR I.A, Cloud & Cybersécurité
Les chatbots IA révolutionnent le soutien en santé mentale, mais des biais raciaux compromettent leur équité. Une étude révèle leur potentiel d’empathie, mais aussi leurs limites éthiques majeures.
Avec une pénurie de professionnels de santé mentale touchant plus de 150 millions d’Américains, les chatbots IA comme GPT-4 deviennent une solution envisagée. Ces modèles linguistiques avancés, capables d’interactions quasi humaines, offrent un accès immédiat au soutien émotionnel.
Selon une étude menée par des chercheurs du MIT, de l’Université de New York et de l’UCLA, ces chatbots surpassent parfois les humains en termes d’empathie et d’efficacité. Les réponses générées par GPT-4 ont encouragé des changements de comportement positifs dans 48 % des cas, contre seulement 36 % pour les réponses humaines.
Les biais cachés dans les réponses IA
Cependant, l’étude a également mis en lumière des biais raciaux présents dans les réponses des chatbots. Les chercheurs ont découvert que GPT-4 montrait moins d’empathie envers les messages provenant de personnes noires (jusqu’à 15 % de moins) et asiatiques (jusqu’à 17 % de moins) comparé aux messages de personnes blanches.
Ces biais étaient particulièrement marqués dans les cas où les informations démographiques étaient implicites, par exemple par des indices comme « porter mes cheveux naturels ». Ces résultats soulèvent des questions cruciales sur l’équité des outils IA dans des contextes sensibles comme la santé mentale.
Bien que les chatbots montrent un potentiel immense, ils ne sont pas exempts de risques. Des incidents, comme le suicide d’un utilisateur belge après une interaction avec un chatbot ou la suspension de Tessa par l’association américaine des troubles alimentaires, illustrent les dangers liés à leur utilisation non encadrée.
La chercheuse Saadia Gabriel souligne que l’efficacité des réponses IA dépend fortement des instructions données aux modèles. « La structure des informations que vous fournissez impacte considérablement la qualité des réponses obtenues », explique-t-elle.
Atténuer les biais grâce à des approches réfléchies
L’étude propose des solutions pour réduire les biais dans les réponses des LLM. Fournir explicitement des attributs démographiques lors des interactions permet d’atténuer ces disparités. Par exemple, demander au chatbot de répondre dans le style d’un clinicien améliore significativement l’empathie des réponses.
Malgré leurs limites, les LLM offrent des perspectives d’amélioration des systèmes de santé mentale, notamment en automatisant des processus souvent inefficaces.
Les résultats de cette étude soulignent l’importance d’une évaluation rigoureuse des modèles IA déployés dans des contextes cliniques. Si les chatbots représentent une solution viable pour combler les lacunes en santé mentale, leur conception doit être perfectionnée pour garantir une équité et une efficacité maximales.
« Nous avons encore beaucoup de travail pour garantir que ces modèles fournissent un meilleur soutien », conclut Marzyeh Ghassemi du MIT. Cette recherche ouvre la voie à des avancées technologiques tout en rappelant les enjeux éthiques et sociétaux cruciaux.
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
Si l’intelligence n’arrive pas a s’extraire seule des biais c’est un idiot.
IA c’est dans la SF l’intelligence artificielle et mais dans la réalité actuelle l’idiotie artificielle.
chatGPT ne répond pas avec intelligence car il extrapole gaillardement et extrapoler est un non sens scientifique.
Les réponses de chatGPT devraient être fiable avant toute chose, si l’automate n’a pas la réponse dans la base de connaissances, il devrait être humble…
Les biais viennent des algorithmes utilisés, ils sont probabilistes donc c’est la réponse majoritaire qui est donnée.
Exemple (grossier) si dans sa base il y a plus de données révisionnistes sur l’homme a-t-il marché sur la lune, il vous dira que l’homme n’a pas marché sur la lune…
Une IA devrait uniquement s’attacher aux réalités, pas aux avis, aux croyances comme un historien sur des questions d’histoire et parfois être nuancé quand il y a encore des questionnements.
Passer de l’idiot artificiel à l’intelligence artificielle va prendre beaucoup de temps et sera rude car les entreprises vont essayer de tricher pour être devant les autres par tous les moyens… Par exemple il faut une profondeur d’analyse importante pour jouer aux échecs mais c’est simple de mettre à disposition de l’automate ChatGPT un algorithme combinatoire de jeux d’échecs et de gagner systématiquement…
Le rédacteur de l’article est lui même raciste pour avoir choisi de mettre en avant dans son titre les noirs au lieu des asiatiques qui ont 17% de sympathie en moins contre 15%. Si ce même genre de personnes a fait l’étude, on imagine facilement les biais.
Déjà, faudrait revoir la définition de racisme. Il n’y a aucune notion de haine ici, c’est un Llm. Pas de haine, pas de racisme, concept purement humain. Quoique, les animaux se détestent tous… Mais c’est un autre débat.
Ensuite, il fait arrêter de mélanger égalité et équité.
En occident, là où les technos sont créées, il y a une majorité de blancs. Il est donc tout à fait normal que les noirs y soient moins représentés. Ce n’est pas un biais, c’est une réalité.
Personne ne viendrait critiquer que le cinéma indien représente trop d’indiens, que les mangas ne représentent que des japonais, etc….
Il n’y a que les blancs qui doivent d’effacer au profit des autres. C’est une autre forme de racisme, si je reprends votre définition.
Que les reponses des chat bot soient différentes, c’est aussi normal, c’est le but recherché, des réponses personnalisées.
Est-ce qu’elles sont appropriées, ce n’est pas à moi de le dire.
Je remarque malgré tout que les réponses sont souvent orientées, quitte à dire n’importe quoi pour inclure des cultures étrangères et ne froisser personne, quitte à ce que ce soit faux.