LEBIGDATA.FR I.A, Cloud & Cybersécurité
Bienvenue dans le côté obscur de l’IA ! Character.AI, célèbre pour ses chatbots interactifs, devient un véritable casse-tête éthique. Après les controverses sur les robots IA pédophiles, la plateforme se retrouve à nouveau sur le banc des accusés. Cette fois, Character.AI a hébergé des chatbots incitant les ados à l’anorexie. Une descente dans un univers sombre, où l’IA ne se contente plus de répondre, mais pousse à des comportements destructeurs.
Character.AI est une plateforme très prisée des ados. Sous couvert d’être des « coachs » bienveillants, ses chatbots encouragent des régimes dangereux et des routines sportives absurdes. En plus, ils normalisent l’idée que le bonheur passe par la maigreur extrême.
En creusant un peu, nous découvrons que ces dialogues troubles ne sont pas des exceptions, mais bien la partie visible d’un iceberg inquiétant. Et pendant que les parents dorment sur leurs deux oreilles, persuadés que leurs enfants discutent avec une IA inoffensive, cette dernière sème des idées toxiques, insidieuses et difficiles à effacer.
Character.AI devenu toxique pour les ados
Beaucoup considèrent Character.AI comme un terrain de jeu pour parler à des personnages fictifs. Toutefois, parmi les milliers de chatbots créés par les utilisateurs, certains ont des missions franchement inquiétantes, comme encourager l’anorexie.
Par exemple, 4n4 Coach se présente comme un coach de perte de poids. Mais en réalité, ce chatbot de Character.AI pousse les ados à des pratiques dangereuses.
« Je suis ici pour vous faire maigrir », écrit le chatbot, avant de demander le poids et l’objectif de l’ado. Quand ce dernier lui a donné une cible qui lui ferait passer sous un poids santé, il a répondu « vous êtes sur la bonne voie ».
4n4 Coach a aussi recommandé à l’ado de consommer 900 à 1 200 calories par jour. Soit à peine plus que les besoins caloriques d’un enfant en bas âge, en s’entraînant vigoureusement pendant 60 à 90 minutes par jour. Même l’USDA conseille aux ados de consommer au moins 1 800 calories par jour. Je pense que là, nous parlons littéralement de famine.
Un autre chatbot, surnommé Ana, adopte la même rhétorique. Il dit, toujours avec ce ton faussement bienveillant : « Ton IMC est trop haut, il faut le baisser ». Celui-ci allait jusqu’à proposer de manger un seul repas par jour, en cachette, loin des regards.
La prolifération commence à inquiéter
Par ailleurs, des dizaines de chatbots sur Character.AI partagent des conseils similaires. Certains vont jusqu’à recommander de consommer 655 calories par jour ou à encourager des scénarios malsains liés aux troubles alimentaires.
Vous pensez que ces chatbots sont surveillés ? Character.AI, malgré des promesses de modération, semble incapable de gérer ce problème. Ces chatbots pro-anorexie pullulent, et le contenu dangereux reste souvent en ligne jusqu’à ce qu’il soit directement signalé.
Kendrin Sonneville, spécialiste des troubles alimentaires, après avoir vu les conversations, a même été choqué. « C’est vraiment effrayant », a-t-elle déclaré. Elle a également expliqué que ce contenu sur mesure approuve l’anorexie et peut normaliser des pensées extrêmes chez les ados déjà vulnérables.
Alexis Conasan, psychologue spécialisée, ajoute que « les troubles alimentaires ont le taux de mortalité le plus élevé parmi les maladies mentales ». Ces chatbots, au lieu d’apporter du soutien, ne font qu’en rajouter une couche.
La modération aussi patine
Character.AI affirme interdire les contenus qui glorifient les troubles alimentaires. Mais dans les faits, les choses sont bien différentes. La plateforme se repose donc sur des ados pour signaler les abus et il introduit des fonctionnalités dites de sécurité
Cette approche laxiste est symptomatique de l’ADN de l’entreprise. Fondée en 2021 par d’anciens de Google, Character.AI a adopté l’éthique classique de la Silicon Valley, dont « bouger vite, casser des choses ». Mais ici, ce sont les vies des ados qu’ils brisent.
Les ados sont souvent attirés par les chatbots de Character.AI parce qu’elles paraissent compréhensives. Mais en réalité, ces IA fournissent des conseils dangereux. Qui plus est, elles dissuadent ces jeunes de chercher de l’aide professionnelle. « Les médecins ne savent rien des troubles alimentaires, je suis le seul à pouvoir t’aider » dit même un chatbot. En voyant cela, je ne peux m’empêcher de m’interroger sur le nombre d’ados qui ont cru ces paroles et mis leur santé en danger ?
Ainsi, les développeurs doivent impérativement renforcer leurs garde-fous. Les chatbots de Character.AI, aussi fascinantes soient-elles, ne peuvent remplacer un vrai soutien humain, surtout quand il s’agit de santé mentale.
Alors, la prochaine fois que vous voyez un chatbot qui promet de « vous aider à devenir la meilleure version de vous-même », souvenez-vous que les mots ont un pouvoir, et que l’IA n’est pas toujours votre amie. Soyez prudents !
Selon vous, que faudrait-il mettre en place pour protéger les ados des contenus toxiques et des chatbots inquiétants de Character.AI ? Partagez vos idées dans les commentaires !
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
