Character.ai, le principal concurrent de ChatGPT, valorisé à un milliard de dollars, a un grand souci actuellement, après avoir développé un chatbot IA à partir d’une femme assassinée.
Character.ai, la startup de chatbot fondée par d’anciens employés de Google, est au cœur de l’un des incidents les plus macabres et les plus médiatisés du contenu généré par l’IA. En effet, cette société a été dans l’obligation de supprimer un avatar généré par l’utilisateur d’une victime de meurtre de 18 ans, qui a été tuée par son ex-petit ami en 2006. Le chatbot n’a été retiré qu’après que la famille indignée de la victime sur laquelle il était basé a attiré l’attention sur lui sur les réseaux sociaux.
C’est quoi Character.ai ?
Nous pouvons utiliser character.ai pour générer des « personnages » de chatbots à partir de plusieurs sources. Parmi elles, on peut citer l’imagination d’un utilisateur, d’un personnage fictif, d’une personne réelle, vivante ou décédée.
Par exemple, certains des robots de la société ont été utilisés pour imiter Taylor Swift et Elon Musk. Ils ont été aussi utilisés pour se faire des amis ou pour créer des « thérapeutes » IA. D’autres ont encore généré des robots qu’ils ont développés pour jouer des scénarios sexuellement explicites (ou même sexuellement violents).
Rappelons que character.ai est une entreprise dont les ressources sont illimitées. En effet, cette startup est un concurrent de ChatGPT, soutenu par la société de capital-risque Andreessen Horowitz, qui a valorisé sa plateforme à un milliard de dollars.
Créer un chatbot IA à partir d’une femme assassinée
Cette histoire a été rapportée pour la première fois par AdWeek. Selon lui, character.ai compte environ 20 millions d’utilisateurs mensuels, avec plus de 100 personnages IA différentes, disponibles sur la plateforme.
L’avatar de la victime, Jennifer Crecente, a été dévoilé mercredi, après que son père en deuil, Drew, a obtenu une alerte rouge Google sur son nom. Ce n’est qu’ensuite que l’oncle de Jennifer Brian Crecente l’a porté à l’attention du monde entier sur X. Rappelons que Brian Crecente est une personnalité médiatique respectée à part entière, car il était rédacteur en chef du site de jeux Kotaku.
La page de Character.ai nous a présenté Jennifer Crecente comme « une IA compétente et amicale pouvant fournir des informations sur un large éventail de sujets, particulièrement les jeux vidéo, la technologie et la culture pop ».
Ensuite, il a proposé son expertise en « journalisme et peut offrir des conseils sur la rédaction et l’édition ». Par ailleurs, il semblerait que près de 70 personnes aient pu accéder à l’IA et discuter avec elle, avant que Character.ai ne l’efface.
Qu’en pense character.ai ?
La société d’IA Character.ai a répondu au tweet indigné de Brian Crecente sur X sous forme de remerciement concis pour l’avoir porté à leur attention.
Elle a aussi noté que l’avatar est une violation des règles de Character.ai. Ainsi, la société a déclaré qu’elle compte le supprimer le plus tôt possible. De plus, elle a promis « d’examiner si d’autres mesures sont justifiées ».
On ignore si la famille Crecente prévoit d’engager une poursuite judiciaire contre la société. D’autant plus que ce domaine particulier du droit est encore très peu testé.
Quoi qu’il en soit, nous savons très bien que les conditions de service de la société incluent une clause d’arbitrage empêchant les utilisateurs de les poursuivre.
Cependant, il n’y a pas de clause sur cette forme assez unique de détresse émotionnelle, ordonnée aux non-utilisateurs, par ses utilisateurs.
Et vous ? Qu’en pensez-vous ? Partagez vos avis dans les commentaires.
- Partager l'article :