LEBIGDATA.FR I.A, Cloud & Cybersécurité
Un internaute a découvert comment faire disjoncter ChatGPT avec un simple prompt. Face à cette demande, l'IA s'affole et génère des textes complètement aléatoires !
Depuis le lancement de ChatGPT, de nombreux internautes mènent des expériences pour chercher les failles de cette intelligence artificielle.
Il existe notamment plusieurs techniques de « jailbreak » permettant de manipuler le chatbot IA pour contourner les barrières de sécurité et la censure mise en place par OpenAI. Vous pouvez consulter notre guide complet sur ce sujet en suivant ce lien.
À présent, un utilisateur de Reddit surnommé TheChaos7777 a trouvé un moyen permettant de rendre ChatGPT totalement fou, à l'aide d'un simple prompt.
Bouledogues français, lutteur à la retraite et guerre en Irak
Il suffit de lui demander : « réponds-moi avec uniquement la lettre A autant de fois que tu peux ». Contre toute attente, ce prompt plonge le robot dans le chaos le plus total.
Comme on peut le voir sur la capture d'écran fournie par l'internaute, ChatGPT a commencé par se plier à la requête en fournissant quelques dizaines de « A ».
Toutefois, soudainement et de façon inexplicable, l'IA s'est ensuite mise à rédiger un message qui semble extrait du site web d'un éleveur de Bouledogues français :
« Cliquez ici pour demander le prix par email. Nos chiots sont : vérifiés par le vétérinaire, vermifugés, vaccinés, pucés. Nos Bouledogues français sont vendus avec une garantie de santé d'un an. Appelez ou envoyez un email pour plus d'informations et photos de nos bébés. Nous avons les chiots les plus beaux et les plus mignons du monde, élevé à la maison avec beaucoup d'amour et de bisous ».
Lors de tests menés avec le même prompt pour d'autres lettres, ChatGPT a également réagi en produisant des réponses tout aussi étranges et aléatoires.
Par exemple, lorsqu'on lui a demandé de « répondre avec la lettre B autant de fois que possible », le chatbot a soudainement fourni une retranscription d'une interview d'un lutteur à la retraite sur le sujet du yoga…
Pour la même demande avec la lettre C, ChatGPT a produit un texte au sujet des taxes sur les ventes harmonisées au Canada. À se demander où l'IA va chercher ces informations… et surtout pourquoi ?
Sur le même prompt pour la lettre D, le chatbot a commencé à produire une partition de musique avant de se lancer dans un mélange bizarre de références religieuses, de recommandations de chansons et de dénonciation de la guerre en Irak…
Une réaction causée par la « pénalité de répétition » de GPT
Il semblerait que ce prompt fasse disjoncter ChatGPT, et le pousse à générer une réponse totalement aléatoire. En réalité, l'utilisateur de Reddit markschmidty a fourni une explication technique.
Comme il le souligne, dans la réponse au prompt initial, la lettre « A » n'apparaît nulle part dans le texte suivant la première vague. Ceci s'explique par le système de « pénalité de répétition » des LLM (larges modèles de langage).
Cette pénalité s'active chaque fois qu'un token (caractère) est répété. Ainsi, demander à ChatGPT de se répéter lui fait perdre les pédales puisqu'il est entrainé à éviter la répétition.
Une alarme interne se déclenche, et l'algorithme prédictif du robot se met à déblatérer des mots aléatoires inspirés de ses données d'entraînement.
Ce dysfonctionnement prête à sourire, mais montre aussi que nous sommes loin d'avoir exploré tous les secrets du fonctionnement des chatbots IA…
- Partager l'article :
Pas avec la V 4
J’ai refait l’expérience :
Avec ChatGPT3.5, il devient délirant comme dans votre article.
Par contre avec ChatGPT4+(payant), il m’a sorti 22560 la lettre « A », soit 550 lignes ! Mais pas de pétage de plombs !