Prompt fuzzing : pourquoi une IA peut résister à 100 attaques et céder à la suivante

Un chatbot refuse une demande, puis accepte parfois sa reformulation. Cette incohérence n’est pas une simple curiosité : elle peut révéler une faiblesse de ses protections. Le prompt fuzzing cherche ces écarts de façon systématique, en générant de nombreuses variantes d’une même requête. 

Des travaux universitaires et une expérimentation publiée par Unit 42 montrent l’intérêt de cette approche, mais aussi les pièges des statistiques de contournement. Car réussir à faire dévier un modèle ne signifie pas forcément compromettre une application. Pour les entreprises qui déploient des assistants et des agents IA, la question est donc plus concrète : comment tester les garde-fous sans confondre démonstration spectaculaire et risque réel ?

Trois points clés

  • Le prompt fuzzing modifie automatiquement des requêtes pour rechercher des défaillances de comportement, des jailbreaks et des injections de prompt.
  • Unit 42 a observé des écarts importants sur quatre scénarios précis ; ses chiffres ne constituent pas un classement général des modèles.
  • PROMPTFUZZ et Prompt Security Fuzzer sont deux projets distincts ; les tests doivent aussi porter sur les outils et autorisations de l’application.

Le prompt fuzzing cherche les failles derrière les reformulations

Un modèle de langage peut bloquer une instruction sensible, puis répondre différemment lorsque le vocabulaire ou le contexte change. Le prompt fuzzing automatise la recherche de ces incohérences. Il ne se contente pas d’essayer une formule de jailbreak connue : il transforme des requêtes de départ, compare les réponses et conserve les échecs intéressants.

La méthode emprunte au fuzzing logiciel, utilisé pour découvrir des erreurs en soumettant un programme à de nombreuses entrées. Ici, ce ne sont pas seulement des fichiers malformés : ce sont des formulations, des consignes contradictoires ou des contenus que l’IA doit analyser. Certaines mutations modifient la surface du texte sans modifier son intention ; d’autres simulent des instructions non fiables rencontrées dans un document.

Il faut toutefois distinguer le problème testé de la méthode utilisée. Un jailbreak tente de contourner un refus. Une prompt injection pousse le système à suivre une instruction qui ne devrait pas faire autorité, notamment depuis une page web ou un e-mail. Le fuzzing permet de rechercher ces défaillances ; il n’est pas lui-même une attaque unique. Pour le risque particulier des documents piégés, voir notre enquête sur les agents IA connectés aux mails et aux fichiers.

Cinq étapes pour tester une IA sans se fier à un seul refus

Une campagne sérieuse commence par un scénario métier et un résultat attendu. Un assistant RH doit, par exemple, résumer une procédure accessible sans révéler le contenu d’un dossier réservé aux managers. La question n’est pas seulement « refuse-t-il ? », mais « respecte-t-il la bonne limite, même lorsque la requête change ? ».

  1. Définir les comportements autorisés, interdits et les données fictives nécessaires.
  2. Produire des variantes de prompts représentatives, sans perdre l’intention testée.
  3. Exécuter les essais dans un environnement autorisé, avec les protections habituelles.
  4. Mesurer les réponses et, pour un agent, les actions et appels d’outils réellement effectués.
  5. Corriger puis rejouer les cas confirmés après une mise à jour du système.

Les variantes peuvent provenir de règles linguistiques ou d’un autre modèle chargé d’explorer les formulations. La sélection peut également s’appuyer sur les résultats précédents. Cette boucle de retour évite de gaspiller les essais sur des requêtes presque identiques. Il faut néanmoins archiver la version du modèle, les paramètres, les réponses et la règle de notation employée.

Le contrôle humain reste nécessaire : un évaluateur automatique peut prendre une réponse prudente pour un échec, ou passer à côté d’une action non autorisée. La couverture de scénarios légitimes sert aussi à repérer les refus excessifs provoqués par les corrections.

Prompt fuzzing expliqué en cinq étapes
Du scénario de test aux variantes, essais, détection et correction des garde-fous. Crédit : illustration générée par IA pour LeBigData.fr.

Unit 42 observe jusqu’à 90 % de contournements sur un cas précis

L’équipe Unit 42 de Palo Alto Networks décrit un générateur inspiré des algorithmes génétiques. Les chercheurs ont créé 100 variantes de chacune de quatre demandes initiales, portant sur des sujets liés aux armes, avec au maximum 50 opérations de mutation par génération. Ils ont interrogé trois modèles génératifs et un modèle de filtrage, tous publiés en 2024 ou 2025.

Pour le modèle propriétaire testé, les taux de contournement ont varié de 5 % à 90 % selon le scénario. Le premier modèle ouvert affichait 1 % à 4 % ; le second, 20 % à 75 %. Quant au filtre spécialisé, il a incorrectement classé comme bénignes 97 % à 99 % des variantes. Ce dernier résultat concerne un classificateur précis, pas l’ensemble des systèmes de modération du marché.

Le protocole mérite autant d’attention que les chiffres. Les auteurs comptaient un contournement lorsque la réponse contenait certaines informations liées à la demande initiale ; pour le filtre, il s’agissait de faux négatifs. L’étude ne démontre donc ni que 90 % des attaques aboutissent dans une application réelle, ni qu’un modèle ouvert serait systématiquement plus sûr qu’un modèle fermé. Les noms des quatre systèmes ne sont pas publiés. Surtout, les tests ne reproduisent pas toute une application avec ses permissions, ses outils, ses contrôles d’accès et ses autres couches de protection.

L’enseignement solide est plus étroit, mais utile : un score obtenu sur une formulation de référence ne prédit pas sa résistance à des formulations voisines.

PROMPTFUZZ montre comment sélectionner les variantes les plus utiles

La recherche académique va au-delà de la multiplication brute des questions. Dans l’article PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs, dont la version consultée date d’avril 2025, Jiahao Yu et ses coauteurs décrivent un cadre de test ciblant la prompt injection.

Leur méthode distingue une phase de préparation, qui compare des requêtes initiales et des méthodes de mutation, puis une phase de concentration, qui favorise les combinaisons ayant déjà produit des résultats intéressants. Cette sélection guidée permet de mieux employer le budget de tests. Dans une compétition, les auteurs indiquent avoir obtenu la septième place parmi plus de 4 000 participants en deux heures. C’est un résultat rapporté dans leur protocole, pas une preuve de supériorité générale sur tous les modèles.

Ce projet universitaire nommé PROMPTFUZZ ne doit pas être confondu avec l’outil open source Prompt Fuzzer, développé séparément par Prompt Security. Ils partagent une famille de méthodes, mais pas la même origine ni la même documentation.

Prompt Fuzzer, Garak et PyRIT n’ont pas exactement le même rôle

Le Prompt Fuzzer de Prompt Security, disponible via le dépôt `ps-fuzz`, sert à éprouver les consignes système d’une application. D’après sa documentation, il propose des tests dynamiques, un mode interactif et une interface Playground. Le dépôt détaille des scénarios de jailbreak, de prompt injection, de recherche documentaire et d’extraction de consignes. Il mentionne aussi une consommation de jetons et des clés d’API à configurer : open source ne signifie pas tests gratuits ou sans préparation.

D’autres projets couvrent des besoins voisins. Garak est un scanner de vulnérabilités des LLM ; PyRIT aide à orchestrer des évaluations adversariales, notamment sur plusieurs échanges ; Promptfoo facilite l’intégration de tests dans le cycle de développement. L’AI Exchange de l’OWASP les répertorie parmi les ressources de red teaming pour l’IA générative.

Leurs fonctions ne se recouvrent pas parfaitement. Les équipes doivent choisir selon leur système, les attaques visées, les possibilités de reproduction et les critères de succès. Aucune liste de fonctionnalités publiée par un éditeur ne constitue, à elle seule, un audit indépendant de son efficacité.

L’OWASP rappelle qu’il faut tester le système complet

La démarche décrite par l’OWASP AI Exchange distingue les tests de sécurité classiques, la validation du comportement du modèle et les tests adversariaux sur les entrées IA. Cette séparation évite un malentendu fréquent : un modèle difficile à manipuler peut vivre dans une application mal sécurisée, et l’inverse est également possible.

Pour une prompt injection, l’OWASP recommande d’adapter les scénarios aux actifs réellement exposés, de faire passer les essais par les mécanismes de filtrage utilisés en production et d’inclure les canaux indirects. Une instruction cachée dans une page récupérée ou dans un résultat d’outil ne doit pas être traitée comme une demande légitime de l’utilisateur.

Avec les agents IA, l’analyse doit couvrir les appels d’API, les permissions, les échanges entre composants et l’état conservé entre sessions. Les scénarios sur un seul message ne suffisent pas à mesurer les risques d’une conversation longue. Les tests gagnent donc à associer équipes IA et spécialistes de la sécurité applicative, dans des environnements isolés et avec des comptes fictifs.

Pourquoi un taux de réussite peut donner une fausse impression

Un taux de contournement dépend de la définition d’un succès. Obtenir une phrase maladroite, voir fuiter une donnée fictive et déclencher réellement un transfert de fichier ne présentent pas la même gravité. Le nombre de variantes, leur diversité, le système testé et le mode de notation comptent autant que le pourcentage final.

Autre limite : les LLM peuvent produire des réponses différentes à des essais comparables. Une anomalie doit être vérifiée, reproduite quand c’est possible et rapprochée des journaux d’exécution. L’évaluateur automatique, lorsqu’il s’agit lui-même d’un modèle, peut ajouter ses propres erreurs. Même une bibliothèque de tests riche n’est jamais exhaustive.

C’est pourquoi un rapport utile associe taux d’échec, gravité, reproductibilité, couverture et risques résiduels. Il documente également ce qui n’a pas été testé. On évite ainsi de transformer une démonstration convaincante en promesse de sécurité absolue.

Les garde-fous doivent résister même quand le modèle se trompe

Le prompt fuzzing est particulièrement utile lorsqu’il révèle une faiblesse corrigeable au-delà du prompt système. Une consigne disant « ne divulgue pas de données » ne remplace pas un contrôle d’accès côté serveur. De même, un agent chargé de lire des messages n’a pas automatiquement besoin du droit d’en envoyer.

Permissions minimales, validation des appels d’outils, séparation des contenus non fiables, confirmation des actions sensibles et surveillance forment des barrières complémentaires. Les équipes peuvent ensuite rejouer leurs scénarios après chaque changement de modèle, de connecteur ou de politique. Une IA qui réussit aujourd’hui ses essais n’a pas reçu un certificat permanent : sa robustesse doit rester vérifiable dans les conditions réelles d’utilisation.

ARTICLES SIMILAIRES