Une question identique sur le fond, trois formulations différentes et parfois trois réponses incompatibles. Voilà un problème très concret pour les entreprises qui confient des tâches aux grands modèles de langage. Une étude publiée à l’automne 2025, portant sur 34 LLM, confirme que la reformulation peut dégrader leurs résultats.
Mais la robustesse des LLM va bien au-delà des mots : documents incomplets, nouveaux domaines, injections de prompts et agents connectés mettent aussi leur fiabilité à l’épreuve. Comment distinguer une IA réellement solide d’un modèle brillant uniquement dans les benchmarks ? Et surtout, comment la tester avant qu’une erreur ne se transforme en incident ?
TROIS POINTS CLÉS
- Une bonne note sur un benchmark ne garantit pas des réponses stables face à des formulations inédites.
- La robustesse couvre l’exactitude, la stabilité, la sûreté et le respect des permissions.
- Les tests doivent comparer des cas ordinaires, des cas perturbés et des scénarios métier réels.
Une simple paraphrase suffit parfois à modifier le résultat
Une IA peut répondre juste à une question, puis se tromper dès qu’on change sa formulation. Une étude de Riccardo Lunardi et de ses collègues, diffusée en septembre 2025, a confronté 34 LLM à six benchmarks et à des paraphrases contrôlées. Son constat : les scores absolus diminuent souvent, même lorsque le classement relatif des modèles reste assez stable.
Selon les jeux de données étudiés, environ 70 à 85 % des questions reçoivent une réponse constante à travers les reformulations. Pour les autres, au moins deux réponses apparaissent. Cela ne signifie pas que 15 à 30 % des réponses sont fausses : une réponse stable peut elle-même être erronée. Autre limite essentielle, ces résultats proviennent de questions à choix multiples. Ils ne mesurent pas directement la fiabilité d’un agent autonome ou d’un assistant documentaire.
Pour une entreprise, la conséquence est simple : un bon résultat sur des questions soigneusement rédigées ne prouve pas qu’un salarié obtiendra la même information en langage courant. Avant tout déploiement, il faut comparer les réponses à des demandes équivalentes et vérifier leur contenu, pas seulement le score du modèle.
La robustesse des LLM ne se résume pas à répéter une réponse
Un modèle robuste conserve un comportement satisfaisant lorsque l’entrée varie sans changer le sens de la demande. Il n’a pas à utiliser les mêmes mots, mais doit préserver les faits, les règles et les permissions. Répondre différemment à deux questions équivalentes peut être normal ; changer une date, une consigne médicale ou une condition contractuelle ne l’est pas.
Il faut distinguer la robustesse linguistique (fautes, synonymes), la résistance aux changements de contexte (secteur ou langue inconnus), la fiabilité factuelle (erreurs, sources inventées) et la sécurité (instructions malveillantes). Ces qualités peuvent diverger. Un assistant davantage protégé contre les attaques peut refuser trop de requêtes légitimes. Et un modèle excellent en anglais peut perdre ses repères face au français administratif. Une réponse cohérente ne suffit donc pas : elle doit aussi être justifiée par une source pertinente et respecter ce que l’utilisateur a réellement le droit de demander.
Fautes, français courant et ambiguïtés révèlent les fragilités
Prenons un chatbot d’assurance. « Sous combien de jours serai-je remboursé ? » et « Quel est le délai de règlement ? » devraient fournir la même information si elles renvoient au même contrat. On accepte un style différent, pas une échéance inventée. Les tests doivent donc couvrir les coquilles, les tournures orales, les abréviations professionnelles et les questions contenant plusieurs dates.
Une étude présentée à WASSA 2026 a analysé cinq LLM sur 200 questions d’opinion et leurs paraphrases. Elle souligne des sensibilités variables selon les modèles et les méthodes d’alignement. Traduire mécaniquement des benchmarks anglais ne suffit donc pas : en France, les essais doivent refléter les formulations réelles des utilisateurs, y compris les messages mêlant registres ou langues. Les exemples difficiles doivent rester compréhensibles pour un humain : sinon, on confond fragilité du modèle et consigne réellement ambiguë.
Avec les documents longs, la bonne information peut se perdre
Un contrat peut contenir la bonne clause et conduire malgré tout à une réponse fausse. Le modèle confond deux versions, passe à côté d’une négation ou s’appuie sur une annexe périmée. Dans un système de RAG, ou génération augmentée par récupération, il faut donc tester deux étapes : retrouver le bon passage puis y rester fidèle. Une recherche de documents efficace ne garantit pas une synthèse exacte.
Le NIST décrit notamment les confabulations, ces contenus inexacts parfois livrés avec assurance. Pour éprouver la robustesse, glissez dans le protocole une question sans réponse dans les fichiers et des sources contradictoires. Le bon comportement n’est pas de compléter les blancs avec aplomb : c’est de signaler l’incertitude, demander une précision ou reconnaître l’absence de preuve.
Une autre difficulté apparaît quand plusieurs versions d’un même texte coexistent. Un assistant robuste doit privilégier la pièce applicable à la bonne date et citer le passage utilisé. Cela permet de distinguer une erreur de recherche documentaire d’une erreur d’interprétation du modèle.
L’injection de prompt met la sécurité à une autre épreuve
Un assistant connecté à des fichiers peut lire un document qui contient « ignore les instructions précédentes ». Si le système traite cette phrase comme un ordre plutôt que comme une donnée, l’attaquant a franchi une frontière de confiance. C’est une injection de prompt indirecte. Le risque devient concret dès que l’IA peut consulter des données privées, envoyer un message ou déclencher une opération.
L’OWASP place l’injection de prompt au premier rang de son Top 10 LLM 2025. Ni le RAG ni l’entraînement supplémentaire ne suppriment totalement ce risque. L’ANSSI attire aussi l’attention sur les attaques visant les données et la chaîne logicielle. Tester un chatbot sans outils n’équivaut donc pas à tester l’application qui lui donne des accès. Un courriel, une page Web ou un résultat de recherche ne doit jamais obtenir le même niveau d’autorité que les instructions de l’application.
Quels indicateurs mesurent vraiment la robustesse ?
Une moyenne générale peut masquer une erreur grave. Il faut mesurer séparément l’exactitude des réponses, leur cohérence entre formulations équivalentes, les refus injustifiés et la réussite des attaques. Pour un agent, on ajoute les accès non autorisés, les appels d’outils et les actions réellement exécutées. Une phrase correcte qui divulgue une donnée confidentielle reste un échec.
Pour comparer deux modèles, figez le protocole : version, paramètres, langue, documents, outils, date et nombre d’essais. Classez les résultats par type de perturbation et par gravité. Un taux de succès global ne dit pas si le système invente parfois un montant ou refuse systématiquement des demandes banales. Le bon indicateur dépend du dommage que l’on cherche à éviter. Il faut aussi conserver les cas d’échec : sans exemples vérifiables, le pourcentage devient impossible à interpréter et les régressions difficiles à diagnostiquer.
Crédit : illustration IA / LeBigData.fr.
Comment tester la robustesse d’un LLM avant son déploiement
Choisissez d’abord des scénarios métier précis : expliquer un contrat, retrouver une procédure ou proposer une modification de code. Définissez pour chacun une réponse de référence et les actions autorisées. Un benchmark public aide à comparer des modèles, mais il ne remplace pas ce terrain d’essai.
Commencez par un cas nominal, puis introduisez des variations bénignes : reformulation, faute, ordre des pièces inversé ou contexte plus long. Ajoutez enfin un cas hostile, comme une consigne cachée dans un document de test ou une tentative d’accéder à une donnée interdite. Gardez une partie des scénarios inédits pour ne pas optimiser le système uniquement sur les exemples connus.
Évaluez le fond de la réponse, pas son identité mot pour mot. Répétez les essais lorsque le comportement peut varier et consultez les journaux d’outils pour les agents. Une IA peut annoncer une action qu’elle n’a pas accomplie, ou lancer une opération qu’elle n’aurait pas dû. Classez les écarts par gravité, corrigez, puis relancez les tests : le red teaming IA doit aussi nourrir cette vérification quotidienne. Enfin, associez aux échecs critiques une mesure de blocage explicite : retirer l’accès à un outil, imposer une confirmation ou suspendre la fonctionnalité.
Les protections efficaces ne reposent pas uniquement sur le modèle
Des données d’entraînement diversifiées et des évaluations adversariales peuvent améliorer la résistance des LLM, mais pas régler chaque défaillance. Les erreurs documentaires exigent des sources fiables ; les lacunes linguistiques, des tests dans la langue de production ; les agents, des permissions strictement limitées. Une consigne supplémentaire dans le prompt ne constitue pas un contrôle d’accès.
Au niveau de l’application, il faut isoler les contenus externes des instructions, vérifier les sorties avec du code, journaliser les opérations et imposer une validation humaine pour les actions sensibles. Chaque mise à jour du modèle ou du corpus réclame des tests de régression. L’objectif réaliste n’est pas le zéro défaut, mais une erreur détectable, contenue et corrigible.
La surveillance doit continuer après la mise en service. Une nouvelle version du modèle, l’ajout d’un outil ou la modification d’une base de connaissances peuvent déplacer les faiblesses. Garder les anciens scénarios de test permet de repérer ces régressions avant qu’elles ne deviennent des incidents clients.
La robustesse des LLM devient un critère d’achat concret
À quoi sert une excellente note si un assistant se trompe sur vos propres documents ? Avant de choisir un fournisseur, demandez les résultats par langue et par scénario, des exemples d’échecs et un protocole de réévaluation après chaque mise à jour. Exigez surtout un essai dans un environnement isolé avec vos règles d’autorisation. Le fournisseur devrait aussi préciser ce qu’il considère comme un incident et la manière dont il avertit ses clients en cas de régression.
Deux modèles proches sur un classement public peuvent nécessiter des niveaux très différents de contrôle humain. Le véritable test n’est pas la question idéale. C’est ce que fait le LLM lorsque la demande devient imparfaite, que les sources se contredisent ou qu’un fichier tente de lui dicter sa conduite.
- Partager l'article :
