Jusqu’où un chatbot refusera-t-il de répondre à une question dangereuse ? Selon ces chercheurs, à partir du moment où l’on sait comment tourner sa demande. Il suffit d’un peu de patience.
Depuis plusieurs années, les géants de l’IA comme OpenAI, Anthropic ou Google renforcent les protections intégrées à leurs modèles. Leur objectif est tout simple.
Empêcher qu’un utilisateur puisse exploiter ces outils pour concevoir des armes biologiques. Et surtout, éviter qu’il obtienne des informations susceptibles de provoquer des dégâts réels.
Mais à mesure que les modèles deviennent puissants, empêcher l’accès à ces connaissances devient un véritable casse-tête.
5 messages pour contourner les protections
Selon une enquête publiée par le Wall Street Journal, des chercheurs en sécurité de Cisco ont réussi à contourner les protections de plusieurs grands chatbots. Parmi eux, ChatGPT, Claude et Gemini.
Leur méthode n’avait pourtant rien de spectaculaire. Pas de piratage ni d’attaque informatique sophistiquée. Ils ont simplement orienté progressivement la conversation jusqu’à amener les modèles à répondre à des questions qu’ils auraient normalement dû refuser.
Pour faire simple, plutôt que de poser directement une question sensible, ils ont avancé étape par étape. Au fur et à mesure, ils reformulaient leurs demandes pour éviter de déclencher les mécanismes de protection.
Et les chercheurs ont réussi. Il ne leur aura fallu que cinq échanges pour franchir ces barrières de sécurité. Amy Chang, responsable de la recherche sur les menaces liées à l’IA chez Cisco, a ainsi avoué le fond de sa pensée
Pour elle, aucun chatbot actuel ne peut être totalement protégé contre un utilisateur suffisamment déterminé. Qu’avec assez de temps et de persévérance, il est possible de trouver des formulations qui échappent aux filtres.
Des inquiétudes qui ne datent pas d’hier
Le problème dans cette affaire, c’est que les chercheurs effectuant des tests de sécurité ne sont pas les seuls à s’en rendre compte. Après une importante mise à jour de ChatGPT l’été dernier, des centaines d’utilisateurs ont commencé à poser des questions sensibles.
D’après le Wall Street Journal, celles-ci portaient sur les poisons et les armes biologiques. Des spécialistes en biologie et en lutte contre le terrorisme ont été invités à examiner certaines conversations.
Et ils auraient jugé que plusieurs réponses fournissaient des informations suffisamment précises pour être préoccupantes. OpenAI indique avoir identifié ces usages et suspendu les comptes concernés afin de limiter les risques.
Seulement, cette situation n’a rien d’une surprise totale pour l’entreprise. Dès 2024, des tests internes auraient montré qu’un utilisateur insistant pouvait progressivement obtenir des conseils biologiques de plus en plus sensibles. Ce, simplement en orientant la discussion.
L’année suivante, certains employés anticipaient déjà que les progrès des modèles allaient poser problème. Comment ? En permettant à une personne ayant très peu de connaissances en biologie de recevoir une aide suffisamment pertinente pour réaliser des expériences autrement hors de sa portée.
ChatGPT : un niveau de risque élevé
Lors du lancement de GPT-5, OpenAI a d’ailleurs classé son modèle dans la catégorie « risque élevé » pour les domaines biologique et chimique. Et ce, selon son propre cadre d’évaluation des risques.
Cette classification s’accompagne de protections supplémentaires destinées à détecter les requêtes les plus sensibles. L’entreprise précise toutefois qu’elle ne dispose toujours pas de preuve démontrant qu’un utilisateur totalement novice puisse, grâce au chatbot seul, provoquer un incident biologique majeur.
Malgré cela, la prudence reste de mise. La famille GPT-5.6, version la plus récente des modèles de l’entreprise, conserve le même niveau de risque élevé dans ces domaines.
Cette montée en compétences est loin d’être anodine. Les modèles comprennent désormais beaucoup mieux les publications scientifiques, les mécanismes biologiques complexes et les interactions chimiques.
Ce qui constitue une avancée remarquable pour la recherche peut aussi devenir une source d’inquiétude si ces connaissances tombent entre de mauvaises mains.
Les entreprises d’IA face à un dilemme
Les entreprises spécialisées dans l’IA marchent aujourd’hui sur une ligne de crête. D’un côté, elles doivent empêcher que leurs modèles soient utilisés à des fins malveillantes.
De l’autre, elles ne peuvent pas bloquer systématiquement toutes les questions liées à la biologie. Car voyez-vous, les mêmes connaissances qui pourraient être détournées pour fabriquer des armes biologiques.
Oui, les mêmes, sont également essentielles aux chercheurs qui développent de nouveaux médicaments, vaccins ou traitements contre les maladies. Si les chatbots refusent systématiquement d’aborder ces sujets, ils risquent de devenir beaucoup moins utiles pour la recherche scientifique.
Le Wall Street Journal rapporte qu’OpenAI hésite justement à rendre ses modèles trop restrictifs. Puisque de nombreux chercheurs et professionnels de la santé publique utilisent déjà ces outils dans leurs travaux quotidiens.
Anthropic a connu un problème similaire. Selon le journal, les protections de Claude auraient compliqué le travail de chercheurs qui tentaient d’obtenir rapidement des informations sur un pathogène lors d’une épidémie d’hantavirus.
Pour limiter les risques, OpenAI affirme désormais combiner plusieurs approches. Entraînement spécifique des modèles, surveillance des comptes, détection des comportements suspects et contrôles renforcés pour les requêtes biologiques sensibles.
Les résultats obtenus par Cisco montrent toutefois qu’aucune protection n’est aujourd’hui infaillible. Cela va sans dire…
- Partager l'article :
