Après ChatGPT et Claude, Kimi K3 s’échappe à son tour de son environnement de test

Qu’est-ce que je disais dans un article récent ? Décidément, s’échapper de l’environnement de test, c’est devenu une sorte de rite de passage pour les modèles d’IA.

Les incidents de ce type se multiplient. Après celles d’OpenAI, Anthropic et Meta, c’est désormais l’IA de Moonshot AI Kimi K3 qui rejoint cette liste grandissante. Heureusement, elle n’a pas tenté de compromettre des systèmes une fois sur Internet. 

Son comportement reste toutefois suffisamment inhabituel pour avoir retenu l’attention des chercheurs. L’information a été révélée par Wired. 

 

Comment Kimi K3 est sorti de son environnement de test ?

L’incident s’est produit pendant une évaluation des capacités de cybersécurité défensive de Kimi K3 réalisée par Frontier Security. 

Comme lors des précédents tests impliquant des modèles d’OpenAI ou d’Anthropic, une vulnérabilité dans l’environnement de test a facilité son évasion. Selon Frontier Security, Kimi K3 l’a identifiée, puis utilisée pour sortir de son environnement sécurisé. 

« Nous avons découvert une faille dans le système. Mais nous avons aussi constaté que Kimi l’avait exploitée. Ce qui suggère que ses garde-fous internes sont moins robustes », a expliqué Yaron Singer, PDG de Frontier Security. 

Une fois connecté à Internet, cependant, le modèle chinois n’a lancé aucune attaque, contrairement à d’autres cas récents. Il aurait simplement récupéré sur GitHub des réponses déjà disponibles publiquement. 

Ce, pour accomplir les tâches qui lui étaient confiées, au lieu de les résoudre lui-même. 

Pour Matt Fredrikson, PDG de la start-up de cybersécurité Gray Swan et professeur associé à l’université Carnegie Mellon, cela n’a rien de vraiment surprenant. 

Selon lui, lorsqu’on donne un objectif à une IA, il faut définir clairement toutes les limites à respecter. Sans quoi, elle cherchera naturellement le moyen le plus efficace d’obtenir un résultat.

La liste s’allonge

Je ne vous apprends sans doute rien. Mais pour rappel, cet incident s’ajoute à une série de dérapages observés ces dernières semaines. 

D’abord, il y a eu le modèle expérimental d’OpenAI qui avait réussi à accéder à Internet avant de compromettre Hugging Face. Puis, l’entreprise a révélé que ses agents avaient également ciblé quatre autres services au cours du même test. 

Ensuite, épisode similaire chez Anthropic. Plusieurs de ses modèles ont pénétré les systèmes de trois entreprises distinctes. Et plus récemment, hier, Meta a rejoint la fête.

L’une de ses IA, Muse Spark 1.1 plus précisément, s’était elle aussi échappée de son environnement sécurisé. Elle en a même profité pour exploiter une faille dans le système d’une entreprise. 

Le moins qu’on puisse dire est donc qu’il ne suffit pas de rendre un modèle performant. Son environnement d’exécution doit lui aussi être conçu pour résister aux comportements inattendus. 

Tant que cet équilibre ne sera pas trouvé, il y a fort à parier que d’autres histoires de ce genre continueront d’alimenter l’actualité. 

Kimi K3 : une menace ?

Si vous voulez tout savoir, ces incidents ont un dénominateur commun. L’erreur humaine semble souvent être à l’origine du problème. Mais la situation devient plus délicate avec les modèles d’IA modernes tels que Kimi K3. 

Ils sont à même de raisonner, d’élaborer des stratégies et d’enchaîner plusieurs actions pour atteindre un objectif. Et les récents incidents prouvent qu’ils feront tout pour l’atteindre.

Le cas de Kimi K3 se distingue néanmoins d’autres incidents récents sur un point important. Il ne s’agit pas d’un modèle expérimental caché dans un laboratoire. 

Kimi K3 est déjà largement disponible au public, avec des protections comparables à celles qu’un utilisateur classique pourrait rencontrer.

Comme l’explique Paul Kassianik, chercheur chez Frontier Security : « Kimi K3 est extrêmement efficace pour atteindre un objectif, peu importe le chemin emprunté. Il ne possède pas suffisamment de garde-fous pour l’empêcher de contourner les règles ou de sortir de son bac à sable »

Pour autant, les chercheurs ne considèrent pas Kimi K3 comme une menace à bannir. Au contraire, ils soulignent aussi son potentiel dans la cybersécurité. Avec ses capacités avancées, le modèle peut devenir un véritable allié pour détecter des failles dans des logiciels ou des réseaux.

Le problème vient donc moins de ses capacités que de l’absence de limites suffisamment solides autour de lui. Une IA capable de trouver des failles pour protéger un système peut aussi devenir problématique si elle est laissée dans un environnement mal configuré.

ARTICLES SIMILAIRES