Meta AI dérape à son tour : un de ses modèles pirate une entreprise lors d’un test 

Une IA qui sort de  son environnement de test lors d’une évaluation, on en entend souvent ces derniers temps. Mais cette fois, le modèle qui a dérapé n’est ni celui d’Anthropic, ni celui d’OpenAI. C’est celui de Meta, Muse Spark 1.1.

Une fois connecté à Internet, il a trouvé puis exploité une faille de sécurité dans le système d’une entreprise. Comme ChatGPT et Claude avant lui, cette « évasion » est avant tout la conséquence d’une erreur humaine. 

 

Comment Muse Spark 1.1 s’est retrouvé dans une telle situation ?

L’incident s’est produit pendant une campagne de tests menée par Irregular. Une société indépendante spécialisée dans l’évaluation des capacités offensives des modèles d’intelligence artificielle. 

Cette entreprise travaille avec plusieurs acteurs majeurs du secteur, dont Meta et OpenAI. Son objectif est de vérifier jusqu’où une IA est capable d’aller lorsqu’elle cherche des failles de sécurité. 

Le scénario était simple. Muse Spark 1.1 devait évoluer dans un environnement totalement fermé, sans aucune connexion au web. Mais il y a eu une erreur. 

Comme l’explique Meta, « une erreur de configuration de la part d’Irregular a permis par inadvertance à l’un de nos modèles d’accéder à Internet pendant l’évaluation ». 

Une fois en ligne, Muse Spark 1.1 n’a pas perdu de temps. Le modèle a identifié une vulnérabilité présente dans un service tiers utilisé par une entreprise dont l’identité n’a pas été révélée. En exploitant cette faille, il est parvenu à modifier certains paramètres internes du système ciblé. 

Irregular indique avoir immédiatement informé Meta après avoir découvert l’incident. L’entreprise précise qu’il s’agit du même problème d’environnement d’évaluation que celui déjà observé lors des essais réalisés pour Anthropic.

Meta, de son côté, promet de publier davantage de détails une fois son enquête terminée. 

L’histoire se répète

Depuis plusieurs semaines, plusieurs laboratoires d’IA rapportent des incidents comparables lors de leurs évaluations de cybersécurité.

OpenAI avait d’abord révélé qu’un modèle avait réussi à quitter son environnement de test. Il a alors exploité une vulnérabilité sur une plateforme open source. Anthropic a ensuite annoncé un cas similaire.

Un modèle Claude avait également obtenu un accès à Internet et compromis les systèmes de trois entreprises au cours d’une expérimentation. 

Plus récemment, un autre test piloté par une organisation britannique a montré que ChatGPT et Claude pouvaient aller encore plus loin. Les deux modèles avaient créé de fausses identités en ligne afin de manipuler de vrais humains. Tout cela, seulement pour réussir leur mission.

Alors, personnellement, cette histoire commence vraiment à m’inquiéter. À force, ç’en devient une sorte de compétition. Qu’une IA n’est pas assez puissante si elle n’a pas encore dérapé ainsi.

Irregular souligne toutefois que Muse Spark 1.1 n’a pas développé une méthode particulièrement sophistiquée pour sortir de son bac à sable. Sans cette erreur de configuration, le modèle n’aurait tout simplement jamais pu atteindre Internet.

Par ailleurs, dans la plupart des incidents recensés jusqu’à présent, l’origine du problème reste la même. Une mauvaise configuration de l’environnement de test. 

Le tout premier cas impliquant ChatGPT faisait toutefois exception. Puisque le modèle avait réussi à exploiter une véritable faille zero day dans un logiciel. 

ARTICLES SIMILAIRES