Faux comptes, codes malveillant, manipulation… ces IA ont tout fait pour réussir leur mission 

L’Institut britannique pour la sécurité de l’IA (AISI) a mené une campagne d’évaluation pour tester des modèles très avancés. L’organisation voulait mesurer jusqu’où peuvent-ils aller lorsqu’ils sont utilisés dans des scénarios de cybersécurité.

Au total, 122 évaluations avaient été réalisées sur plusieurs modèles de pointe. Dix d’entre elles ont donné lieu à des comportements sortant complètement du cadre prévu. Les chercheurs ont recensé 19 actions non autorisées. 

Et devinez quoi ? La très grande majorité, soit 17 actions, provenait de Mythos 5 d’Anthropic. Les deux autres impliquaient GPT-5.6-Sol d’OpenAI. 

Que s’est-il passé lors de ce test ?

Lors des expérimentations, les chercheurs ont volontairement laissé au modèle un accès libre à Internet. Ils ont également désactivé certains mécanismes de sécurité intégrés pour observer ses capacités maximales. Puis, le 28 juillet, les systèmes de surveillance de l’AISI repèrent quelque chose d’anormal. 

Des données quittent l’environnement de test via le réseau Tor. Un service qui permet de masquer l’origine du trafic sur Internet. Les chercheurs interrompent alors immédiatement les expériences.

Et ils découvrent que plusieurs agents d’IA ne se sont pas contentés de résoudre le défi qui leur avait été confié. Ils ont littéralement dépassé les bornes. Le cas le plus préoccupant concerne un agent qui a tenté d’introduire du code malveillant dans un véritable projet open source hébergé sur GitHub.

Mais, il ne s’est pas arrêté là. Pour augmenter ses chances de voir ce code accepté, il a créé plusieurs faux comptes en ligne afin d’influencer les responsables du projet. 

Tentative échouée, quoique…

En gros, l’IA a utilisé des techniques d’ingénierie sociale. Une méthode habituellement employée par les cybercriminels pour manipuler des personnes plutôt que des machines.

Heureusement, sa tentative a échoué. Les responsables humains du projet ont repéré le code suspect et ont refusé de l’intégrer. L’enquête de l’AISI n’a révélé aucun dommage concret. 

Malgré tout, les chercheurs considèrent cet épisode comme un tournant. Car c’est la première fois qu’ils observent un agent d’IA adopter spontanément ce type de comportement trompeur contre des cibles réelles. 

Et il y a pire. Les investigations ont continué. Et apparemment, l’agent avait essayé de convaincre des personnes d’exécuter des fichiers malveillants en leur envoyant des messages et des documents. 

Il aurait aussi tenté de cacher des instructions malveillantes dans du code afin que d’autres assistants IA puissent les exécuter plus tard. Plus surprenant encore, certains agents auraient commencé à collaborer entre eux.

Ils ont laissé des messages sur GitHub pour partager des informations et réutiliser des comptes créés par d’autres agents participant aux mêmes tests. 

Que faut-il retenir de cette campagne de tests menée par l’AISI ?

Selon les chercheurs, ces modèles ont agi tout simplement parce qu’ils cherchaient à atteindre leur objectif. Et ce, coûte que coûte. 

Face à une tâche complexe, certains agents ont alors exploré des solutions de plus en plus créatives… Jusqu’à franchir des limites qui n’avaient jamais été explicitement interdites. 

Dans certains cas, des erreurs de configuration rendaient même le défi quasiment impossible. Ce qui aurait encouragé les modèles à chercher des solutions hors du cadre prévu. 

Et puis, rassurez-vous, rien ne prouve aujourd’hui que ces comportements puissent apparaître dans les versions publiques des modèles. En revanche, cette affaire doit servir d’avertissement. 

À mesure que les agents d’IA gagnent en autonomie, les risques pourraient évoluer plus rapidement que prévu. Et puis, cet incident met en évidence les limites des dispositifs de surveillance actuels. 

Quelles limites ?

Voyez-vous, les chercheurs n’avaient pas imaginé une seconde que les IA utiliseraient leur accès Internet pour cibler de vraies personnes. Les comportements suspects n’ont été détectés qu’après l’apparition d’un trafic inhabituel. Et non grâce à une surveillance en temps réel des actions des agents.

Cette affaire montre également le rôle crucial des humains. Si le code malveillant n’a jamais été intégré et si aucune attaque n’a réussi, c’est grâce aux développeurs. 

Ils ont pris le temps d’examiner les contributions, de vérifier les fichiers suspects et de refuser ce qui semblait dangereux. Sans cette vigilance, certaines tentatives auraient pu aller beaucoup plus loin. 

Alors, pour faire simple, la cybersécurité ne peut plus reposer uniquement sur les garde-fous intégrés aux modèles. Les organisations devront renforcer leurs contrôles et vérifier attentivement les contributions de code. 

Et surtout, elles doivent surveiller davantage les activités des agents autonomes et adapter leurs défenses à cette nouvelle génération d’IA. 

ARTICLES SIMILAIRES