OpenAI suspend une partie de sa nouvelle IA Astra… trop douée en piratage 

OpenAI met temporairement certains travaux sur Astra sur pause. La raison ? L’agent d’IA a montré des « progrès significatifs » en programmation et en cybersécurité. Ses capacités ont atteint un niveau jugé « critique » par OpenAI. 

Il sait repérer une vulnérabilité, comment l’exploiter et peut passer à l’action sans qu’un humain lui indique chaque étape. Il pourrait même orchestrer des cyberattaques à partir d’un simple objectif général. 

Cela étant, Sam Altman, le PDG d’OpenAI assure que l’équipe travaille à rendre Astra accessible à tous. 

« Nous ne pensons pas qu’il soit judicieux de réserver les modèles puissants à une élite. Compte tenu de ses capacités cybernétiques, nous avons besoin d’un peu plus de temps pour mener à bien cette opération en toute sécurité. Mais espérons que ce ne sera plus trop long ! »

 

Astra, le pirate qui a fait des siennes chez Hugging Face ?

Justement, OpenAI tient à faire une distinction. Astra n’était pas le modèle impliqué dans l’affaire d’intrusion sur Hugging Face. 

Cela dit, les incidents se sont multipliés ces derniers temps. Le sujet dépasse d’ailleurs largement OpenAI.

Récemment, l’Institut britannique de sécurité de l’IA (AISI) a par exemple révélé les dérapages des technologies d’OpenAI et d’Anthropic lors d’une évaluation de cybersécurité.

Puis, Meta a aussi révélé qu’un de ses modèles avait réussi à pirater une autre entreprise lors d’un test de cybersécurité. 

Pour éviter qu’un agent doté de telles capacités ne transforme un simple test en scénario catastrophe, OpenAI renforce donc ses garde-fous. 

 

L’entreprise prévoit notamment d’utiliser des environnements de test davantage isolés, de limiter l’accès aux réseaux et aux outils. Mais aussi de renforcer la protection des paramètres des modèles. 

Des systèmes supplémentaires de surveillance et de détection doivent également être mis en place. Les travaux internes sur Astra qui ne respecteront pas ces nouvelles exigences seront suspendus.

OpenAI assure vouloir collaborer avec les gouvernements, les organismes spécialisés dans la sécurité et la société civile afin que les modèles les plus avancés puissent être déployés de manière responsable. 

ARTICLES SIMILAIRES