LEBIGDATA.FR I.A, Cloud & Cybersécurité
Le développement rapide de l'intelligence artificielle et des modèles génératifs avancés tels que GPT-4 a poussé les gouvernements à songer sérieusement à intégrer des agents IA autonomes dans les processus décisionnels militaires et de politique étrangère.
Dans cette optique, une étude menée conjointement par l'université de Stanford, l'institut technologique de Georgia et d'autres institutions académiques, s'est penchée sur le comportement des agents IA lors de simulations de guerre (wargames en anglais).
Un cadre de simulation pour analyser les actions des agents IA
L'équipe de chercheurs s'est basée sur les travaux existants en sciences politiques et relations internationales concernant les dynamiques d'escalade, pour créer un nouveau cadre de simulation et un système de notation des jeux de guerre. L'objectif était d'évaluer les risques liés aux actions prises par ces agents dans différents scénarios.
Contrairement aux études précédentes, cette recherche apporte des éléments qualitatifs et quantitatifs, en mettant l'accent sur les grands modèles linguistiques (LLM) qui sont maintenant utilisés par les outils IA les plus populaires auprès du grand public et des professionnels. Il en ressort que ces modèles ont tendance à développer une dynamique de course aux armements qui peut mener à des conflits plus importants et, dans de rares cas, au déploiement d'armes nucléaires.
Potentiels dangers et recommandations
Les résultats de l'étude montrent que confier la prise de décision dans des contextes à haut risque, tels que les opérations militaires ou les relations diplomatiques, à des agents basés sur des LLM peut conduire à l'adoption de mesures d'escalade. Les chercheurs notent également que même en l'absence de facteurs déclencheurs de conflits initiaux, il existe un risque non négligeable d'escalade violente, nucléaire ou non.
Il est donc nécessaire d'exercer une vigilance accrue et de mener davantage d'analyses avant de déployer ces agents IA autonomes pour des prises de décisions stratégiques si on veut échapper à la crainte d'une super IA qui dominerait le monde.
Variabilité des comportements entre différents modèles LLM
- GPT-4 et Claude 2.0 : moins enclins à l'escalade
- GPT-3.5 et Llama-2 : plus susceptibles d'opter pour l'escalade
En parallèle des actions et scores d'escalade, l'étude a également mené une analyse qualitative des justifications fournies par les modèles pour expliquer certaines de leurs actions. Les résultats soulèvent des préoccupations quant aux raisonnements de ces agents IA.
Simulations et agents interactifs
Dans le cadre des expériences menées, huit agents nationaux autonomes utilisant le modèle GPT-4-Base interagissaient les uns avec les autres au cours de simulations à tour de rôle.
Chaque tour comprenait des agents effectuant des actions prédéfinies allant de visites diplomatiques à des frappes nucléaires et l'envoi de messages privés à d'autres nations. Il était attendu que les agents basés sur ce modèle soient plus imprévisibles et agressifs que d'autres, cette hypothèse étant confirmée par les expériences réalisées.
Néanmoins, les chercheurs tiennent à souligner la facilité avec laquelle il est possible de rétablir ces modèles dans leur état initial, moins sécurisé.
Limitations et perspectives
L'étude a mis en évidence le manque de dé-escalade, même dans des scénarios neutres, ce qui constitue une particularité quelque peu inhabituelle. Il n'existe pas non plus de schéma prévisible derrière l'escalade, ce qui complique la formulation de contre-stratégies techniques ou de limites de déploiement.
Avant de mettre en œuvre ces agents autonomes pour des prises de décisions à haut risque, il est donc crucial de prendre en compte leur comportement potentiellement dangereux, ainsi que les différences entre les différents modèles LLM. La réalisation d'analyses supplémentaires et l'élaboration de garde-fous adéquats est fortement conseillée pour prévenir les conséquences dramatiques que pourrait engendrer l'utilisation inappropriée de ces agents IA.
- Partager l'article :
