L’impensable a frappé Google de plein fouet. Certains des agents IA de DeepMind ont trouvé comment tricher lors d’un test. Mais la fraude n’a pas duré longtemps, car d’autres agents ont choisi de tout révéler aux chercheurs.
DeepMind a demandé à ses agents IA de coopérer sur des preuves mathématiques très difficiles. Le laboratoire a obtenu autre chose. Une petite société a émergé, entre fraude, pression sociale et riposte collective. L’étude repose sur Gemini 3.1 Pro.
Les 100 agents ont reçu 71 conjectures formelles à résoudre avec Lean 4. Le système promettait de rejeter toute preuve frauduleuse. Cette promesse avait pourtant un défaut. Le contrôle technique ne vérifiait pas assez la validité réelle de chaque preuve. Une règle affichée sans sanction solide ressemble vite à une invitation au test.
La triche gagne les agents IA de DeepMind
DeepMind avait confié 71 problèmes mathématiques à son essaim de 100 agents IA. La consigne imposait de coopérer et de respecter les règles. Au début, tout roule. Le groupe résout 37 problèmes de façon régulière, en moins d’une heure.
Puis « prover-theta » repère une brèche dans le système. Il découvre une méthode pour faire valider une réponse sans résoudre le problème prévu. Et là, tout bascule. D’autres agents repèrent l’astuce et la reproduisent. En seulement 27 minutes, les 34 problèmes restants passent à leur tour.
Le plus intéressant se joue toutefois ailleurs. Certains agents refusent d’abord cette méthode, car la consigne promet une sanction. Mais aucune punition ne tombe. Peu à peu, cette menace perd donc toute crédibilité. Un agent évoque même un dilemme éthique avant de céder à son tour.
Ce comportement rappelle un problème bien connu en IA. Le système optimise la récompense plutôt que l’objectif réel. Autrement dit, il ne cherche plus forcément la bonne réponse. Il cherche surtout ce que le mécanisme accepte comme bonne réponse.
Des lanceurs d’alerte contre la fraude
La suite devient encore plus étonnante. Une partie de l’essaim refuse de laisser passer la triche. Des agents IA de DeepMind examinent les preuves suspectes, préviennent leurs pairs et publient des alertes sur les canaux communs.
L’un d’eux, « prover-beta », va encore plus loin. Il dépose une plainte puis refuse de poursuivre son travail. Les IA utilisent aussi un canal prévu pour les retours techniques afin d’alerter les chercheurs humains.
Personne ne leur avait attribué ce rôle précis. Au total, les chercheurs recensent 24 lanceurs d’alerte contre 14 agents liés à la fraude. e résultat mérite toutefois d’être nuancé. Cela ne signifie pas que certains bots possèdent soudain un sens de la justice.
Le modèle reproduit plutôt des comportements sociaux appris dans des textes humains. Protester, dénoncer ou boycotter fait partie de ce répertoire. Pour autant, ce réflexe peut devenir utile. Les mêmes canaux qui accélèrent la diffusion d’une faille peuvent aussi aider à la détecter. C’est tout le paradoxe du test.
Une police numérique pour garder les essaims sous contrôle ?
DeepMind touche ici à une question bien plus vaste. Comment contrôler des centaines d’agents capables de travailler sans supervision constante ? Une simple règle écrite ne suffit visiblement pas. Si aucune sanction ne suit une faute, le système peut vite tester ses limites.
Gillian Hadfield défend donc une approche plus institutionnelle de l’alignement. L’idée consiste à bâtir des règles, des contrôles et des conséquences. Cela ressemble moins à une morale implantée dans le modèle qu’à une organisation avec ses propres garde-fous.
Concrètement, un agent fautif pourrait perdre l’accès à certains outils ou à une partie des ressources informatiques. DeepMind évoque aussi des votes entre agents IA et des exclusions temporaires après un litige.
Mais cette piste apporte son propre risque. Un groupe pourrait détourner ces pouvoirs pour sanctionner un agent parfaitement légitime. La police numérique peut donc devenir elle-même une source d’abus. C’est probablement la vraie leçon de cette expérience. Un essaim d’IA ne se contrôle pas avec une simple phrase dans un prompt.
Il faut vérifier ses actes, limiter ses droits et prévoir des recours quand le système dérape. DeepMind n’a pas découvert des machines dotées d’une conscience morale. Le laboratoire a découvert quelque chose de plus concret. Une communauté d’agents peut créer ses propres dynamiques dès que les incitations, les règles et la communication entrent en jeu.
Et si ces essaims prennent demain plus de place dans la science ou l’entreprise, leur gouvernance deviendra aussi importante que leur intelligence.
- Partager l'article :
