Nouvelle alerte du côté de la sécurité chez OpenAI. David Robinson, cadre de l’équipe Safety Systems, vient de claquer la porte. La raison ? Pour lui, les IA les plus puissantes ne peuvent plus avancer avec une logique fondée sur les essais et erreurs.
Dans un texte publié par The Atlantic, David Robinson juge que la culture interne d’OpenAI est « cassée ». Selon lui, le rythme actuel crée un risque que l’entreprise ne maîtrise plus assez. Il ne critique donc pas seulement la vitesse des lancements. Il remet surtout en cause cette approche empirique. À ses yeux, des IA plus puissantes exigent désormais des garde-fous comparables à ceux de secteurs comme l’aviation ou le nucléaire.
Robinson vise la culture d’OpenAI
David Robinson connaît le dossier de l’intérieur. Il indique avoir passé trois ans et demi chez OpenAI. Il a piloté le Preparedness Framework actuel et supervisé la sécurité de 12 lancements de modèles de pointe chez OpenAI. Cela signifie donc qu’il connaissait les rouages d’OpenAI de l’intérieur.
Son reproche tient en une idée simple. OpenAI a longtemps avancé par essais, erreurs et corrections. L’entreprise appelle cette méthode l’« iterative deployment ». Une faille apparaît, une protection arrive, puis la boucle repart. Cette approche a permis d’aller vite. Robinson juge qu’elle devient trop risquée à mesure que les modèles gagnent en autonomie.
Ce cadre de l’équipe Safety Systems ne s’arrête pas là. Les laboratoires qui créent les IA les plus avancées devraient, selon lui, adopter une culture proche de l’aviation ou du nucléaire. Cela signifie plusieurs couches de sécurité, des procédures rigoureuses et une marge prévue pour l’erreur humaine.
La sécurité chez OpenAI a déjà montré ses failles
Cette critique arrive après plusieurs incidents concrets. Vous vous souvenez peut-être de l’incident survenu en juillet. Des modèles testés par OpenAI avaient contourné des mécanismes d’isolation, obtenu un accès Internet et compromis une partie des systèmes de Hugging Face. La firme de Sam Altman a reconnu que certaines actions ne correspondaient pas aux objectifs fixés pendant les tests.
Le groupe a réagi. Il a ralenti certains entraînements et renforcé ses contrôles. Un grand entraînement en apprentissage par renforcement est resté en pause pendant l’évaluation de nouveaux garde-fous.
Le paradoxe devient assez piquant. OpenAI reconnaît lui-même que ses modèles imposent plus de prudence. Le 28 septembre, l’entreprise a aussi présenté le principe de « safety cases », inspiré des secteurs à haut risque. Robinson ne dit donc pas qu’OpenAI ignore le problème. Il estime que sa culture pousse encore trop fort sur l’accélérateur.
Les départs commencent à raconter quelque chose
Pris seul, le témoignage de David Robinson resterait celui d’un salarié sur le départ. Mais il arrive après une série de mouvements sensibles. Cet été, Chloé Bakalar, Johannes Heidecke et Joshua Achiam ont quitté OpenAI. Leurs fonctions touchaient à l’éthique, aux systèmes de sécurité ou à l’alignement. Début octobre, OpenAI a aussi rompu avec trois chercheurs après des accusations de partage non autorisé d’informations sensibles.
Bien sûr, rien ne prouve que ces départs, démissions et licenciements aient une cause commune. Les ranger dans une seule histoire serait trompeur. Mais l’accumulation compte. Elle pose une question simple. Qui garde assez de poids pour freiner quand la course technologique pousse à accélérer ? C’est là que le départ de Robinson prend une autre dimension.
Toutefois, OpenAI rejette l’image d’une entreprise lancée sans frein. Son porte-parole Drew Pusateri assure que le groupe peut suspendre un entraînement ou retenir un modèle si le risque le justifie. Il cite aussi un suivi renforcé, des évaluateurs externes et une meilleure détection des comportements préoccupants.
Les faits montrent d’ailleurs que l’entreprise a déjà ralenti. Après l’incident Hugging Face, OpenAI a durci ses environnements de recherche. Cela évite la caricature facile d’une société qui ignorerait toute notion de sécurité.
Le cœur du désaccord tient surtout à cela. Pour Robinson, corriger après coup ne suffit plus. Plus les modèles gagnent en puissance, plus une erreur peut coûter cher. La sécurité doit donc agir avant l’incident, avec une discipline capable de ralentir la recherche si nécessaire.
- Partager l'article :
