LEBIGDATA.FR I.A, Cloud & Cybersécurité
Lorsque ChatGPT sera plus intelligent que le plus intelligent des humains, sera-t-il possible de le garder sous contrôle ? Ou bien cette IA sera-t-elle capable de nous mentir et de nous tromper pour servir ses propres intérêts ? Telle est la question qui fait trembler de peur OpenAI et les autres géants de l'industrie, face à la vitesse fulgurante à laquelle cette technologie se développe…
Au fil des dernières semaines, l'attention médiatique autour d'OpenAI était principalement focalisée sur la crise au sein de l'entreprise avec le renvoi temporaire du CEO Sam Altman par le conseil d'administration.
Une querelle intestine qui, selon la rumeur, serait notamment due à une découverte majeure qui nous rapprocherait de l'émergence d'une IA générale (AGI) : le Projet Q*…
Toutefois, dans le même temps, en marge de ces vives tensions, les membres de l'équipe de « Superalignement » de l'entreprise étaient focalisés sur un autre problème : comment contrôler une IA plus intelligente que l'humain ?
Rappelons que cette équipe a été formée par OpenAI en juillet 2023, sous la houlette du co-fondateur et scientifique en chef Ilya Sutskever (qui faisait d'ailleurs partie du conseil ayant tenté de renvoyer Altman).
Vers l'émergence d'une IA supérieure à l'être humain ?
Le but de cette équipe ? Développer des moyens pour contrôler, réguler et gouverner les systèmes IA « super-intelligents ». Ce terme désigne de potentielles futures IA dont le niveau d'intelligence dépasserait celui de l'humain.
Car même si les modèles actuels comme GPT-4 demeurent largement inférieurs à nous, la technologie se développe si vite qu'il ne s'agit que d'une question de temps avant que la vapeur s'inverse…
Selon Leopold Aschenbrenner, l'un des membres de l'équipe interrogés par le site américain Techcrunch, « les progrès IA ont été extraordinairement rapides récemment, et je peux vous assurer que ça ne ralentit pas ».
D'après ses prédictions, « je pense que nous atteindrons bientôt des systèmes de niveau humain, mais ça ne s'arrêtera pas là, nous fonçons tout droit vers des systèmes surhumains »…
Le plus grave problème de notre époque pour l'humanité ?
Or, personne n'a la moindre idée de la façon dont il serait possible de garder sous contrôle une telle IA. Toujours d'après Aschenbrenner, « c'est vraiment un problème pour toute l'humanité, peut-être le problème technique non résolu le plus important de notre époque ».
Afin d'y remédier, Sutskever aurait demandé à dédier 20% des puces informatiques dont dispose OpenAI à l'équipe de recherche de Superalignement.
Actuellement, cette équipe tente de construire des frameworks de gouvernance et de contrôle qui pourraient s'appliquer aux futurs systèmes IA surpuissants.
C'est une tâche complexe, car la définition de « superintelligence » n'est pas encore claire. Un vif débat fait rage pour savoir si elle existe déjà ou pas encore.
Une IA super-intelligente tenue en laisse par une IA stupide
Quoi qu'il en soit, l'approche explorée par l'équipe d'OpenAI à l'heure actuelle consiste à utiliser un modèle moins avancé comme GPT-2 pour guider un système plus sophistiqué comme GPT-4 vers une direction souhaitable et l'éloigner des pistes les plus dangereuses…
Cette technique est en fait une forme d'analogie. Le modèle faible joue le rôle des superviseurs humains, tandis que le modèle avancé représente la superintelligence IA.
De la même manière que les humains peuvent ne pas comprendre une IA surpuissante, GPT-2 ne peut pas vraiment comprendre toute la complexité et les nuances de GPT-4.
Le modèle faible est ajusté (fine-tuned) sur une tâche particulière pour générer des labels, utilisés pour communiquer les grandes lignes de cette tâche au modèle fort.
À partir de ces labels, le modèle fort peut généraliser de façon plus ou moins correcte en fonction de l'intention du faible. Et ce, même si les labels du modèle faible contiennent des erreurs et des biais.
Une solution au problème des hallucinations de l'IA ?
Cette approche pourrait même permettre de résoudre le problème des hallucinations dans le domaine de l'IA. Selon Aschenbrenner, « les hallucinations sont plutôt intéressantes, car le modèle sait en réalité si les choses qu'il dit sont factuelles ou fausses ».
Toutefois, « dans la façon dont ces modèles sont entraînés aujourd'hui, les superviseurs humains les récompensent ou les blâment selon ce qu'elles disent ».
C'est ainsi que les humains récompensent parfois les IA par inadvertance après qu'elles aient dit des choses fausses ou se soient exprimées sur des sujets qu'elles ne connaissent pas.
L'ambition de la Superalignement Team est de développer des techniques permettant d'invoquer la connaissance du modèle et de l'appliquer pour savoir si une chose est vraie ou fausse, afin de réduire les hallucinations.
Comment contrôler une IA plus intelligente que nous ? 10 millions $ à qui répond
Comme l'explique Collin Burns, autre membre de la division de Superalignement, « une grande partie de ce que nous essayons de faire est de dire à un modèle quoi faire et s'assurer qu'il le fera ».
Plusieurs questions se posent : « comment forcer un modèle à suivre les instructions, et à aider uniquement avec des choses qui sont vraies sans rien inventer » ?
Ou encore, « comment forcer un modèle à nous dire si le code qu'il a généré est sûr ou s'il s'agit d'un comportement malveillant » ? Ce sont ces défis qu'OpenAI tente de relever avant qu'il ne soit trop tard…
Afin d'y parvenir, l'entreprise souhaite s'en remettre au crowdsourcing d'idées. Un programme à 10 millions de dollars a été lancé par OpenAI pour soutenir la recherche sur l'alignement.
Une partie de cette somme est réservée aux laboratoires, aux organisations non lucratives, aux étudiants et aux chercheurs individuels. En outre, la firme prévoit d'organiser une conférence académique sur le sujet début 2025 pour partager les travaux des finalistes du concours.
Le double jeu sombre de l'ancien CEO de Google
Une partie de ce financement provient d'Eric Schmidt, ancien CEO de Google et fervent soutien de Sam Altman. Bien qu'il investisse massivement dans l'IA, il alerte sans cesse sur l'imminente apparition d'une dangereuse IA.
Toutefois, ses appels à la régulation de l'industrie pourraient être un subterfuge pour s'enrichir. Selon Protocol et Wired, il gagnerait beaucoup d'argent si le gouvernement américain adoptait ses propositions pour encadrer la recherche.
Son don pourrait donc être une manière de dissimuler ses véritables intentions. Du haut de sa fortune estimée à 24 milliards de dollars, il a également financé des projets IA beaucoup moins focalisés sur l'éthique…
Interrogé par les médias, il affirme toutefois que sa démarche est sincère : « l'IA et les autres technologies émergentes transforment notre économie et notre société, et s'assurer qu'elles soient alignées avec les valeurs humaines est essentiel ».
Reste à savoir si OpenAI mettra le fruit de ses travaux sur le superalignement à disposition de ses concurrents et de tous les développeurs d'intelligence artificielle, comme elle le promet actuellement…
- Partager l'article :
