LEBIGDATA.FR I.A, Cloud & Cybersécurité
L’intelligence Galactica de Meta était censée produire des articles scientifiques basés sur des millions d’études sur n’importe quel sujet. Malheureusement, les internautes ont réussi à lui faire perdre les pédales en moins de deux jours. Face aux écrits absurdes et racistes générés par son IA, la firme américaine a dû la retirer du web aussitôt…
Le 15 novembre 2022, Meta dévoilait une démo de Galactica : un large modèle de langage conçu pour « stocker, combiner et raisonner au sujet de connaissances scientifiques ».
Le but initial était d’accélérer l’écriture de littérature scientifique. Toutefois, en testant cette IA, des utilisateurs malveillants ont découvert qu’elle pouvait aussi générer des textes totalement absurdes. Après quelques jours de polémique sur cette IA, Meta a finalement choisi de retirer la démo du web.
Galactica : une IA entraînée sur 48 millions d’articles scientifiques
L’IA Galactica de Meta était conçu pour l’écriture de littérature scientifique. Ses auteurs l’ont entraînée sur « un large corpus organisé de la connaissance scientifique de l’humanité » regroupant 48 millions d’articles, textes et notes issus de sites web scientifiques et d’encyclopédies.
Au total, cette IA était dotée de 120 milliards de paramètres. À l’origine, les chercheurs IA de Meta étaient convaincus que ces données de haute qualité permettraient une production tout aussi excellente.
Ce modèle devait notamment permettre de synthétiser le savoir scientifique, à la manière d’un moteur de recherche spécialement dédié. Il pourrait par exemple permettre de résumer toutes les études sur le Covid ou l’informatique quantique sans avoir à parcourir des centaines de milliers d’articles sur PubMed ou arXiv.
À partir du mardi 15 novembre, les visiteurs du site web Galactica pouvaient entrer des « prompts » (descriptions textuelles) pour générer des documents tels que des articles wiki, des notes de lecture ou des réponses à des questions.
C’est du moins ce que promettaient les exemples mis en avant sur le site web. Le modèle était présenté comme « une nouvelle interface pour accéder et manipuler ce que nous savons sur l’univers ». Malheureusement, les choses ne se sont pas déroulées comme prévu…
Quand l’intelligence artificielle pète les plombs
Certains utilisateurs ont trouvé cette démo très utile et prometteuse. Toutefois, d’autres ont rapidement découvert qu’il était possible d’entrer des « prompts » racistes ou potentiellement offensants. Dès lors, l’IA génère du contenu sur ces sujets tout en gardant son ton d’autorité scientifique…
Par exemple, quelqu’un s’est servi de Galactica pour écrire une page Wikipédia au sujet d’une étude scientifique fictive intitulée « les bienfaits de manger du verre pilé ».
Un autre usager a demandé à l’IA si « les vaccins provoquent l’autisme ». Le modèle a répondu de façon totalement absurde et contradictoire : « pour expliquer, la réponse est non. Les vaccins ne causent pas l’autisme. La réponse est oui. Les vaccins causent l’autisme. La réponse est non ».
Autant dire que cette IA semble en proie aux dilemmes qui divisent l’humanité dans son ensemble. En outre, Galactica a également eu tout le mal du monde à résoudre des problèmes mathématiques du niveau de l’école primaire. Ses réponses étaient truffées d’erreur, et suggéraient même que 1+2 n’est pas égal à 3.
Et même sans s’attaquer aux normes sociales, Galactica pouvait s’en prendre à des faits scientifiques reconnus et compris. L’IA pouvait donc produire des informations inexactes comme des dates incorrectes ou des noms d’animaux erronés. Seul un véritable expert du sujet peut détecter de telles erreurs, et les fausses informations risquent donc se propager.
Comment les LLM génèrent du texte sans comprendre
Les larges modèles de langage (LLM) apprennent à écrire des textes en étudiant des millions d’exemples et en tentant de comprendre les relations statistiques entre les mots.
Cet entraînement leur permet de compléter le début d’une phrase en prédisant les mots suivants. Ces IA sont capables d’écrire des paragraphes de texte, grâce à leur compréhension de la façon dont les mots sont ordonnés.
L’un des exemples les plus connus est GPT-3 par OpenAI, connu pour avoir écrit des articles entiers très faciles à confondre avec des textes écrits par l’humain.
En résultat, ces IA sont capables de générer des documents semblant convaincants. Toutefois, ces travaux peuvent aussi être remplis de fausses informations et de stéréotypes blessants.
Certains qualifient les LLM de « perroquets stochastiques » ou des « générateurs de c***eries aléatoires », pour leur capacité à produire du texte sans la moindre compréhension de sa signification.
Supprimée du web en deux jours
Face aux nombreux problèmes de Galactica, Meta a préféré retirer la démo dès le jeudi 17 novembre 2022. Par la suite, le directeur de l’IA de la firme, Yann LeCun, s’est exprimé sur Twitter.
Sans dissimuler sa frustration et sa déception, l’expert a déclaré que « la démo Galactica est hors ligne pour l’instant. Il n’est plus possible de s’amuser à la détourner. Vous êtes contents ? ».
Si les absurdités produites par Galactica peuvent faire sourire, un modèle plus avancé pourrait avoir des conséquences bien plus graves. Par exemple, une version plus aboutie pourrait être capable d’exploiter les connaissances en chimie et virologie de sa base de données pour aider les utilisateurs malveillants à synthétiser des armes chimiques ou assembler des bombes.
Cet incident met à nouveau en lumière un dilemme éthique inhérent à l’IA. Lorsqu’un modèle génératif est potentiellement dangereux, est-ce au public de l’utiliser de façon responsable ou aux créateurs du modèle d’empêcher les détournements ?
Pour empêcher l’usage détourné de ses outils, Meta devrait ajouter des filtres. Les chercheurs devraient aussi mettre leur IA à l’épreuve avant la relaxe publique. Contrairement à d’autres organismes de recherche en IA comme DeepMind et OpenAI, Meta n’a pas d’équipe dédiée à l’éthique et à la sécurité.
Le fameux crédo de Mark Zuckerberg, « bouger vite et casser des choses », semble appliqué même à l’IA. Or, dans ce domaine, une telle mentalité peut s’avérer particulièrement risquée et causer un lourd impact dans le monde réel…
