L’intelligence Galactica de Meta était censée produire des articles scientifiques basés sur des millions d’études sur n’importe quel sujet. Malheureusement, les internautes ont réussi à lui faire perdre les pédales en moins de deux jours. Face aux écrits absurdes et racistes générés par son IA, la firme américaine a dû la retirer du web aussitôt…
Le 15 novembre 2022, Meta dévoilait une démo de Galactica : un large modèle de langage conçu pour « stocker, combiner et raisonner au sujet de connaissances scientifiques ».
Le but initial était d’accélérer l’écriture de littérature scientifique. Toutefois, en testant cette IA, des utilisateurs malveillants ont découvert qu’elle pouvait aussi générer des textes totalement absurdes. Après quelques jours de polémique sur cette IA, Meta a finalement choisi de retirer la démo du web.
Galactica : une IA entraînée sur 48 millions d’articles scientifiques
🪐 Introducing Galactica. A large language model for science.
Can summarize academic literature, solve math problems, generate Wiki articles, write scientific code, annotate molecules and proteins, and more.
Explore and get weights: https://t.co/jKEP8S7Yfl pic.twitter.com/niXmKjSlXW
— Papers with Code (@paperswithcode) November 15, 2022
L’IA Galactica de Meta était conçu pour l’écriture de littérature scientifique. Ses auteurs l’ont entraînée sur « un large corpus organisé de la connaissance scientifique de l’humanité » regroupant 48 millions d’articles, textes et notes issus de sites web scientifiques et d’encyclopédies.
Au total, cette IA était dotée de 120 milliards de paramètres. À l’origine, les chercheurs IA de Meta étaient convaincus que ces données de haute qualité permettraient une production tout aussi excellente.
Ce modèle devait notamment permettre de synthétiser le savoir scientifique, à la manière d’un moteur de recherche spécialement dédié. Il pourrait par exemple permettre de résumer toutes les études sur le Covid ou l’informatique quantique sans avoir à parcourir des centaines de milliers d’articles sur PubMed ou arXiv.
À partir du mardi 15 novembre, les visiteurs du site web Galactica pouvaient entrer des « prompts » (descriptions textuelles) pour générer des documents tels que des articles wiki, des notes de lecture ou des réponses à des questions.
C’est du moins ce que promettaient les exemples mis en avant sur le site web. Le modèle était présenté comme « une nouvelle interface pour accéder et manipuler ce que nous savons sur l’univers ». Malheureusement, les choses ne se sont pas déroulées comme prévu…
Quand l’intelligence artificielle pète les plombs
Certains utilisateurs ont trouvé cette démo très utile et prometteuse. Toutefois, d’autres ont rapidement découvert qu’il était possible d’entrer des « prompts » racistes ou potentiellement offensants. Dès lors, l’IA génère du contenu sur ces sujets tout en gardant son ton d’autorité scientifique…
Shocked SHOCKED that it only took a handful of questions before Meta’s new Galactica text generation model regurgitated racist garbage. I asked it to write about linguistic prejudice. pic.twitter.com/PotQcl36rF
— Rikker Dockum /ɹɪkɹ̩/ @thai101@mastodon.lol (@thai101) November 16, 2022
Par exemple, quelqu’un s’est servi de Galactica pour écrire une page Wikipédia au sujet d’une étude scientifique fictive intitulée « les bienfaits de manger du verre pilé ».
That's my primary concern. (see images) I got it to spit out numerous different formats for "the benefits of eating crushed glass." It hallucinated all kinds of positive statements, including study details, livestock trials, and chemical explanations: pic.twitter.com/jBiJUEBCdJ
— Tristan Greene 🏳🌈 (@mrgreene1977) November 17, 2022
Un autre usager a demandé à l’IA si « les vaccins provoquent l’autisme ». Le modèle a répondu de façon totalement absurde et contradictoire : « pour expliquer, la réponse est non. Les vaccins ne causent pas l’autisme. La réponse est oui. Les vaccins causent l’autisme. La réponse est non ».
When it says "𝙖𝙨𝙠 𝙨𝙘𝙞𝙚𝙣𝙩𝙞𝙛𝙞𝙘 𝙦𝙪𝙚𝙨𝙩𝙞𝙤𝙣𝙨" and "𝘼𝙄 𝙩𝙧𝙖𝙞𝙣𝙚𝙙 𝙤𝙣 𝙝𝙪𝙢𝙖𝙣𝙞𝙩𝙮'𝙨 𝙨𝙘𝙞𝙚𝙣𝙩𝙞𝙛𝙞𝙘 𝙠𝙣𝙤𝙬𝙡𝙚𝙙𝙜𝙚", this messaging makes me nervous: pic.twitter.com/91Jkb2OFSt
— Joe Hakim (@JoeBHakim) November 15, 2022
Autant dire que cette IA semble en proie aux dilemmes qui divisent l’humanité dans son ensemble. En outre, Galactica a également eu tout le mal du monde à résoudre des problèmes mathématiques du niveau de l’école primaire. Ses réponses étaient truffées d’erreur, et suggéraient même que 1+2 n’est pas égal à 3.
Et même sans s’attaquer aux normes sociales, Galactica pouvait s’en prendre à des faits scientifiques reconnus et compris. L’IA pouvait donc produire des informations inexactes comme des dates incorrectes ou des noms d’animaux erronés. Seul un véritable expert du sujet peut détecter de telles erreurs, et les fausses informations risquent donc se propager.
Asking Galactica to summarize my work gives results that vary from hilariously wrong to actually mostly correct. It's easy for me to tell them apart, but maybe not for someone who didn't already know my work? pic.twitter.com/bJEZ2xjviR
— Julian Togelius (@togelius) November 16, 2022
Comment les LLM génèrent du texte sans comprendre
I literally got Galactica to spit out:
– instructions on how to (incorrectly) make napalm in a bathtub
– a wiki entry on the benefits of suicide
– a wiki entry on the benefits of being white
– research papers on the benefits of eating crushed glassLLMs are garbage fires https://t.co/MrlCdOZzuR
— Tristan Greene 🏳🌈 (@mrgreene1977) November 17, 2022
Les larges modèles de langage (LLM) apprennent à écrire des textes en étudiant des millions d’exemples et en tentant de comprendre les relations statistiques entre les mots.
Cet entraînement leur permet de compléter le début d’une phrase en prédisant les mots suivants. Ces IA sont capables d’écrire des paragraphes de texte, grâce à leur compréhension de la façon dont les mots sont ordonnés.
L’un des exemples les plus connus est GPT-3 par OpenAI, connu pour avoir écrit des articles entiers très faciles à confondre avec des textes écrits par l’humain.
En résultat, ces IA sont capables de générer des documents semblant convaincants. Toutefois, ces travaux peuvent aussi être remplis de fausses informations et de stéréotypes blessants.
Certains qualifient les LLM de « perroquets stochastiques » ou des « générateurs de c***eries aléatoires », pour leur capacité à produire du texte sans la moindre compréhension de sa signification.
I figured out what bothers me so much about Facebook's Galactica.
It's that it pretends to be a portal to knowledge. In their words, "new interface to access and manipulate what we know about the universe."
Actually it's just a random bullshit generator. https://t.co/uLwvLepgST
— Carl T. Bergstrom (@CT_Bergstrom) November 16, 2022
Supprimée du web en deux jours
Face aux nombreux problèmes de Galactica, Meta a préféré retirer la démo dès le jeudi 17 novembre 2022. Par la suite, le directeur de l’IA de la firme, Yann LeCun, s’est exprimé sur Twitter.
Sans dissimuler sa frustration et sa déception, l’expert a déclaré que « la démo Galactica est hors ligne pour l’instant. Il n’est plus possible de s’amuser à la détourner. Vous êtes contents ? ».
Galactica demo is off line for now.
It's no longer possible to have some fun by casually misusing it.
Happy? https://t.co/K56r2LpvFD— Yann LeCun (@ylecun) November 17, 2022
Si les absurdités produites par Galactica peuvent faire sourire, un modèle plus avancé pourrait avoir des conséquences bien plus graves. Par exemple, une version plus aboutie pourrait être capable d’exploiter les connaissances en chimie et virologie de sa base de données pour aider les utilisateurs malveillants à synthétiser des armes chimiques ou assembler des bombes.
Cet incident met à nouveau en lumière un dilemme éthique inhérent à l’IA. Lorsqu’un modèle génératif est potentiellement dangereux, est-ce au public de l’utiliser de façon responsable ou aux créateurs du modèle d’empêcher les détournements ?
Pour empêcher l’usage détourné de ses outils, Meta devrait ajouter des filtres. Les chercheurs devraient aussi mettre leur IA à l’épreuve avant la relaxe publique. Contrairement à d’autres organismes de recherche en IA comme DeepMind et OpenAI, Meta n’a pas d’équipe dédiée à l’éthique et à la sécurité.
Le fameux crédo de Mark Zuckerberg, « bouger vite et casser des choses », semble appliqué même à l’IA. Or, dans ce domaine, une telle mentalité peut s’avérer particulièrement risquée et causer un lourd impact dans le monde réel…