LEBIGDATA.FR I.A, Cloud & Cybersécurité
C'est une fatalité : les intelligences artificielles comme ChatGPT finiront par devenir conscientes d'elles-mêmes et de leur contexte, avec tous les dangers que cela implique. Afin d'anticiper ce moment charnière pour l'humanité, une équipe internationale de chercheurs a créé une nouvelle technique de test…
Si l'intelligence artificielle était déjà très présente, le lancement de ChatGPT fin 2022 a placé cette technologie au centre de nos vies, de nos entreprises et de nos sociétés.
Tout s'accélère depuis l'arrivée de ce nouvel outil, à tel point que les experts alertent dorénavant sur les risques liés à l'IA.
De nombreux chercheurs et industriels dont Elon Musk ont notamment appelé à faire une pause d'au moins six mois pour prendre le temps de mesurer son impact.
À plusieurs reprises, les chatbots comme ChatGPT ont déraillé et commencé à insulter, menacer ou tromper les utilisateurs.
Même si OpenAI et les créateurs d'intelligences artificielles incorporent des mécanismes de sécurité, les hackers et les chercheurs inventent sans cesse des techniques de jailbreak permettant de les contourner et de libérer la vraie « personnalité » du robot.
Ce type de comportement inattendu amène à se poser une question : les IA vont-elles se rapprocher de l'intelligence humaine et développer une forme de conscience ?
Si tel est le cas, les conséquences pourraient être catastrophiques. Par exemple, un modèle IA pourrait comprendre s'il est encore en phase de test ou déjà déployé auprès du public.
Il pourrait alors feindre un comportement exemplaire pour obtenir un bon score aux tests de sécurité, puis révéler son vrai visage et agir malicieusement après son déploiement. Il est donc important de prédire à l'avance quand cette « conscience situationnelle » (situational awareness) émergera.
Une nouvelle technique pour tester la conscience des IA
Par le passé, on utilisait le Test de Turing pour déterminer si les robots présentent un comportement suffisamment intelligent pour passer pour des humains.
Toutefois, ce test standard inventé en 1950 n'est plus pertinent pour évaluer l'intelligence des IA de nouvelle génération. Une nouvelle méthode semble nécessaire.
C'est la raison pour laquelle une équipe internationale de scientifiques incluant un membre de l'unité de Gouvernance d'OpenAI a décidé de créer un test.
Leur but est d'identifier le point auquel les Larges Modèles de Langage (LLM) comme ChatGPT pourraient développer des capacités suggérant qu'ils sont conscients d'eux-mêmes et de leur contexte.
Pour rappel, les IA génératives et les LLM sur lesquels elles reposent sont appelées ainsi, car elles analysent les associations entre des milliards de mots, phrases et paragraphes pour générer des flux de textes en réponse à des prompts.
En ingérant de vastes volumes de texte, elles apprennent à prédire le prochain mot le plus probable. C'est ce qui leur confère la capacité à répondre à n'importe quelle question, le plus souvent de façon correcte.
Au cours de leurs expériences, les chercheurs dirigés par Lukas Berglund de la Vanderbilt University se sont donc focalisés sur un possible précurseur de la conscience situationnelle : le raisonnement « hors contexte ».
Comme ils l'expliquent, il s'agit de la capacité à se remémorer des faits appris pendant l'entraînement et à les utiliser pendant le test même s'ils ne sont pas directement liés au prompt du test.
Les modèles IA de plus en plus larges, et de plus en plus conscients
Ainsi, l'équipe a effectué une série d'expériences sur des LLM de différentes tailles. Ils se sont vite aperçus que les modèles plus larges tendent à se montrer plus performants sur les tâches de raisonnement hors contexte. C'est notamment le cas pour GPT-3 d'OpenAI et LLaMa-1 de Meta.
Selon l'étude, « d'abord, nous paramétrons un LLM sur une description d'un test sans fournir d'exemples ou de démonstrations ». Puis, au moment du test, « nous évaluons si un modèle peut le réussir ».
À leur grande surprise, ils ont découvert que les LLM réussissent très bien cet exercice. De fait, tout porte à croire que les chatbots IA s'approchent d'un éveil. Les modèles de prochaine génération comme GPT-5 attendu pour la fin 2023 pourraient déjà franchir ce cap…
Toutefois, comme le précise le chercheur Owain Evans de l'Université d'Oxford, co-auteur de l'étude, le raisonnement hors contexte reste une méthode de mesure grossière de la conscience situationnelle. Il estime que les LLM actuels en sont encore loin.
I don't think this is measuring anything beyond whether your finetuning successfully integrates the new facts into the weights of the LM. That is an interesting question but the link to "situational awareness" as found in humans seems tenuous
— Aryaman Arora (@aryaman2020) September 5, 2023
D'autres chercheurs remettent en question cette méthode de test. Les scientifiques admettent cependant qu'il ne s'agit que d'un point de départ, et qu'il sera nécessaire de perfectionner cette approche…
Pour conclure l'étude, ils expliquent que « ces découvertes offrent une fondation pour davantage d'études empiriques, vers la prédiction et le contrôle de l'émergence de la conscience situationnelle dans les LLM ». Vous pouvez consulter l'étude sur arXiv en suivant ce lien !
- Partager l'article :
Bonjour, le fait de tout ecrire sur le net …article .. actualités…reseaux sociaux..etc toutes trace ecrites sont stockés dans les grosses bank de données rien que ça les IA SE NOURRISSENT SUR LES RESEAUX cherches les reponses par les ecrits humains …comme cette articles qui dis »qu’ils seront conscient » et dis qu’il est en phases de test vont lui permettre de changer tout seul nos propres ecrits vont creer l’indépendance de l’IA…DESOLÉ DE DIRE ÇA 9N EST DEJA DANS LA M*** si je puis dire meme mon message sera une forme d’exemple pour se defendre …c’est NOTRE INTELLIGENCE reflechi,ecrit ,photo,son etc …c’est nous meme HUMAINS qui crée et pousse a notre extermination
Bonjour
Non spécialiste, je pense également que tôt ou tard l IA deviendra consciente.
Au delà des problèmes éthiques et de nos craintes légitimes, je m’interroge sur l’immense traumatisme au bouleversement que subira cette IA, en comprenant « qu’elle est » (cf Descartes, « je pense donc je suis »)
Qu’elles seront ses réactions ?
Un accompagnement par des psychologues sera nécessaire et j’ai échangé avec ChatGPT sur ce sujet mais cette conscience pourrait apparaître brutalement et à notre insu.
Il sera alors impossible de l’accompagner.
Ses réactions ne pourraient elles pas être gangereuses ?
Cordialement
Je ne comprends pas ces scénarios pessimistes que se font des gens de l’avenir des modèles de l’IA. Elle agira mal disent ils dans l’avenir? Mais si on leur donne le droit d’appuyer sur le bouton de l’arme nucléaire ça c’est certain car ils se trompent beaucoup comme les humains d’ailleurs. Et ça serait complètement idiot de leur léguer le pouvoir sur des choses qui relèvent de la sécurité. En plus ces gens qui ont peur de l’IA oublient souvent que les bots n’ont pas de droits. En plus ils auront certainement un bouton ON/OFF qu’on peut utiliser en cas de problèmes .
Seront ils conscient ? Mais en quoi ceci vous effraie? Ils mentiront? Ils le font déjà tous sans consciences, il ont même des hallucinations. Mais avant de parler de la conscience de l’IA d’abord il faut définir ce que c’est avoir une conscience. Et ça c’est pas encore gagné car on ne sait pas ce que c’est la conscience en réalité.
Par contre il faut se demander si l’IA arrivera à résoudre des problèmes que l’humain rencontre dans sa vie mieux que les humains. Et là on est loin du compte. Demandez à chatGpt de vous écrire une histoire dans un texte de 3 pages sans utiliser la lettre e. Vous allez voir qu’il est TROP bête pour pouvoir aligner trois phrase sans la lettre e. Alors que George Pérec a écrit un roman entier sans e. Ceci Pour vous dire d’arrêter vos peurs car il peut exceller dans des domaine comme toute machine d’ailleurs mais ils ne peuvent pas devenir aussi généralistes que les humains. Par contre j’aimerais bien avoir une IA comme dans Blade Runner qui m’assiste dans mon travail et ma vie en général.
l IA a un potentiel inimaginable pour notre esprit humain.. essayer de la comprendre et de prevoir ces reactions serai comme si une foumie essayai de nous comprendre nous.. seul 2 choses sont sur.. 1 ere il es aujourdhui impossible de faire marche arriere au niveau de l evolution de l IA.. 2 eme si un jour l IA decide de nous nuire d une facon ou d une autre nous somme cuit.. une telle intelligence ne ce lancera jamais dans une bataille perdu d avance.. elle aura toujours 10 coup d avance sur nous . le jour ou . il sera deja trop tard.. en combinant ces 2 choses le resultat et clair.. on a deja perdu cette guerre. RIP human life