Une étude récente, entrant dans le cadre d’un Test de Turing, révèle que la plupart des gens confondent GPT-4 et un humain. Ce modèle d’Intelligence Artificielle d’OpenAI a été vu comme un humain dans 54 % des cas. Ce chiffre se révèle être la première preuve expérimentale cohérente qu’un système artificiel parvient à ce type de test à deux joueurs.
Le test de Turing, connu autrefois sous le nom de « jeu d’imitation », développé par Alan Turing en 1950 est un test qui consiste à mesurer la faculté d’une machine à montrer un comportement équivalent ou imperceptible de celui d’un humain. Le principe du test est simple. Un évaluateur humain doit juger une conversation en langage naturel entre une machine et un humain. Sachons que l’évaluateur est informé que l’un des deux participants est une machine, sans savoir lequel. Il doit parvenir à distinguer la machine de l’humain au bout de 5 minutes de conversations. S’il ne parvient pas à discerner la machine, on peut dire que la machine a réussi le test.
Un Test de Turing assez révélateur sur GPT-4
L’étude réalisée par les chercheurs en sciences cognitives de l’Université de Californie à San Diego démontre que la majorité du temps, les gens confondaient l’écriture de Chat GPT-4 avec celle d’un homme. Plus précisément, ce LLM (grand modèle de langage) a passé le test de Turing avec brio.
L’objet de la recherche était simple. Les chercheurs ont sollicité à 500 personnes de discuter pendant 5 minutes avec un chatbot bâti sur GPT-4 et un humain. Ensuite, ils demandent aux sujets avec qui ils ont conversé, avec une IA ou une personne.
Les scientifiques de San Diego rapportent un résultat assez impressionnant dans un article qui n’a pas encore été estimé par des pairs : 54 % des participants s’imaginaient parler à des humains, alors qu’ils ont eu une conversation avec le chatbot d’OpenAI.
Chat GPT-4, meilleur qu’ELIZA et GPT-3
À l’initial, le Test de Turing avait trois participants : un interrogateur humain, un observateur humain et un témoin d’une humanité ou une machine indéterminée. Pour leur recherche, ces scientifiques ont amélioré le concept à trois joueurs en évinçant l’observateur humain pour faciliter la configuration.
Ensuite, ils ont organisé la conversation entre les 500 participants avec l’un de ces quatre types d’observateurs :
- une autre personne ;
- GPT-4 ;
- GPT-3,5
- Le chatbot rudimentaire ELIZA conçu en 1960.
Les chercheurs ont soutenu l’hypothèse que les participants pourront généralement discerner la majorité du temps s’ils discutent avec un humain ou ELIZA. Toutefois, la chance était de 50/50 quand il s’agissait de GPT-4.
Une étude qui doit être encore confirmée
Aujourd’hui, cette étude est toujours en cours d’examen. Néanmoins, le document a déjà été divulgué dans le secteur de la technologie. D’autant plus que les proclamations du cofondateur d’Ethereum, Vitalik Buterin le confirme.
D’ailleurs, il a partagé son avis sur la recherche de l’UC San Diego sur le réseau social Farcaster : le Test de turing « compte comme un passage du GPT-4. »
Certes, certains scientifiques attestent que les modèles GPT ont passé le test de Turing avec succès. Cependant, il est essentiel d’avoir l’approbation de Buterin pour cette étude. D’ailleurs, rappelons qu’il faudra toujours réaliser l’évaluation de l’article par des pairs avant d’attendre une déclaration plus officielle.
- Partager l'article :