Le résumé automatique que fait AI Overview n’est pas tout le temps fiable. La SGE pour tous connaît des débuts compliqués.
La première page des résultats de Google propose désormais une vue d’ensemble résumant le contenu de plusieurs liens. Une nouveauté rendue possible grâce à l’intelligence artificielle. Problème, les résumés automatiques que fait AI Overview ne sont pas toujours justes. La fonctionnalité fait parfois des erreurs factuelles.
La search generative experience constitue la solution de Google pour implémenter l’IA à la recherche en ligne. Son déploiement pour le grand public se fait depuis plusieurs jours.
Rappelons que la SGE était en test pendant près d’un an via le programme Labs. Elle ne semble pas encore au point au vu de ses récentes difficultés.
Un manque de discernement qui en devient ridicule
Google dope les capacités de son moteur de recherche avec une intelligence artificielle générative pour obtenir la SGE. Il s’agit en l’occurrence ici de Gemini, sa suite phare de grands modèles de langage (LLM).
Rappelons que les LLM possèdent des capacités de traitement du langage naturel impressionnantes. Mais, il existe des subtilités linguistiques leur étant difficiles à maîtriser.
Les LLM ont des difficultés à discerner l’humour et les blagues, et Gemini ne fait pas exception. Cela impacte significativement les vues d’ensemble proposées par AI Overview. Ce dernier ne reconnaît pas l’absurdité d’une requête ou des renseignements d’une source.
Des réponses bizarres et hilarantes
À la requête « comment éviter que le fromage ne coule de la pizza », la vue d’ensemble propose, parmi les astuces, d’ajouter de la colle à la sauce. L’IA a donné cette réponse, parce qu’elle a pris comme source un commentaire qui trollait clairement sur Reddit.
Autre exemple, la requête « “courir avec des ciseaux” les bienfaits pour la santé ». AI Overview s’est, une nouvelle fois, basé sur des trolls dans un forum pour écrire un résumé sérieux.
Soulignons que le moteur de recherche sans la SGE n’aurait jamais affiché ces sources dans les premiers résultats. Ce qui pose un sérieux doute sur la fiabilité de l’intelligence artificielle.
AI Overview source mal et manque parfois de pertinence
Si ce n’est pas le manque de discernement qui pose problème, la fonctionnalité basée sur l’intelligence artificielle peut parfois se tromper. C’est notamment le cas avec la requête du nombre des esclavagistes parmi les signataires de la Déclaration d’indépendance.
La vue d’ensemble a correctement repris une page de la bibliothèque de l’université Washington de Saint-Louis. Elle donne un tiers comme réponse.
Sauf que, pour arriver à ce résultat, la fonctionnalité a ignoré des sources contradictoires. Un article du Chicago Sun-Times indique, notamment, que trois quarts des signataires étaient des esclavagistes.
Une bonne réponse, mais pas à votre requête
La fonctionnalité AI Overview arrive à être frustrante même quand elle donne une bonne réponse. Parce que la réponse n’est pas entièrement pertinente à votre requête.
Pour connaître le point le plus au sud de l’Alaska continental, le résumé affiche des informations sur la partie la plus au sud des îles Aléoutiennes. De même, poser des questions sur les animaux associés aux équipes sportives donne parfois ce type d’erreur.
Aucune raison de s’alarmer pour Google
Comme d’autres LLM, la SGE éprouve parfois des difficultés à résoudre des problèmes et des équations mathématiques de base. Ses réponses peuvent être très étonnantes.
AI Overview se trompe totalement quand il s’agit de compter le nombre de jours du 14 octobre 2024 au 12 janvier 2025. La fonctionnalité hallucine 738 523 jours.
La vue d’ensemble semble également avoir du mal avec les noms des personnalités ou personnages historiques. Elle peut faire des confusions.
Beaucoup de marge d’amélioration pour AI Overview
Google avec la SGE connaît des débuts poussifs. Le numéro un mondial de la recherche en ligne ne semble pas s’en inquiéter.
AI Overview ne se tromperait que très rarement à un porte-parole de la compagnie. « Les exemples que nous avons vus sont généralement très rares et ne sont pas représentatifs de l’expérience de la plupart des gens », explique ce représentant au site Ars Technica.
Par ailleurs, Google va « utiliser ces exemples isolés pour continuer à affiner » la SGE. Il y a ainsi des raisons d’être optimiste pour l’avenir de la recherche en ligne avec l’IA.
Ne pensez-vous pas ?
- Partager l'article :