LEBIGDATA.FR I.A, Cloud & Cybersécurité
Et si le deep learning devenait inutile au développement de l'intelligence artificielle ? Cette technique oubliée du 18e siècle pourrait le remplacer.
Jusqu'à maintenant, le deep learning ou l'apprentissage profond est présenté comme un processus essentiel au développement de l'intelligence artificielle. Il consiste à entraîner les grands modèles de langage (LLM) avec un énorme volume de données. Mais des chercheurs finlandais avancent que le deep learning pourrait devenir inutile.
Ces chercheurs font partie d'une équipe de l'université de Jyväskylä qui effectue des travaux sur les techniques de développement de l'intelligence artificielle. Ils ont publié le mois dernier, dans la revue Neurocomputing, un papier intéressant sur une ancienne méthode mathématique du 18e siècle.
Cette technique est plus simple et plus performante que l'apprentissage profond, défendent les auteurs dans leur papier. Notons que cette conclusion constitue l'aboutissement de six années de recherche.
Il faut que le deep learning devienne inutile…
Le deep learning s'apparente aux techniques d'intelligence artificielle exploitant massivement des données et des ressources informatiques. Celles-ci servent à entraîner des réseaux neuronaux pour avoir des LLM. Rappelons que ces derniers se trouvent au cœur des IA génératives comme le populaire Chat-GPT.
Mais il ne faut pas croire que l'apprentissage profond est infaillible. Le volume des données à traiter en fait une méthode complexe et souvent sujette à des erreurs. Cela impacte significativement les performances des modèles génératifs obtenus.
En effet, la complexité du deep learning se retrouve dans la structure d'un LLM. Cela peut instaurer une boîte noire sur le mécanisme du modèle IA. Dans la mesure où son fonctionnement n'est pas maîtrisé, les performances ne seront pas au rendez-vous. L'opacité du mécanisme IA peut même exposer à des risques.
Des modèles IA performants sans deep learning
L'équipe de l'université de Jyväskylä travaille ainsi depuis six ans sur l'amélioration des procédés d'apprentissage profond. Leurs travaux consistaient notamment à explorer la piste de la réduction des données. L'objectif est de trouver un moyen pratique pour alimenter les LLM sans pour autant les noyer de données.
Les auteurs de la recherche pensent avoir trouvé la solution dans les applications linéaire et non-linéaire. Il s'agit d'un concept mathématique dont le perfectionnement a eu lieu du 17e au 18e siècle. Celui-ci s'appuie principalement sur la combinaison des fonctions et des équations différentielles.
Les applications linéaire et non-linéaire permettent ainsi de générer un nouvel ordre de modèles de langage. Il en résulte des LLM avec une structure beaucoup moins complexe. Par ailleurs, son fonctionnement ne requiert pas un énorme volume de données. Cela n'a pourtant aucun impact négatif sur la performance.
Les mathématiques du 18e siècle pour moderniser l'IA…
L'importance de l'intelligence artificielle dans la technologie moderne augmente rapidement. La compréhension et la vraie maîtrise des grands modèles de langage deviennent indispensables. Les chercheurs finlandais pensent que leur nouvelle méthode peut résoudre certains problèmes en lien avec le développement de l'intelligence artificielle.
En effet, plus le développement de l'IA sera simple et transparent, il sera davantage facile d'envisager son utilisation éthique. L'accent est également mis sur la dimension écologique du nouveau procédé. Des LLM plus simples requièrent beaucoup moins de ressources informatiques et sont moins énergivores.
Néanmoins, les chercheurs craignent le scepticisme des actuels principaux acteurs de l'IA. « Le deep learning occupe une place si importante dans la recherche, le développement de l'intelligence artificielle (…) Même si la science progresse, la communauté elle-même peut se montrer réticente au changement », explique l'un des auteurs de la recherche.
Restez à la pointe de l'information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d'avance.
- Partager l'article :
Une application mathématique est une relation entre deux ensemble et plus couramment appelé fonction. Je suis assez perplexe de tomber sur un tel article où l’on nous explique que la notion de fonction mathématique va révolutionner le Deep learning. L’auteur fais preuve d’absence totale de maîtrise du sujet et c’est bien dommage car on ne saura jamais ce que cet article de chercheurs finlandais (dont vous vous gardez bien de citer le DOI) contient.
C’est un article qui a été écrit avec un LLM ?
Le Deep Learning sert à créer des LLM ??? Ce qu’il ne faut pas lire…
Il y a pourtant dans l’article un lien qui donne directement sur le papier de la recherche.
Ne croyez pas cet article, son auteur n’a pas tout compris à ce qu’il a lu dans les papiers cités. L’équipe a en fait seulement proposé un moyen d’estimer pour un réseau de neurone la dimension minimale des données à fournir (i.e le nombre de paramètres pour chaque donnée) de sorte à ne perdre aucune information, et ce en utilisant des applications linéaires légèrement corrigées par une partie non-linéaire au lieu d’utiliser un estimateur pouvant contenir plus de non-linéarité (donc plus complexe) et pas forcément 100% fiable.
À aucun moment il n’est fait mention de remplacer le deep learning, qui est d’ailleurs déjà une combinaison particulière de fonctions mathématiques, rien de plus, rien de moins.
L’article lui même sent bon le chat bot en version pre chat gpt ! Une généralité compréhensible par tout le monde et dans la foulée… des équations différentielles. Un peu d’ésotérisme mathematique et un peu d’ia…
Ou alors un junior qui a fait dy copier/coller d’articles vu ailleurs et non compris…
Pout une vraie info allez lire la publication sur le site de l’unniversité
Alors, ce n’est ABSOLUMENT PAS ce que dit l’article publié dans « Neurocomputing ».
Ils parlent des techniques de réduction de dimensions, qui est jusque là majoritairement faite avec une classe de modèles en deep learning qu’on appelle les auto-encodeurs. Ils permettent de créer des « embeddings » (des sortes de vecteurs sémantiques si vous préférez) à partir de contenu, qui peuvent ensuite être utilisés par d’autres modèles.
Ils montrent que cette réduction de dimensions peut être encore plus efficace avec des méthodes simples. Ça n’annonce en rien la fin du deep learning, ni la fin des auto-encodeurs qui permettent de tasser des données beaucoup plus complexes comme des vidéos.
À noter que la revue ici est un journal pas si populaire dans la communauté de recherche en ML, dont on préférera souvent les résultats de grosses conférences comme NeurIPS, CVPR, ICLR, ICML, ECCV / ICCV, AAAI, et je passe de nombreuses autres conférences étoilées sans pour autant qu’il ne faille négliger les autres petits papiers, parfois importants également.
Horriblement nul cet article.