LEBIGDATA.FR I.A, Cloud & Cybersécurité
Lors d'une étude scientifique, des chercheurs ont découvert que l'IA partage un besoin vital avec l'humain : le sommeil. Ceci serait indispensable pour permettre aux réseaux de neurones d'oublier les connaissances précédemment acquises en apprenant de nouvelles tâches…
Les réseaux de neurones peuvent surpasser l'humain sur de nombreuses tâches. Toutefois, l'IA a un point faible : elle peut soudainement oublier tout ce qu'elle a appris si on lui demande d'apprendre de nouvelles connaissances.
Cet « oubli catastrophique » est l'un des principaux défis dans le domaine du deep learning. Lorsqu'une IA apprend une nouvelle tâche, elle a tendance à oublier brutalement toutes les connaissances accumulées auparavant. En d'autres termes : l'IA écrase ses données passées avec de nouvelles informations.
En comparaison, le cerveau humain est capable de continuer à apprendre de nouvelles tâches tout au long de sa vie sans que cela n'impacte sa capacité à appliquer d'anciennes connaissances.
Il s'agit donc d'une faiblesse de l'intelligence artificielle face à l'intelligence humaine. Cependant, des scientifiques ont découvert une technique permettant d'éviter aux machines une telle amnésie…
Et ironiquement, cette technique est la même que celle utilisée par l'humain : dormir. En effet, la science a démontré que le cerveau apprend mieux quand les sessions d'apprentissage sont entrecoupées de périodes de sommeil. Ceci aide à incorporer les expériences récentes dans le bassin des souvenirs à long terme.
Selon Erik Delanois, neuroscientifique à l'Université de Californie de San Diego, « la réorganisation de la mémoire pourrait être l'une des principales raisons pour lesquelles les organismes ont besoin de passer par une étape de repos ».
Une ancienne approche erronée
Auparavant, d'autres chercheurs ont tenté de résoudre le problème de l'oubli catastrophique en laissant l'IA mimer le sommeil. Par exemple, la technique de « l'apprentissage entrelacé » (interleaved training) consiste à nourrir une machine simultanément avec de nouvelles données et d'anciennes données précédemment assimilées.
Cette approche permet au réseau de neurones d'apprendre une nouvelle tâche, tout en préservant ses connaissances passées. Il s'agissait à l'origine d'imiter la façon dont le cerveau fonctionne pendant le sommeil, en revoyant d'anciens souvenirs.
Toutefois, les scientifiques à l'origine de cette méthode pensaient que l'apprentissage entrelacé nécessitait de nourrir un réseau de neurones avec toutes les données utilisées pour apprendre les anciennes compétences. Et ce, à chaque fois qu'il fallait lui apprendre de nouveaux savoirs.
La technique nécessitait beaucoup de temps et de données. De plus, il s'avère qu'elle ne reflète pas véritablement ce que fait le cerveau pendant le sommeil. Celui-ci ne garde pas toutes les anciennes données, et n'aurait jamais le temps de les rediffuser.
Un réseau de neurones proche du cerveau humain
La nouvelle étude menée par Erik Delanois et son équipe a permis de mieux analyser les mécanismes de l'oubli catastrophique, et le rôle du sommeil pour l'éviter.
Plutôt que des réseaux de neurones ordinaires, les chercheurs ont utilisé un réseau de neurones de type « spiking neural network » plus similaire au cerveau humain.
Pour mieux comprendre, il faut revenir sur le fonctionnement des réseaux de neurones. Pour rappel, les composants appelés neurones sont nourris de données et coopèrent pour résoudre un problème comme la reconnaissance de visages.
Le réseau ajuste de nombreuses fois ses synapses, les liens entre les neurones, et vérifie s'il parvient mieux à trouver une solution au problème avec chaque configuration. Au fil du temps, il découvre quel motif de synapse est le plus performant et l'adopte par défaut. Ce processus mime l'apprentissage du cerveau humain.
Dans la plupart des réseaux de neurones, chaque neurone produit un nombre qui change continuellement parallèlement aux données reçues en guise d'entrée. Ceci s'apparente aux nombres de signaux qu'un neurone biologique peut émettre sur une période.
Le fonctionnement du spiking neural network est un peu différent. Chaque neurone ne génère de signal qu'après avoir reçu un certain volume de signaux sur une période. C'est précisément la façon dont les neurones biologiques se comportent.
Par conséquent, le spiking neural network envoie beaucoup moins de signaux et requiert donc moins de données que les réseaux de neurones classiques. Ils ont donc aussi besoin de moins de puissance de calcul et de bande passante.
Une bonne sieste entre deux leçons
Au cours de l'étude, le spiking neural network a dû apprendre à reconnaître des paires de particules verticales sur une grille. Or, il avait déjà appris à détecter les paires horizontales. Lors de la première tentative, il a subi le fameux oubli catastrophique.
Par la suite, entre deux sessions d'apprentissage, les chercheurs ont ajouté des intervalles durant lesquels les neurones impliqués dans l'apprentissage de la première tâche étaient réactivés. Ce processus se rapproche davantage de la compréhension scientifique moderne du sommeil biologique.
Selon le second co-auteur de l'étude, Pavel Sanda, neuroscientifique à l'Institut de Science Informatique de l'Académie de Sciences Tchèque « l'avantage est que nous ne stockons pas explicitement les données associées avec les premiers souvenirs pour les rejouer artificiellement pendant le sommeil afin d'éviter l'oubli ».
En effet, les chercheurs ont découvert que leur stratégie aide à empêcher l'oubli catastrophique. Le spiking neural network est devenu capable d'effectuer les deux tâches après les phases de sommeil.
Ainsi, les scientifiques suggèrent que leur stratégie a aidé à préserver les motifs des synapses associés avec les anciennes et les nouvelles tâches. Comme le souligne Delanois, « notre travail met en lumière l'intérêt de développer des solutions inspirées par la biologique ».
Ces chercheurs notent aussi que leurs découvertes ne sont pas limitées aux spiking neural networks. Ces phases simulant le sommeil pourraient aussi aider à surmonter l'oubli catastrophique sur les réseaux de neurones standards.
L'être humain est-il programmé pour se recréer ?
L'étude de ces scientifiques est présentée dans le journal PLOS Computational Biology. Ce projet met en lumière la façon dont on peut s'inspirer de la biologie et de notre propre organisme pour surmonter les obstacles vers la création d'une IA générale parfaite comparable au cerveau humain.
Toutefois, cette similitude peut aussi soulever des questions plus profondes. Pourquoi l'être humain a-t-il toujours voulu créer l'intelligence artificielle et les robots ? S'agit-il pour lui d'une façon de se recréer ?
Et si sans le savoir, nous étions nous-mêmes de simples robots créés par une civilisation avancée ? Cette découverte donne du crédit à la théorie de nombreux scientifiques dont Elon Musk, selon laquelle notre monde ne serait qu'une simulation…
- Partager l'article :
