LEBIGDATA.FR I.A, Cloud & Cybersécurité
Il se pourrait que l’IA Orion, le prochain grand modèle linguistique, d’OpenAI ne soit pas aussi puissant que beaucoup de gens espéraient.
Selon le rapport de Bloomberg, le modèle d’IA Orion montre peu de performances en coulisses. Il affiche d’ailleurs moins d’améliorations par rapport à son précurseur que GPT-4 par rapport à GPT-3. The information publie aussi un rapport similaire la semaine dernière, indiquant que certains chercheurs d’OpenAI estimaient que dans certains domaines comme le codage, aucune amélioration n’a été enregistrée.
Baisse de rendements, un problème qui touche de plus en plus les entreprises d’IA
Bloomberg affirme qu’OpenAI n’est pas la seule entreprise qui essaie de lutter contre la baisse de ses rendements.
Google se retrouve face à une prochaine itération de son modèle Gemini, qui ne répond pas aux attentes internes. De son côté, même si le calendrier de sortie de Claude 3.5 Opus d’Anthropic est très médiatisé, cela reste toujours incertain.
Ces nombreuses difficultés à l’échelle de l’industrie nous montrent à quel point le paradigme actuel d’amélioration des modèles d’IA à partir de « la mise à l’échelle » se retrouve face à un mur.
Cela laisse ainsi présager de difficultés économiques potentielles pour le futur si les modèles d’IA restent coûteux à développer. D’autant plus qu’ils ne font aucun progrès significatif en termes de performances vers la construction d’une AGI ou d’une intelligence artificielle générale.
« La bulle de l’AGI est en train d’éclater un peu », a déclaré à Bloomberg Margaret Mitchell, responsable scientifique de l’éthique chez la start-up d’IA Hugging Face.
« Différentes approches de formation » sont indispensables pour se rapprocher des niveaux d’intelligence et de polyvalence proches de ceux des humains, a-t-il ajouté.
Technologie d’IA, un procédé vorace
Jusqu’à aujourd’hui, la seule éthique qui a permis de réaliser des progrès en matière d’IA générative est « la mise à l’échelle ». Cette dernière a contribué à rendre les modèles d’IA générative plus puissants en les agrandissant.
Plus précisément, en ajoutant plus de puissance de traitement (des puces d’IA, à l’image de Nvidia) et en introduisant plus de données d’entraînement, dont la plupart étaient extraites du Web à moindre coût.
Néanmoins, plus ces modèles deviennent plus puissants et plus grands, plus ils deviennent plus gourmands en énergie. Et rappelons que cette dernière n’est pas bon marché, de même que les données de formations gratuites qui ne sont plus très nombreuses.
Pour alimenter de nouveau le cerveau de l’IA, les entreprises technologiques se servent des données synthétiques générées par ordinateur. Néanmoins, elles « ont encore du mal à obtenir des ensembles de données uniques et de hautes qualité sans intervention humaine, en particulier en ce qui concerne le langage », a déclaré à Bloomberg Lila Tretikov, responsable de la stratégie d’IA chez New Enterprise Associates.
Ce qui fait augmenter le coût du développement d’un modèle d’IA. Selon le PDG d’Anthropic, Dario Amodei, a déclaré qu’un modèle d’IA de pointe coûte aujourd’hui en moyenne 100 millions de dollars à construire devrait coûter 10 milliards de dollars chacun d’ici 2027.
Et vous, qu’en pensez-vous ? Ces problèmes risquent de s’aggraver ? Dites-nous votre avis dans les commentaires !
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
