hadoop elephant experts

Déployer Hadoop, un véritable calvaire selon les experts

La plateforme de création d'applications distribuées est censée réduire le temps d'analyse des gros sets de données. Selon les témoignages recueillis auprès d'experts par le site Datanami, il est difficile d'implanter la technologie et paradoxalement cela coûte cher.

Un outil open source trop cher ? C'est en tout cas un constat que de nombreux utilisateurs d'Hadoop semble faire après avoir travailler à déployer cette solution.

La plateforme conçue pour le notamment par les équipes de Yahoo est normalement capable de traiter et gérer le stockage d'une vaste quantité de données.

Ce qui est devenu le bébé de la fondation ne correspond pas ou plus aux standards des experts du Big Data.

L'article publié sur le magazine Web Datanami fait figurer plusieurs témoignages d'intégrateurs, de développeurs et de data scientists qui considèrent que la plateforme n'est pas adaptée aux traitements complexes de données.

est l'une des compagnies qui avaient réalisé le plus gros déploiement d'Hadoop dans son infrastructure de traitements de données, mais Bobby Johnson, un ancien membre de l'équipe technique évoque l'abandon d'Hadoop au profit d'une autre solution :

La raison de ce changement ? « Plusieurs personnes de l'équipe essayaient d'obtenir depuis longtemps des fonctionnalités pour lesquelles Hadoop n'est pas du tout adapté.« 

Hadoop trop compliqué, pas assez scalable selon les experts

Un autre problème, relevé également dans notre dossier consacré au framework, le manque de développeurs formés au modèle de programmation Map/Reduce. Un framework open source est normalement alimenté par une communauté active de développeurs, mais Hadoop n'attire plus. L'ancien développeur pour Facebook déclare auprès de Datanami :

« L'écosystème Hadoop est toujours dans les mains d'un petit nombre d'experts. Si vous avez cette connaissance et que vous appris à vous servir de ces outils, alors ce framework est très puissant. Mais les experts ne sont pas nombreux. J'ai lu plusieurs fois que nous avions besoin d'un million de data scientists supplémentaires dans le monde. Cela veut dire que nos outils ne sont pas très bons. »

Bob Muglia, CEO de l'entreprise Snowflake, qui développe et gère une nouvelle base de données SQL, affirme : le nombre de nos clients qui ont apprivoisé avec succès Hadoop est probablement en-dessous de 20, peut-être moins de 10. »

Le dirigeant explique que le framework à l'éléphant perd de l'envergure face à des solutions comme S3 ou . Selon lui, Hadoop va devenir un produit de niche parce qu'il ne correspond plus aux attentes du marché et surtout des data scientists.

L'autre question que ne semble pas se poser ces experts est simple : ne faut-il pas converger vers le smart data plutôt que le Big Data ?

En savoir plus sur Hadoop

Newsletter

Envie de ne louper aucun de nos articles ? Abonnez vous pour recevoir chaque semaine les meilleurs actualités avant tout le monde.

Cliquez pour commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *