LEBIGDATA.FR I.A, Cloud & Cybersécurité
Diablo technologies et Inspur Systems ont présenté les benchmarks de leur solution Memory1, alternative à la mémoire vive des serveurs Big Data. Les deux entreprises divisent par deux le temps d'analyse des bases de données.
Si le prix du stockage, de la mémoire morte est plus qu'abordable malgré la forte demande, ce n'est pas le cas de la mémoire vive. Les ordinateurs, les smartphones, les tablettes ont besoin de plus en plus de puissance. C'est également le cas pour les applications Big Data.
Deux entreprises, Diablo Technology et Inspur Systems on présenté aujourd'hui les bénéfices de leur solution de mémoire flash Memory1 dédiée aux workloads pour Apache Spark. En augmentant le cluster de la mémoire, ces deux partenaires ont été capables de réduire le temps de traitement de l'analyse graphique de moitié, même plus.
Les benchmarks présentés montre des gains de performance conséquents avec cette plateforme open source. Pour ce faire, le stress test a été réalisé sur l'outil Apache Spark GraphX en multipliant le besoin de ressources en mémoire vive. Diablo et Inspur avait déjà démontré les avantages de Memory1 pour améliorer les techniques de Streaming.
Memory1 : une technologie d'avenir
Les résultats sont probants. Les utilisateurs de machines équipées de ces barrettes de mémoire flash peuvent augmenter les workloads par serveur tout en réduisant d'analyse de gros sets de données par rapport à un serveur seulement équipé de mémoire vive classique. Ainsi, les utilisateurs peuvent effectuer plus de recherche Big Data avec des ressources existantes et minimiser le nombre de serveurs nécessaire avec une réduction des coûts et une économie d'énergie réaliste.
En partant d'un noeud de 5 serveurs tous basé sur une architecture (Inspur NF5180M4, deux processeurs Intel Xeon CPU E5-2683 v3, 28 cœurs chacun , 256 Go de mémoire vive, et 1 disque dur To raccordé en MNVE), les techniciens l'ont configuré pour n'utiliser que la mémoire vive présente pour gérer plusieurs sets de données. La même opération a ensuite été réalisée en remplaçant les barrettes de RAM par de la Memory1 pour un total de 2 To par serveur.
Nous vous épargnons d'amples détails techniques. En tout cas, cette opération a permis de réaliser les calculs en deux fois moins de temps pour des charges moyennes et lourdes. La génération des sets de données a été accomplie en 156 minutes contre 306 minutes. Pour l'opération la plus lourde, il a fallu compter 290 minutes. La configuration dotée de mémoire vive classique n'a pas pu finir l'opération à cause du manque de mémoire.
- Partager l'article :
