LEBIGDATA.FR I.A, Cloud & Cybersécurité
Netflix open source sa solution Polynote, conçue en interne pour faciliter les workflows de Data Science et de Machine Learning. Cet outil permet de remédier aux principaux problèmes des outils notebook.
Comme dans toutes les entreprises data-driven, les employés de Netflix ont dû se heurter aux difficultés inhérentes au Machine Learning et à la Data Science. L'un des obstacles rencontrés par les chercheurs de la firme est lié aux faiblesses des outils de notebook, en particulier concernant leur prise en charge de Scala.
Si vous n'êtes pas familiers avec ce terme, une exécution de notebook est un enregistrement d'une pièce de code spécifique exécutée à un instant spécifique dans un environnement particulier. Il s'agit d'une collection de cellules organisée, chacune pouvant contenir du texte ou du code et être modifiée et exécutée indépendamment. Les cellules peuvent être réarrangées, insérées ou supprimées et dépendent généralement du résultat des autres cellules du notebook.
Afin de surmonter les faiblesses liées à ces outils, l'équipe en charge de l'infrastructure de personnalisation de Netflix a développé sa propre solution : Polynote. Cette plateforme se présente comme un environnement de notebook multi-langage intégré avec Apache Spark et offrant une compatibilité Scala, Python et SQL.
Elle est conçue pour permettre aux Data Scientists et aux chercheurs en IA d'intégrer le framework de Machine Learning basé JVM de Netflix avec les bibliothèques de Machine Learning et de visualisation de Python.
Netflix Polynote : une solution pour remédier aux principaux problèmes des outils notebook
Parmi ses principaux points forts, on peut citer une fonctionnalité de reproductibilité permettant de prendre en compte la position des cellules dans le notebook avant de les exécuter. On retrouve aussi des fonctionnalités telles qu'un éditeur de texte riche et la prise en charge du système LaTeX.
Il s'agit par ailleurs d'un système polyglote, permettant d'écrire chaque cellule du notebook dans un langage différent tout en partageant les variables entre eux. Les paramètres de configuration et dépendance sont en outre sauvegardés directement au sein du notebook, tout en permettant l'exploration de données avec la bibliothèque Python Matplotlib et Vega.
Déjà largement adopté par les équipes de personnalisation et de recommandation de Netflix, Polynote est désormais proposé en open-source par Netflix afin de permettre aux entreprises confrontées aux problématiques similaires de les surmonter. La solution est disponible au téléchargement dès à présent sur Polynote.org et GitHub.
- Partager l'article :
