Le projet Pyspark Playground est un environnement de développement et d'apprentissage dédié à l'utilisation de PySpark, un framework open-source pour le traitement et l'analyse de données à grande échelle. Il permet de créer des workflows de données distribués et de faciliter l'intégration de données entre différentes sources.

Ce projet permet de déployer et gérer un cluster Apache Spark via Docker pour faciliter le traitement de données à grande échelle. Il offre une interface Jupyter pour exécuter des notebooks interactifs et des outils de monitoring pour superviser les tâches. Destiné aux chercheurs et data scientists, il automatise la configuration des nœuds maître et travailleurs, réduisant ainsi la complexité technique. Les utilisateurs peuvent soumettre des jobs de calcul distribué et analyser les résultats en temps réel.

Apache Kafka est une plateforme distribuée de streaming de données conçue pour gérer des flux de données en temps réel à grande échelle. Elle permet de publier, souscrire, stocker et traiter des flux de données de manière fiable et scalable, facilitant ainsi l'intégration entre systèmes, applications et services. Utilisée pour la collecte de logs, le suivi d'événements ou la synchronisation de données entre services, elle assure une haute disponibilité et une faible latence.

Ce projet vise à comparer et optimiser des frameworks de gestion de données à grande échelle comme Pig et Spark. Il permet d'analyser des jeux de données massifs (liens entre pages web, entités DBpedia) pour évaluer leur efficacité en termes de temps d'exécution et de consommation mémoire. Les résultats aident à choisir les meilleures solutions pour des traitements distribués complexes.