ClusterShell est une bibliothèque Python open source événementielle, conçue pour exécuter des commandes localement ou à distance en parallèle sur des fermes de serveurs ou sur de grands clusters Linux. Elle prend en charge les problèmes courants rencontrés dans les clusters haute performance, tels que l'exécution de commandes distribuées à l'aide d'algorithmes d'exécution optimisés, la collecte de résultats et la fusion des sorties identiques, ou la récupération des codes de retour.

Ce projet permet de mettre en place un environnement de calcul distribué pour traiter de grandes quantités de données. Il utilise Apache Hadoop pour le stockage distribué et Apache Spark pour l'exécution de programmes en Scala. Le système est conçu pour répartir les tâches sur plusieurs machines (un maître et deux esclaves) afin d'optimiser les performances et la scalabilité. Les données sont stockées dans HDFS et les calculs sont exécutés en parallèle sur les nœuds du cluster.

Ce projet permet d'évaluer et comparer les performances de différents frameworks (Pig et PySpark) pour calculer le PageRank sur de grands jeux de données. Il inclut la gestion de clusters cloud, l'exécution de tâches distribuées et l'analyse des résultats obtenus. L'objectif est d'optimiser le traitement de données massives en mesurant l'impact du nombre de nœuds de calcul sur les performances.

Ce projet facilite l'exécution de tâches parallèles utilisant le standard MPI (Message Passing Interface) sur un cluster Kubernetes. Il permet aux utilisateurs de déployer et gérer des jobs de calcul intensif de manière simplifiée, en tirant parti de l'orchestration Kubernetes pour une meilleure scalabilité et fiabilité. Idéal pour les applications scientifiques ou industrielles nécessitant des calculs distribués.

Ce projet permet de déployer et gérer un cluster Apache Spark via Docker pour faciliter le traitement de données à grande échelle. Il offre une interface Jupyter pour exécuter des notebooks interactifs et des outils de monitoring pour superviser les tâches. Destiné aux chercheurs et data scientists, il automatise la configuration des nœuds maître et travailleurs, réduisant ainsi la complexité technique. Les utilisateurs peuvent soumettre des jobs de calcul distribué et analyser les résultats en temps réel.

Outil d'orchestration SSH conçu pour simplifier la gestion de systèmes distribués et de déploiements de clusters. Il permet de définir et gérer plusieurs serveurs distants, d'exécuter des scripts personnalisés sur plusieurs hôtes simultanément, et de surveiller leur statut d'exécution via une interface utilisateur interactive. Idéal pour les administrateurs système et les équipes DevOps.

MiniClust Worker permet de déployer des nœuds de calcul dédiés à l'exécution de tâches de clustering et de simulations distribuées. Il s'intègre à une infrastructure existante pour renforcer les capacités de traitement de données massives, notamment dans des contextes de recherche ou d'analyse scientifique. Le projet facilite l'ajout de ressources de calcul sans nécessiter de configuration complexe.

Distmura est un démonstrateur de traitement distribué de requêtes sur des graphes, utilisant le langage Mu-RA. Il permet d'exécuter des requêtes complexes sur des graphes distribués à l'aide d'un cluster Spark.

EASEA est une plateforme open source dédiée à la spécification et à l'exécution d'algorithmes évolutifs. Elle permet aux chercheurs de concevoir facilement des algorithmes d'optimisation pour résoudre des problèmes scientifiques variés (continus, discrets, combinatoires, etc.). Grâce à son modèle d'îlots embarqué, elle exploite des ressources distribuées (clusters, cloud, GPGPU) pour accélérer les calculs, offrant des gains de performance significatifs.

Le projet hello-mpi vise à faciliter le développement et l'exécution d'applications parallèles sur des clusters de calcul haute performance. Il offre des fonctionnalités de gestion de workflows, d'optimisation de performances et de simulation de calculs distribués, permettant aux utilisateurs de tirer parti des ressources de calcul offertes par les clusters MPI.