Ce projet fournit des outils pour empaqueter le client ARC6 de NorduGrid sous forme de conteneur Apptainer, facilitant ainsi son déploiement et son utilisation. Il inclut un wrapper pour exécuter les commandes en ligne de l'ARC6 depuis une image conteneurisée. Destiné aux centres de calcul comme le CC-IN2P3, il simplifie la gestion des jobs sur grille et l'exécution de tâches de calcul distribué.

MiniClust Worker permet de déployer des nœuds de calcul dédiés à l'exécution de tâches de clustering et de simulations distribuées. Il s'intègre à une infrastructure existante pour renforcer les capacités de traitement de données massives, notamment dans des contextes de recherche ou d'analyse scientifique. Le projet facilite l'ajout de ressources de calcul sans nécessiter de configuration complexe.

Outil dédié à l'exécution distribuée de tâches pour des workflows scientifiques ou techniques. Il permet d'orchestrer des calculs complexes en répartissant la charge sur plusieurs nœuds, optimisant ainsi les performances et la scalabilité des traitements. Idéal pour les projets nécessitant une gestion avancée des ressources et des dépendances entre tâches.

MiniClust est un système léger de calcul batch multi-utilisateurs permettant de distribuer l'exécution de commandes bash sur un ensemble de machines. Il coordonne des travailleurs via un serveur Minio central qui stocke les tâches à exécuter. Les travailleurs, simples à déployer, peuvent rejoindre ou quitter le système à tout moment, assurant une gestion flexible et scalable des ressources de calcul.

Ce projet permet de déployer et gérer un cluster Apache Spark via Docker pour faciliter le traitement de données à grande échelle. Il offre une interface Jupyter pour exécuter des notebooks interactifs et des outils de monitoring pour superviser les tâches. Destiné aux chercheurs et data scientists, il automatise la configuration des nœuds maître et travailleurs, réduisant ainsi la complexité technique. Les utilisateurs peuvent soumettre des jobs de calcul distribué et analyser les résultats en temps réel.

Ce projet vise à concevoir et optimiser un écosystème logiciel pour la gestion et l'exécution de workflows scientifiques, notamment dans le domaine de la recherche. Il permet de modéliser des tâches complexes, de les organiser en graphes dirigés, et de les exécuter de manière distribuée ou séquentielle. L'objectif est d'améliorer l'efficacité des processus expérimentaux en automatisant les enchaînements de calculs et en facilitant leur suivi.

Ce projet permet de mettre en place un environnement de calcul distribué pour traiter de grandes quantités de données. Il utilise Apache Hadoop pour le stockage distribué et Apache Spark pour l'exécution de programmes en Scala. Le système est conçu pour répartir les tâches sur plusieurs machines (un maître et deux esclaves) afin d'optimiser les performances et la scalabilité. Les données sont stockées dans HDFS et les calculs sont exécutés en parallèle sur les nœuds du cluster.

Ce projet facilite l'exécution de tâches parallèles utilisant le standard MPI (Message Passing Interface) sur un cluster Kubernetes. Il permet aux utilisateurs de déployer et gérer des jobs de calcul intensif de manière simplifiée, en tirant parti de l'orchestration Kubernetes pour une meilleure scalabilité et fiabilité. Idéal pour les applications scientifiques ou industrielles nécessitant des calculs distribués.

Ce projet permet d'évaluer et comparer les performances de différents frameworks (Pig et PySpark) pour calculer le PageRank sur de grands jeux de données. Il inclut la gestion de clusters cloud, l'exécution de tâches distribuées et l'analyse des résultats obtenus. L'objectif est d'optimiser le traitement de données massives en mesurant l'impact du nombre de nœuds de calcul sur les performances.

Ce projet fournit des exemples d'applications utilisant DynRM pour simuler et tester des tâches de calcul haute performance (HPC) dans des environnements distribués. Il permet de valider des configurations de topologies réseau et d'exécuter des cas de charge variés pour évaluer les performances des systèmes HPC.