Annuaire des initiatives
Pertinence
Vous ne trouvez pas l'initiative qui correspond à votre besoin ? Notre assistant peut vous aider.
- Notoriété 13 %Ce projet permet de déployer et gérer des clusters Hadoop (avec HBase) dans des conteneurs Docker. Il facilite la création, le redimensionnement et l'utilisation de clusters pour le traitement et le stockage de données à grande échelle. Adapté pour des environnements de développement, de test ou de preuve de concept, il simplifie la configuration et l'exécution de services comme MapReduce et HBase.
- Ce projet fournit un modèle pour mener des expériences en apprentissage par renforcement. Il facilite la définition de configurations par défaut, l'exécution répétée d'expériences, le stockage et la visualisation des données expérimentales. Il permet également de déployer des expériences sur des stations de travail locales ou des clusters INRIA, avec des outils dédiés pour l'analyse des résultats via des notebooks Jupyter.
- Ce projet consiste à mettre en place un cluster Hadoop avec Spark pour exécuter des traitements de données de manière distribuée. Il permet d'installer et configurer un environnement de calcul parallèle sur trois machines Linux, d'utiliser HDFS pour le stockage distribué, YARN pour l'ordonnancement des tâches, et Spark pour exécuter du code Scala sur l'ensemble du cluster. L'objectif est de traiter des données volumineuses en parallèle sur plusieurs nœuds.
- Notoriété 59 %Onyxia est une plateforme open source développée par l'Insee et la DINUM, conçue pour offrir un environnement de travail moderne et collaboratif aux data scientists. Elle permet de déployer, configurer et gérer des services analytiques (comme Jupyter, RStudio) et des bases de données sur un cluster Kubernetes, avec une intégration native à des solutions de stockage (S3) et de gestion des secrets (Vault). La plateforme facilite l'accès aux ressources tout en garantissant une personnalisation fine des environnements.
- Ceph5K est un ensemble d'outils pour déployer des clusters Ceph sur des nœuds réservés, puis se connecter à des clients Ceph ainsi qu'à des opérations sur des clusters Ceph déployés et gérés (par exemple, création de pools, RBD, FS, et montage sur des clients). Les outils Ceph5k permettent de créer plusieurs clients Ceph, chacun avec son propre RBD monté en tant que système de fichiers, ce qui peut être utilisé dans des expériences (par exemple, expériences Big Data avec 'n' nœuds, chacun étant un client Ceph accédant aux morceaux de données dans un cluster de stockage de données).
- Système de monitoring dédié à la collecte, le stockage et l'analyse de données issues de dispositifs expérimentaux comme les cryostats et les détecteurs MMR3/MGC3. Il centralise les informations dans une base MongoDB locale et les réplique vers un cluster OpenSearch pour permettre des requêtes avancées. Un module d'apprentissage automatique (RAMSES) identifie les comportements anormaux en comparant les données actuelles avec un modèle entraîné.
- Ce projet permet de déployer et configurer des clusters Elasticsearch sur la plateforme CloudPI. Il facilite la gestion des ressources, l'intégration avec des solutions de stockage S3 pour les snapshots, et l'optimisation des paramètres du cluster. Destiné aux administrateurs système et aux équipes DevOps, il simplifie le déploiement d'une infrastructure de recherche et d'analyse de données.
- Shine est un utilitaire en ligne de commande conçu pour simplifier l'administration des systèmes de fichiers Lustre, une solution de stockage distribué haute performance. Il permet aux administrateurs de créer, configurer, formater, démarrer et monter des systèmes de fichiers Lustre de manière automatisée et centralisée. Shine facilite la gestion des clusters de stockage en offrant des commandes intuitives pour déployer et maintenir des infrastructures de stockage performantes, adaptées aux environnements HPC (High Performance Computing) et aux centres de données exigeants.
- Ceph est une solution open source de stockage distribué conçue pour gérer des volumes massifs de données de manière scalable et fiable. Elle permet de créer des infrastructures de stockage objet, de blocs ou de fichiers pour des plateformes cloud ou des environnements on-premise. Ceph offre une haute disponibilité grâce à la redondance des nœuds et des données, tout en garantissant des performances optimisées pour les applications critiques. Son architecture modulaire et ses outils intégrés facilitent la gestion centralisée et la surveillance en temps réel des clusters.
- Ce projet permet de gérer et automatiser la création, la suppression et la synchronisation de snapshots de volumes de stockage dans un environnement Kubernetes, notamment pour les clusters légers comme k3s. Il facilite la sauvegarde et la restauration des données persistantes des applications déployées, en s'intégrant aux contrôleurs de stockage et aux API CSI (Container Storage Interface).
19 initiatives
10