Ce projet permet de déployer et gérer un cluster Apache Spark via Docker pour faciliter le traitement de données à grande échelle. Il offre une interface Jupyter pour exécuter des notebooks interactifs et des outils de monitoring pour superviser les tâches. Destiné aux chercheurs et data scientists, il automatise la configuration des nœuds maître et travailleurs, réduisant ainsi la complexité technique. Les utilisateurs peuvent soumettre des jobs de calcul distribué et analyser les résultats en temps réel.

Ce projet est une bibliothèque d'outils pour l'ETL (Extract, Transform, Load) de données à grande échelle. Il est basé sur des technologies telles qu'Apache Spark, Apache Hive, Apache Solr et PostgreSQL pour offrir des fonctionnalités de traitement, d'analyse, de recherche, d'indexation et d'intégration de données.

Ce projet académique vise à analyser et consolider des données d'observation astronomique en utilisant Apache Spark. Il permet de traiter de gros volumes de données pour calculer des statistiques sur les attributs, partitionner les données selon des critères spécifiques, et évaluer l'efficacité des configurations de partitionnement. Le travail inclut également des bonus comme la gestion des chevauchements de partitions ou l'utilisation d'intervalles de taille variable pour optimiser le stockage et l'accès aux données.

Ce projet vise à fournir un environnement d'apprentissage pratique pour les étudiants de la filière GGMD (Génie Geographique, Mobilité et Données) de l'Université Lyon 1. Il est composé de plusieurs TPs couvrant différents aspects de la conception et du déploiement de bases de données réparties, l'optimisation des performances pour le traitement de grandes quantités de données, l'analyse de données astronomiques à l'aide d'Apache Spark, et le traitement de flux de données en temps réel avec Spark Streaming et Apache STORM.

Ce projet fournit une boîte à outils en R dédiée à l'exploitation et à l'analyse des données de l'Échantillon Démographique Permanent (EDP) de la DREES. Il facilite le calcul d'indicateurs sanitaires et démographiques, la standardisation de taux, la génération de tableaux et graphiques standardisés, ainsi que la manipulation de données massives via Apache Spark. Les fonctions sont conçues pour répondre aux besoins des études publiques en santé et en statistiques sociales.

Ce projet permet d'évaluer et d'analyser les performances de stockage Ceph en réalisant des transferts de données massives. Il fournit des outils pour mesurer l'efficacité des configurations et comparer différentes méthodes de transfert, notamment via des outils comme s5cmd et Apache Spark. Les résultats obtenus aident à optimiser les infrastructures big data pour des environnements exigeants.

Le projet UimaOnSpark permet d'exécuter des pipelines UIMA sur des données textuelles à l'aide d'Apache Spark. Il est principalement utilisé pour la segmentation de sections dans des documents médicaux, ce qui facilite l'analyse et l'interprétation de ces documents.