Outil open source conçu pour faciliter la gestion, le versionnage et le partage de grands jeux de données scientifiques. Il permet aux chercheurs et équipes de collaborer efficacement en suivant les modifications, en automatisant les workflows et en garantissant la reproductibilité des analyses. Idéal pour les projets nécessitant une gestion rigoureuse des données et une traçabilité des versions.

Ce projet développe des outils pour le calcul scientifique parallèle utilisant MPI, notamment pour le traitement de données via FFTW3 et la gestion de fichiers en parallèle. Il inclut des bibliothèques pour l'écriture et la lecture de grands jeux de données, ainsi que des méthodes de compression adaptées aux environnements haute performance. Les applications visent à optimiser les performances des calculs intensifs dans des contextes de recherche ou d'ingénierie.

NeoQCP est une bibliothèque moderne de traçage de graphiques 2D pour les applications Qt 6, conçue pour offrir des performances élevées et une grande interactivité. Elle permet de visualiser des données scientifiques complexes, des séries temporelles ou des cartes de chaleur avec fluidité, même pour des jeux de données volumineux. Compatible avec les environnements GPU (Metal, Vulkan, D3D, WebGL), elle s'intègre facilement dans des projets existants et propose des fonctionnalités avancées comme le rendu GPU, la gestion de données sans copie, et des outils d'analyse interactifs.

Format de fichier léger et structuré conçu pour stocker et échanger des jeux de données de manière efficace. Il combine une partie textuelle pour les métadonnées et spécifications, et une partie binaire pour les données brutes, compressibles via zstd. Idéal pour les grands ensembles de données, il réduit l'espace disque tout en facilitant l'ajout d'informations contextuelles et la gestion des métadonnées.

Outil permettant d'écrire des jeux de données dans des formats comme CSV, Arrow ou Parquet de manière concurrente. Il facilite la gestion de fichiers volumineux en optimisant les performances grâce à des écritures parallèles. Idéal pour les applications nécessitant un traitement rapide et efficace de grandes quantités de données structurées.

Ce projet vise à comparer et optimiser des frameworks de gestion de données à grande échelle comme Pig et Spark. Il permet d'analyser des jeux de données massifs (liens entre pages web, entités DBpedia) pour évaluer leur efficacité en termes de temps d'exécution et de consommation mémoire. Les résultats aident à choisir les meilleures solutions pour des traitements distribués complexes.

LearnDataTable est une plateforme interactive conçue pour faciliter l'apprentissage de la manipulation de données avec le package R {data.table}. Elle propose des tutoriels pratiques et des exercices guidés pour former les utilisateurs à cette bibliothèque puissante et optimisée pour la gestion de grands jeux de données. Le projet s'inscrit dans le cadre de formations proposées par Genotoul Biostat, un service de bioinformatique et biostatistique.

Ce projet permet d'évaluer et comparer les performances de différents frameworks (Pig et PySpark) pour calculer le PageRank sur de grands jeux de données. Il inclut la gestion de clusters cloud, l'exécution de tâches distribuées et l'analyse des résultats obtenus. L'objectif est d'optimiser le traitement de données massives en mesurant l'impact du nombre de nœuds de calcul sur les performances.

Ce projet est une unité d'enseignement (UE) proposée par l'Université Lyon 1 dans le cadre du Master 2 en Technologies de l'Information et du Web. Il couvre la gestion de grandes masses de données, les systèmes de gestion de bases de données (SGBD), le MapReduce avec Spark, et les flux de données avec Storm. Les étudiants y apprennent les techniques de tuning et d'optimisation des performances des SGBD ainsi que les concepts avancés du Big Data.