Outil open source conçu pour faciliter la gestion, le versionnage et le partage de grands jeux de données scientifiques. Il permet aux chercheurs et équipes de collaborer efficacement en suivant les modifications, en automatisant les workflows et en garantissant la reproductibilité des analyses. Idéal pour les projets nécessitant une gestion rigoureuse des données et une traçabilité des versions.

Format de fichier léger et structuré conçu pour stocker et échanger des jeux de données de manière efficace. Il combine une partie textuelle pour les métadonnées et spécifications, et une partie binaire pour les données brutes, compressibles via zstd. Idéal pour les grands ensembles de données, il réduit l'espace disque tout en facilitant l'ajout d'informations contextuelles et la gestion des métadonnées.

LearnDataTable est une plateforme interactive conçue pour faciliter l'apprentissage de la manipulation de données avec le package R {data.table}. Elle propose des tutoriels pratiques et des exercices guidés pour former les utilisateurs à cette bibliothèque puissante et optimisée pour la gestion de grands jeux de données. Le projet s'inscrit dans le cadre de formations proposées par Genotoul Biostat, un service de bioinformatique et biostatistique.

Outil permettant d'écrire des jeux de données dans des formats comme CSV, Arrow ou Parquet de manière concurrente. Il facilite la gestion de fichiers volumineux en optimisant les performances grâce à des écritures parallèles. Idéal pour les applications nécessitant un traitement rapide et efficace de grandes quantités de données structurées.

Ce projet est une unité d'enseignement (UE) proposée par l'Université Lyon 1 dans le cadre du Master 2 en Technologies de l'Information et du Web. Il couvre la gestion de grandes masses de données, les systèmes de gestion de bases de données (SGBD), le MapReduce avec Spark, et les flux de données avec Storm. Les étudiants y apprennent les techniques de tuning et d'optimisation des performances des SGBD ainsi que les concepts avancés du Big Data.