Ce projet gère l'ingestion et la transformation de données de santé dans le cloud Azure, en utilisant des workflows automatisés pour gérer et traiter les fichiers.

Ce projet automatise l'ingestion et la gestion des données pour le projet CTA (Cherenkov Telescope Array), un observatoire astronomique international. Il permet de transférer et de répliquer des fichiers de données entre différents sites de stockage (on-site et off-site) en appliquant des règles de conservation personnalisables. Le script génère des fichiers temporaires, les attache à des ensembles de données, et assure leur suivi via des identifiants de règles, facilitant ainsi la collaboration et la disponibilité des données pour les chercheurs.

CARADOC est un moteur de recherche intelligent développé par la DGFiP pour assister les agents publics dans leur quotidien grâce à l'IA générative. Il permet d'interagir de manière sécurisée avec des documents sensibles ou de collaborer sur des bases de données partagées. L'outil propose deux modes : un mode fichier pour des échanges sécurisés et un mode collection pour des corpus documentaires étendus. Il intègre des fonctionnalités d'évaluation de pipelines RAG et d'ingestion automatisée de documents.

Ce projet fournit un template standardisé pour structurer des projets de data engineering et de data analytics. Il facilite la mise en place de pipelines d'ingestion de données, de transformations SQL et de déploiements sur différentes infrastructures. Il inclut des configurations pour des environnements locaux, on-premise ou cloud, ainsi que des outils pour la gestion des dépendances et des versions Python.

Sesame est un système dédié à la gestion et à l'intégration de données issues de recherches scientifiques ou expérimentales. Il permet de centraliser, transformer et analyser des informations issues de fichiers structurés comme des CSV, tout en facilitant leur ingestion dans des bases de données ou des systèmes d'analyse. Le projet facilite également la communication entre différents outils et services via des files d'attente, assurant une interopérabilité fluide entre les composants techniques.

Ce module Puppet permet de déployer, configurer et gérer des instances Elasticsearch de manière automatisée. Il facilite la création et la maintenance de clusters pour le stockage, l'indexation et la recherche de données à grande échelle. Le projet simplifie l'administration des fonctionnalités avancées comme les pipelines d'ingestion, les politiques de cycle de vie des données et les rôles d'accès sécurisés.

AstraLint est un outil spécialisé dans la vérification et la correction des métadonnées des fichiers de données spatiales (CDF et FITS). Il permet aux scientifiques et aux archivistes de s'assurer que leurs fichiers respectent les normes communautaires (ISTP, PDS4, SOLARNET) avant leur publication ou leur ingestion dans des bases de données comme CDAWeb. L'outil identifie les erreurs, propose des corrections automatiques et génère des rapports détaillés pour les ajustements manuels nécessaires.

Cette application permet de surveiller et analyser les logs générés par l'application Potentiel. Elle centralise les données techniques pour faciliter le diagnostic des problèmes, l'optimisation des performances et la maintenance proactive. L'outil offre une visibilité complète sur le fonctionnement de l'application via une base de données dédiée et des mécanismes d'ingestion de logs en temps réel.

Inlake est une passerelle dédiée à l'ingestion et à la gestion de données pour un système de base de connaissances axé sur les événements. Il permet l'intégration fluide de fichiers binaires, de métadonnées et d'informations textuelles structurées ou non. Conçu dans le cadre du projet scientifique Astragale, il facilite le stockage, la validation et le traitement des données pour des applications de recherche.

Ce plugin Elasticsearch est utilisé avec Gravitee pour supprimer les informations personnelles des données reçues lors du processus d'ingestion. Il retire les paramètres de requête des URL et URI stockées, ce qui est crucial pour l'API Particulier.