udata-hydra
Udata-hydra est un crawler métadonnées asynchrone pour data.gouv.fr. Il récupère les URL via aiohttp, stocke le catalogue et les métadonnées crawlées dans une base de données PostgreSQL. Il analyse également les métadonnées sur une période pour détecter les modifications de manière intelligente et convertit les jeux de données CSV en tables de base de données prêtes à être APIfiées.
Dépôt de code
Cas d'utilisation métiers
- Conversion de jeux de données CSV en tables de base de données : rechercher des initiatives proches
- Envoi d'informations de crawl et d'analyse vers une instance udata : rechercher des initiatives proches
- Récupération de métadonnées à partir de jeux de données ouvertes : rechercher des initiatives proches
- Analyse de métadonnées pour détecter les modifications : rechercher des initiatives proches
Cas d'utilisation fonctionnels
Organisation
- Département Intelligence artificielle dans l'Etat (IAE) (organisation rattachée)
Outils utilisés
- Redis : voir les initiatives de ses organisations qui l'ont aussi
- Gunicorn : voir les initiatives de ses organisations qui l'ont aussi
- Python : voir les initiatives de ses organisations qui l'ont aussi
- pytest : voir les initiatives de ses organisations qui l'ont aussi
- AIOHTTP : voir les initiatives de ses organisations qui l'ont aussi
- Sentry : voir les initiatives de ses organisations qui l'ont aussi
- SQLAlchemy : voir les initiatives de ses organisations qui l'ont aussi
- PostgreSQL : voir les initiatives de ses organisations qui l'ont aussi
Description générée le mardi 19 mars 2024 à 19:25:17
D'autres initiatives de la même organisation
- Demande de Valeur Foncièreapp.dvf.etalab.gouv.fr
- Point d'accès national aux données de transporttransport.data.gouv.fr
- DesignGouvdesign.numerique.gouv.fr