bso3-harvest-publication
Notoriété 5 %
Ce projet permet de récupérer des publications scientifiques françaises à partir d'une base de données filtrée de Unpaywall, et d'extraire des métadonnées pertinentes pour le Baromètre de la Science Ouverte (BSO) en utilisant des modèles Deep Learning (Grobid, Softcite et Datastet). Les PDF téléchargés peuvent être stockés sur un objet storage OpenStack Swift ou sur un stockage local, avec renommage/mappage d'UUID. Le téléchargement et le stockage sur HTTP(S) sont multi-threadés pour une meilleure robustesse et efficacité. Le processus de récolte peut être interrompu et repris, et il est tolérant aux pannes.
Dépôt de code
Cas d'utilisation métiers
- Stockage de PDF sur un objet storage OpenStack Swift : rechercher des initiatives proches
- Extraction de métadonnées à partir de PDF de publications : rechercher des initiatives proches
- Récupération de publications scientifiques françaises : rechercher des initiatives proches
- Stockage de métadonnées dans une base de données PostgreSQL : rechercher des initiatives proches
Cas d'utilisation fonctionnels
Organisation
- Ministère de l’Enseignement supérieur, de la Recherche et de l'Espace (organisation rattachée)
Outils utilisés
- Redis : voir les initiatives de ses organisations qui l'ont aussi
- Docker : voir les initiatives de ses organisations qui l'ont aussi
- Python : voir les initiatives de ses organisations qui l'ont aussi
- Flask : voir les initiatives de ses organisations qui l'ont aussi
- PostgreSQL : voir les initiatives de ses organisations qui l'ont aussi
Description générée le mardi 19 mars 2024 à 16:08:44
D'autres initiatives de la même organisation
- #dataESRdata.esr.gouv.fr
- French Open Science Monitorfrenchopensciencemonitor.esr.gouv.fr
- CurieXplorecuriexplore.enseignementsup-recherche.gouv.fr
- Works-magnetworks-magnet.esr.gouv.fr