Outil unifié pour évaluer la qualité des prédictions de détection de citations dans des textes. Il calcule simultanément plusieurs métriques avancées (de-news, AADS, f1-theta, ROUGE-L) afin de comparer des résultats de modèles ou d'annotations avec des données de référence. Utilisé principalement dans le domaine de la linguistique computationnelle et du traitement automatique des langues.

HoliGround est un benchmark innovant conçu pour évaluer la qualité du raisonnement en chaîne de pensée (Chain-of-Thought) des modèles d'IA multimodaux. Il mesure la fidélité des rationales intermédiaires produites par ces modèles, au-delà de la simple précision des réponses finales. Le projet propose une métrique intégrant la logique, la complexité des tâches visuelles et l'évaluation holistique de la cohérence entre les prédictions et les annotations de référence.

S-GCN est un outil d'intelligence artificielle conçu pour évaluer et prédire la qualité de modèles 3D de protéines. Il utilise des réseaux de convolution graphiques sphériques pour analyser les structures moléculaires et générer des scores de qualité locaux et globaux. Basé sur des données issues de défis comme CASP, il aide les chercheurs en biologie structurale à identifier les modèles les plus fiables et à améliorer la précision des prédictions.

Application web dédiée à l'évaluation et à l'analyse de modèles de transcription automatique (OCR/HTR) comme Kraken. Permet aux chercheurs et professionnels de comparer des textes de référence avec des prédictions générées par des modèles, en fournissant des métriques détaillées (taux d'erreur, précision, etc.) pour mesurer la qualité des transcriptions. Inclut des fonctionnalités de pré-traitement textuel et de visualisation des résultats.

EvalTools est une bibliothèque Python dédiée à l'évaluation des modèles de prédiction de la composition de l'atmosphère. Elle permet de comparer des observations in-situ avec des simulations issues de services comme le Copernicus Atmosphere Monitoring Service (CAMS). L'outil facilite le calcul et la visualisation de scores pour analyser la performance des modèles, notamment en qualité de l'air, sans gérer de données verticales. Il est utilisé par des organismes publics et scientifiques pour valider des prévisions environnementales.