Ce projet est un dépôt dédié à l'étude de modèles multimodaux pour la classification zeroshot. Il permet d'utiliser de manière simple différents modèles multimodaux et d'en ajouter facilement de nouveaux. Le module offre également la possibilité d'évaluer ces modèles sur des jeux de données multimodaux en s'appuyant sur plusieurs métriques.

Ce benchmark contient des transformations et des requêtes qui s'adressent à différentes phases d'un processus de génie logiciel axé sur la modélisation pour la rétro-ingénierie de systèmes legacy Java. Il utilise le découvreur Java MoDisco pour extraire des modèles Java jusqu'à 1,3 Go, qui se conforment au métamodèle Java défini dans MoDisco.

Ce benchmark inclut des cas d'utilisation de validation et de transformation de modèles dans le contexte de l'industrie de la construction. Il comprend également un ensemble de modèles EMF-compatibles BIM (Building Information Model) avec une taille croissante allant jusqu'à 1 Gb. Les modèles BIM sont décrits en utilisant la spécification IFC (Industry Foundation Classes), un format librement disponible pour décrire, échanger et partager des informations typiquement utilisées dans le secteur de la gestion des bâtiments et des installations.

Outil dédié à l'évaluation et à la comparaison de modèles bayésiens et d'algorithmes statistiques. Il permet de mesurer les performances de différentes approches en termes de précision, de temps de calcul et de robustesse. Utilisé par des chercheurs et des data scientists pour valider des hypothèses ou optimiser des modèles avant leur déploiement en production.

Ce projet propose un benchmark dédié à l'évaluation des performances des modèles de détection d'objets en conditions hors distribution. Il permet de mesurer la robustesse et la généralisation des algorithmes d'intelligence artificielle face à des données non conformes à leur entraînement initial. L'objectif est d'identifier les forces et faiblesses des approches actuelles pour améliorer leur fiabilité dans des scénarios réels.

Ce projet compile et publie les résultats de benchmarks réalisés sur des serveurs de modèles de langage (LLM). Il permet d'évaluer et de comparer les performances de différentes solutions d'infrastructure pour l'exécution de ces modèles, en fournissant des métriques objectives et reproductibles. Les données générées aident les développeurs et les organisations à choisir les meilleures configurations pour leurs besoins en IA.

Plateforme dédiée à l'évaluation et au benchmarking de modèles d'intelligence artificielle, notamment des chatbots et assistants conversationnels. Elle permet de mesurer objectivement les performances, la précision et l'efficacité des solutions d'IA générative dans divers contextes d'usage. Utilisée par des chercheurs, des développeurs et des entreprises pour affiner leurs modèles avant déploiement.

Ce projet, développé dans le cadre du Programme 10% de la DINUM et de l'Insee, propose un guide complet pour aider les administrations et organisations à comprendre, choisir et déployer des modèles de langage (LLM). Il couvre l'analyse des besoins, l'évaluation des solutions, l'optimisation des infrastructures et la mise en production, en incluant des cas d'usage concrets et des benchmarks pour faciliter la prise de décision.

Service dédié à l'évaluation et au benchmarking de modèles de transcription automatique pour la langue française, utilisé par l'administration publique. Il permet de comparer la qualité de différents modèles (Whisper, Voxtral, Kyutai, Cohere, etc.) sur des fichiers audio de référence, en mesurant des métriques comme le WER (Word Error Rate) et en analysant les erreurs sémantiques via des juges automatisés. Les résultats sont partagés sous forme de rapports publics pour améliorer les services de transcription.

Ce projet propose une évaluation comparative de différentes méthodes d'interpolation spatiale appliquées à de grands ensembles de données. Il permet aux chercheurs et data scientists de mesurer l'efficacité et la précision des algorithmes pour des applications en géostatistique, environnement ou climatologie. L'outil facilite le choix des modèles les plus adaptés selon les contraintes de performance et de qualité des résultats.