Plateforme dédiée à l'évaluation et au benchmarking de modèles d'intelligence artificielle, notamment des chatbots et assistants conversationnels. Elle permet de mesurer objectivement les performances, la précision et l'efficacité des solutions d'IA générative dans divers contextes d'usage. Utilisée par des chercheurs, des développeurs et des entreprises pour affiner leurs modèles avant déploiement.

Projet dédié à l'évaluation et à la comparaison de modèles d'intelligence artificielle spécialisés dans l'analyse de données audio. Il permet de tester et classer différents algorithmes (réseaux de neurones, CatBoost, KNN, etc.) pour déterminer leur efficacité en termes de précision et de performance.

Plateforme open source dédiée à l'évaluation et au benchmarking de méthodes de détection d'anomalies sur graphes (GAD). Elle fournit une infrastructure centralisée pour exécuter, comparer et valider des algorithmes d'IA de manière reproductible. Les utilisateurs peuvent intégrer leurs propres méthodes, exécuter des expériences sur des jeux de données variés et obtenir des métriques standardisées pour analyser les performances des modèles.

Plateforme expérimentale permettant d'exécuter des agents de code IA dans des microVM isolées via Microsandbox. Elle évalue l'expérience utilisateur (latence, reconnexion, persistance de session) et compare les niveaux d'isolation pour des modèles souverains comme Albert API. Destinée à la R&D, elle sert de terrain de jeu pour mesurer les performances et les frontières techniques sans être un produit final.

EvalAP est une plateforme publique dédiée à l'évaluation des modèles d'intelligence artificielle, notamment les grands modèles de langage (LLM). Elle permet aux institutions publiques comme Etalab de mesurer et comparer les performances de différents modèles d'IA. La plateforme propose une interface utilisateur pour explorer les jeux de données, les métriques et les résultats d'expérimentations, ainsi qu'une API pour automatiser les évaluations. Elle facilite la transparence et l'amélioration continue des outils d'IA utilisés par l'administration.

Ce projet compile et publie les résultats de benchmarks réalisés sur des serveurs de modèles de langage (LLM). Il permet d'évaluer et de comparer les performances de différentes solutions d'infrastructure pour l'exécution de ces modèles, en fournissant des métriques objectives et reproductibles. Les données générées aident les développeurs et les organisations à choisir les meilleures configurations pour leurs besoins en IA.

PIAF ML est un projet open source porté par le Lab IA d'Etalab, visant à moderniser les services publics français grâce à l'intelligence artificielle. Il propose une solution de question-réponse en français facilement déployable, permettant aux administrations de répondre automatiquement aux questions des citoyens. Le projet inclut des outils pour préparer des bases de connaissances, évaluer les performances des modèles et expérimenter différentes approches avant leur mise en production.

Ce projet permet d'analyser et de comparer des métriques de qualité de code entre des implémentations générées par IA et des implémentations humaines. Il étudie des indicateurs comme le BLEU, CodeBLEU, ROUGE, METEOR et ChrF pour évaluer la pertinence des métriques existantes. Les résultats sont basés sur des expériences contrôlées et des protocoles rigoureux pour distinguer les performances des modèles et la qualité du code produit.

Ce projet propose une analyse comparative et une optimisation des hyperparamètres de sept architectures neuronales de pointe pour la segmentation du foie et des tumeurs hépatiques à partir d'IRM avec contraste. Il permet aux chercheurs et cliniciens d'évaluer et d'améliorer les performances des modèles d'IA dans le domaine médical, facilitant ainsi le diagnostic et la planification thérapeutique.

Outil open source conçu pour benchmarker et comparer des modèles d'intelligence artificielle dédiés au secteur industriel. Il permet de configurer des jeux de données de référence, d'évaluer des réponses générées par des LLMs, et de mesurer leur performance via des métriques personnalisables. Les résultats sont exportés pour une analyse approfondie.