Ce projet est une plateforme dédiée à la formation pratique en intelligence artificielle, notamment pour l'entraînement de modèles de langage avancés comme ceux basés sur l'architecture Transformer. Il permet aux utilisateurs de configurer des environnements de calcul, de soumettre des jobs de formation sur des supercalculateurs, et d'analyser des jeux de données comme SQuAD pour évaluer les performances des modèles. Destiné aux étudiants et chercheurs, il facilite l'accès à des ressources de calcul haute performance.

Ce projet propose une approche multi-niveaux pour évaluer la performance de systèmes industriels avant leur implémentation réelle. Il permet aux experts métiers et aux utilisateurs finaux de définir, configurer et calculer des indicateurs de performance (KPI) à partir de traces d'exécution de modèles simulés. L'outil s'appuie sur des langages dédiés comme GPEL et TraceDQL pour extraire et analyser des données sans modifier les langages d'origine.

TIAM est un outil d'évaluation conçu pour mesurer la qualité de l'alignement entre un texte descriptif (prompt) et les images générées par des modèles de vision-langage. Il vérifie si les entités et leurs attributs spécifiés dans le prompt sont effectivement visibles dans les images synthétiques. Utilisé principalement en recherche, il permet de comparer objectivement les performances des modèles de génération d'images.

Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

EvalAP est une plateforme publique dédiée à l'évaluation des modèles d'intelligence artificielle, notamment les grands modèles de langage (LLM). Elle permet aux institutions publiques comme Etalab de mesurer et comparer les performances de différents modèles d'IA. La plateforme propose une interface utilisateur pour explorer les jeux de données, les métriques et les résultats d'expérimentations, ainsi qu'une API pour automatiser les évaluations. Elle facilite la transparence et l'amélioration continue des outils d'IA utilisés par l'administration.

Ce projet vise à générer des données synthétiques à l'aide de modèles de langage (LLM) pour tester et évaluer des modèles d'intelligence artificielle. Il permet d'identifier des biais potentiels dans les algorithmes en créant des jeux de données artificiels variés et contrôlés, facilitant ainsi l'analyse des performances et des limites des modèles avant leur déploiement en conditions réelles.

Ce projet compile et publie les résultats de benchmarks réalisés sur des serveurs de modèles de langage (LLM). Il permet d'évaluer et de comparer les performances de différentes solutions d'infrastructure pour l'exécution de ces modèles, en fournissant des métriques objectives et reproductibles. Les données générées aident les développeurs et les organisations à choisir les meilleures configurations pour leurs besoins en IA.

Ce projet concerne le développement d'un outil d'apprentissage automatique basé sur le langage de programmation Python. Il s'appuie sur la bibliothèque scikit-learn pour offrir des fonctionnalités de préparation de données, de sélection et d'application d'algorithmes de machine learning, ainsi que d'évaluation des performances des modèles prédictifs.

Ce projet propose des jeux de données spécialement conçus pour évaluer et comparer les performances de différents outils ou modèles, notamment dans le domaine du traitement automatique du langage. Les données sont structurées pour servir de référence standardisée, facilitant ainsi l'analyse objective des capacités des systèmes testés. Il s'adresse principalement aux chercheurs, développeurs et entreprises souhaitant mesurer l'efficacité de leurs solutions.