Ce projet est un dépôt dédié à l'étude de modèles multimodaux pour la classification zeroshot. Il permet d'utiliser de manière simple différents modèles multimodaux et d'en ajouter facilement de nouveaux. Le module offre également la possibilité d'évaluer ces modèles sur des jeux de données multimodaux en s'appuyant sur plusieurs métriques.

Ce projet permet d'évaluer et comparer des modèles multimodaux (texte/image) pour des tâches de classification zero-shot. Il facilite l'intégration de nouveaux modèles et l'analyse de leurs performances sur des jeux de données standardisés comme COCO. Les utilisateurs peuvent mesurer l'efficacité de modèles comme CLIP, OTTER ou FROMAGe à l'aide de métriques variées (précision, rappel, F1-score).

Ce benchmark contient des transformations et des requêtes qui s'adressent à différentes phases d'un processus de génie logiciel axé sur la modélisation pour la rétro-ingénierie de systèmes legacy Java. Il utilise le découvreur Java MoDisco pour extraire des modèles Java jusqu'à 1,3 Go, qui se conforment au métamodèle Java défini dans MoDisco.

Ce benchmark inclut des cas d'utilisation de validation et de transformation de modèles dans le contexte de l'industrie de la construction. Il comprend également un ensemble de modèles EMF-compatibles BIM (Building Information Model) avec une taille croissante allant jusqu'à 1 Gb. Les modèles BIM sont décrits en utilisant la spécification IFC (Industry Foundation Classes), un format librement disponible pour décrire, échanger et partager des informations typiquement utilisées dans le secteur de la gestion des bâtiments et des installations.

Outil dédié à l'évaluation et à la comparaison de modèles bayésiens et d'algorithmes statistiques. Il permet de mesurer les performances de différentes approches en termes de précision, de temps de calcul et de robustesse. Utilisé par des chercheurs et des data scientists pour valider des hypothèses ou optimiser des modèles avant leur déploiement en production.

Ce projet propose un benchmark dédié à l'évaluation des performances des modèles de détection d'objets en conditions hors distribution. Il permet de mesurer la robustesse et la généralisation des algorithmes d'intelligence artificielle face à des données non conformes à leur entraînement initial. L'objectif est d'identifier les forces et faiblesses des approches actuelles pour améliorer leur fiabilité dans des scénarios réels.

Plateforme dédiée à l'évaluation et au benchmarking de modèles d'intelligence artificielle, notamment des chatbots et assistants conversationnels. Elle permet de mesurer objectivement les performances, la précision et l'efficacité des solutions d'IA générative dans divers contextes d'usage. Utilisée par des chercheurs, des développeurs et des entreprises pour affiner leurs modèles avant déploiement.

Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

Ce projet compile et publie les résultats de benchmarks réalisés sur des serveurs de modèles de langage (LLM). Il permet d'évaluer et de comparer les performances de différentes solutions d'infrastructure pour l'exécution de ces modèles, en fournissant des métriques objectives et reproductibles. Les données générées aident les développeurs et les organisations à choisir les meilleures configurations pour leurs besoins en IA.

Outil d'optimisation automatique des performances des serveurs vLLM (Large Language Model) pour les déploiements en production. Il automatise la recherche des meilleurs paramètres de configuration (comme les flags du serveur vLLM) en utilisant des algorithmes d'optimisation (Optuna) et des benchmarks avancés (GuideLLM). Permet d'améliorer le débit, la latence et l'efficacité énergétique des modèles de langage tout en réduisant les coûts d'inférence.