Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

Outil open source conçu pour benchmarker et comparer des modèles d'intelligence artificielle dédiés au secteur industriel. Il permet de configurer des jeux de données de référence, d'évaluer des réponses générées par des LLMs, et de mesurer leur performance via des métriques personnalisables. Les résultats sont exportés pour une analyse approfondie.

Ce projet compile et publie les résultats de benchmarks réalisés sur des serveurs de modèles de langage (LLM). Il permet d'évaluer et de comparer les performances de différentes solutions d'infrastructure pour l'exécution de ces modèles, en fournissant des métriques objectives et reproductibles. Les données générées aident les développeurs et les organisations à choisir les meilleures configurations pour leurs besoins en IA.

EvalAP est une plateforme publique dédiée à l'évaluation des modèles d'intelligence artificielle, notamment les grands modèles de langage (LLM). Elle permet aux institutions publiques comme Etalab de mesurer et comparer les performances de différents modèles d'IA. La plateforme propose une interface utilisateur pour explorer les jeux de données, les métriques et les résultats d'expérimentations, ainsi qu'une API pour automatiser les évaluations. Elle facilite la transparence et l'amélioration continue des outils d'IA utilisés par l'administration.

Outil open source développé pour la fonction publique française afin d'estimer précisément les ressources GPU nécessaires au déploiement à grande échelle de modèles de langage (LLM). Il permet aux administrations de dimensionner leur infrastructure IA en fonction du nombre d'utilisateurs, des performances attendues et des contraintes techniques, avec une marge d'erreur inférieure à 10% pour des modèles allant de 8 à 27 milliards de paramètres. L'outil facilite la comparaison entre solutions commerciales et auto-hébergées tout en garantissant une approche reproductible et transparente.

This project focuses on improving the performance of software by analyzing and optimizing code. It provides tools for profiling and benchmarking algorithms, and offers recommendations for improving performance. The project is designed to help developers write more efficient code and improve the overall performance of their software.