Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

Plateforme dédiée à l'évaluation et au benchmarking de modèles d'intelligence artificielle, notamment des chatbots et assistants conversationnels. Elle permet de mesurer objectivement les performances, la précision et l'efficacité des solutions d'IA générative dans divers contextes d'usage. Utilisée par des chercheurs, des développeurs et des entreprises pour affiner leurs modèles avant déploiement.

Ce projet compile et publie les résultats de benchmarks réalisés sur des serveurs de modèles de langage (LLM). Il permet d'évaluer et de comparer les performances de différentes solutions d'infrastructure pour l'exécution de ces modèles, en fournissant des métriques objectives et reproductibles. Les données générées aident les développeurs et les organisations à choisir les meilleures configurations pour leurs besoins en IA.

Kraken-Benchmark est une application Python partiellement basée sur Flask qui évalue les performances d'un modèle de transcription Kraken en fournissant des exemples de transcriptions parfaites. Les différentes métriques générées par Kraken-Benchmark sont affichées dans une application web sous forme de tableau de bord.

Ce projet vise à benchmarker les performances de Gama sur différents cas d'utilisation, en exécutant le benchmark sur GitHub actions runners. Il contient un outil Java pour enregistrer les performances d'une expérience Gama en se connectant à son JVM via JMX, un espace de travail Gama contenant des modèles pour benchmarker certains cas d'utilisation, des expériences à exécuter pendant le benchmark, un fichier JSON décrivant chaque cas d'utilisation (itération sur une longue liste d'agents, modèles spatiaux, etc.), et un workflow GitHub qui exécute le benchmark sur tous les modèles et génère des résultats grâce au fichier Rmarkdown.

Outil open source conçu pour benchmarker et comparer des modèles d'intelligence artificielle dédiés au secteur industriel. Il permet de configurer des jeux de données de référence, d'évaluer des réponses générées par des LLMs, et de mesurer leur performance via des métriques personnalisables. Les résultats sont exportés pour une analyse approfondie.