AGOSUV-bench est un benchmark dédié à l'évaluation de requêtes sur des ontologies en logique de description. Il propose six ontologies distinctes (Adolena, StockExchange, University, Vicodi, Galen, OBOprotein) accompagnées de requêtes manuellement conçues pour tester les performances des systèmes de raisonnement. Cet outil permet de comparer objectivement les capacités de différents moteurs de règles et d'identifier les forces et faiblesses de chaque approche.

Ce projet permet de simuler des utilisateurs pour évaluer les performances et la stabilité d'un serveur CAS (Central Authentication Service). Il génère des requêtes d'authentification, de validation de tickets et de déconnexion pour mesurer les temps de réponse et détecter d'éventuelles erreurs. Les tests incluent des scénarios d'authentification complète, de réutilisation de sessions et de gestion des tickets via un proxy.

Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

Outil de benchmarking conçu pour évaluer les performances de requêtes sur des bases de données documentaires. Il permet de mesurer l'efficacité des systèmes de raisonnement et d'optimiser les requêtes complexes en s'appuyant sur des méthodes avancées de réécriture d'instances. Idéal pour les chercheurs et développeurs travaillant sur des systèmes de gestion de données.

OntoDBench permet aux DBA d'estimer la structuration de leurs jeux de données et d'évaluer l'évolutivité des trois principaux modèles de stockage de données basées sur l'ontologie dans leur jeux de données et workload réels. En fonction des exigences fonctionnelles et d'évolutivité, le DBA peut choisir le OBDB approprié. OntoDBench prend en charge les fonctionnalités suivantes : évaluation des caractéristiques des jeux de données réels, identification des modèles de stockage pertinents pour un OBDB donné, expression des requêtes de travail selon les trois représentations et évaluation des performances des requêtes.

Ce projet académique développe des outils pour évaluer et comparer des méthodes de calcul de graphes nommés (MD5 et Catalog) dans le cadre de l'analyse de données RDF. Il permet de mesurer les performances d'exécution de requêtes sur des prédicats et contextes variés, tout en structurant les données sémantiques pour une analyse optimisée.

Ce projet vise à expérimenter différentes algorithmes pour résoudre le problème des réponses abondantes dans les bases de connaissances. Il fournit des notions coopératives telles que le jeu de sous-requêtes minimales induisant l'échec (MFIS) et le jeu de sous-requêtes maximales ne échouant pas (XSS) pour aider à la reformulation de requêtes. Il est utilisé pour évaluer les performances des algorithmes en termes de temps de calcul.

Application en ligne de commande permettant d'analyser des données de vols aériens aux États-Unis en 2014. L'outil permet d'exécuter des requêtes complexes sur une base de données de vols, d'aéroports et de compagnies aériennes pour répondre à des besoins d'analyse, de planification d'itinéraires ou d'évaluation des performances des transporteurs.

Outil de benchmarking conçu pour évaluer les performances des serveurs d'images utilisant le protocole IIIF. Il permet de simuler des charges de travail intensives en générant des requêtes concurrentes sur des images haute résolution. Les résultats obtenus aident à identifier les goulots d'étranglement et à optimiser les infrastructures pour des applications nécessitant un traitement rapide et fiable d'images.