Outil dédié à l'évaluation et au benchmarking des méthodes de détection des changements de pression sélective dans des jeux de données biologiques ou génomiques. Il permet de comparer objectivement les performances de différents algorithmes et approches statistiques pour identifier des variations évolutives dans des séquences génétiques ou des données phénotypiques.

Ce projet développe des outils pour optimiser les performances des calculs scientifiques, notamment via des méthodes de stencil et de gestion de mémoire. Il permet de simuler des processus physiques complexes et d'évaluer l'efficacité de différentes approches algorithmiques. Les fonctionnalités incluent le benchmarking, la gestion de données en mémoire et l'analyse de performance pour des applications nécessitant une haute efficacité computationnelle.

Projet académique visant à créer un outil de benchmark pour évaluer l'efficacité des systèmes de détection d'attaques par déni de service (DDoS). Il permet de simuler des attaques réseau variées, de capturer le trafic généré, et d'analyser les performances de différents algorithmes de détection. Les résultats sont comparés via des métriques comme le taux de détection, la précision et le taux de faux positifs.

Outil permettant de lancer automatiquement des benchmarks de consommation et de performance sur des algorithmes et jeux de données variés, en utilisant les travaux du groupe GreenML.

This project focuses on improving the performance of software by analyzing and optimizing code. It provides tools for profiling and benchmarking algorithms, and offers recommendations for improving performance. The project is designed to help developers write more efficient code and improve the overall performance of their software.

Outil dédié à l'évaluation et à la comparaison de modèles bayésiens et d'algorithmes statistiques. Il permet de mesurer les performances de différentes approches en termes de précision, de temps de calcul et de robustesse. Utilisé par des chercheurs et des data scientists pour valider des hypothèses ou optimiser des modèles avant leur déploiement en production.

Ce projet propose un benchmark dédié à l'évaluation des performances des modèles de détection d'objets en conditions hors distribution. Il permet de mesurer la robustesse et la généralisation des algorithmes d'intelligence artificielle face à des données non conformes à leur entraînement initial. L'objectif est d'identifier les forces et faiblesses des approches actuelles pour améliorer leur fiabilité dans des scénarios réels.

Outil d'optimisation automatique des performances des serveurs vLLM (Large Language Model) pour les déploiements en production. Il automatise la recherche des meilleurs paramètres de configuration (comme les flags du serveur vLLM) en utilisant des algorithmes d'optimisation (Optuna) et des benchmarks avancés (GuideLLM). Permet d'améliorer le débit, la latence et l'efficacité énergétique des modèles de langage tout en réduisant les coûts d'inférence.

Plateforme open source dédiée à l'évaluation et au benchmarking de méthodes de détection d'anomalies sur graphes (GAD). Elle fournit une infrastructure centralisée pour exécuter, comparer et valider des algorithmes d'IA de manière reproductible. Les utilisateurs peuvent intégrer leurs propres méthodes, exécuter des expériences sur des jeux de données variés et obtenir des métriques standardisées pour analyser les performances des modèles.

WarNav est un jeu de données spécialisé conçu pour entraîner et évaluer des modèles de segmentation sémantique dédiés aux véhicules autonomes évoluant dans des environnements non structurés et affectés par des conflits. Il fournit des annotations précises d'images issues d'un dépôt multimédia open source, couvrant des classes comme les routes, les zones praticables, les piétons et les véhicules. Ces données permettent de benchmarker les performances des algorithmes dans des scénarios complexes et dangereux.