Annuaire des initiatives
Pertinence
Vous ne trouvez pas l'initiative qui correspond à votre besoin ? Notre assistant peut vous aider.
- Ce dépôt de code source propose un plugin de benchmark pour l'application ICY. Il permet d'évaluer les performances de l'application ICY en réalisant des tests automatisés. Les fonctionnalités incluent l'exécution de méthodes de test et la génération de rapports de performance. Le projet est principalement destiné aux développeurs souhaitant optimiser ou analyser le comportement de l'application ICY.
- Notoriété 16 %Ce projet est un benchmark dédié à l'évaluation des performances des transformations ATL (ATL Transformation Language) utilisées dans des environnements de production. Il sélectionne un sous-ensemble de transformations issues de l'ATL Transformation Zoo en fonction de leur qualité et de leur utilisation réelle. Le projet automatise l'exécution séquentielle de ces transformations et la génération de données d'analyse de performance. Les modèles d'entrée sont générés à l'aide d'un instantiateur probabiliste configuré par l'utilisateur.
- Notoriété 10 %Ce projet permet de comparer des assembleurs de génomes métagénomiques à partir de données de séquençage à lecture longue. Il évalue les performances des outils en générant des statistiques et des métriques sur la qualité des assemblages. Les utilisateurs peuvent tester différents assembleurs et configurations pour identifier les solutions les plus adaptées à leurs besoins. Le pipeline automatisé traite les données brutes et produit des rapports comparatifs.
- Notoriété 18 %AutoJMH est un outil qui automatise la création de microbenchmarks JMH à partir d'un segment de code et d'une exécution d'entraînement. Il génère une classe JMH complète, intègre le code source, initialise les variables nécessaires et effectue des analyses pour éviter les erreurs courantes en benchmarking. L'objectif est d'optimiser les performances des méthodes en fournissant des mesures précises et fiables.
- Outil de test et de benchmarking pour le débogueur GDB. Il permet d'automatiser l'exécution de tests unitaires et de mesures de performance via une interface Python. Le framework facilite la création de scénarios pour valider le comportement des points d'arrêt, des watchpoints et des commandes GDB, ainsi que l'analyse des temps d'exécution. Il est particulièrement utile pour les développeurs travaillant sur des extensions ou des optimisations de GDB.
- B-Runner est une bibliothèque open source dédiée à l'évaluation et au benchmarking d'outils de raisonnement logique et de systèmes à base de règles. Elle permet de comparer de manière reproductible et robuste les performances de différents moteurs (InteGraal, Rulewerk/VLog, OWL API Explanator) en utilisant des protocoles expérimentaux déclaratifs. L'outil facilite la collaboration entre chercheurs et développeurs en standardisant les méthodes de test et en automatisant la collecte de mesures.
- Service dédié à l'évaluation et au benchmarking de modèles de transcription audio pour l'administration française. Il permet de comparer la qualité de différents modèles (Whisper, Voxtral, Kyutai, Cohere, etc.) sur des fichiers audio de référence, en mesurant des métriques comme le WER (Word Error Rate). Le projet inclut également une analyse sémantique via un système de jugement automatisé (LLM) pour évaluer la gravité des erreurs de transcription.
- Plateforme open source dédiée à l'évaluation et au benchmarking reproductible de méthodes de détection d'anomalies sur graphes (GAD). Elle fournit une infrastructure centralisée pour intégrer, tester et comparer des algorithmes d'IA spécialisés dans l'analyse de données relationnelles. Le projet facilite la reproductibilité des expériences en standardisant les environnements, les jeux de données et les métriques d'évaluation, tout en automatisant les processus de validation et de génération de rapports.
32 initiatives
10