Outil dédié à l'évaluation et au benchmarking des méthodes de détection des changements de pression sélective dans des jeux de données biologiques ou génomiques. Il permet de comparer objectivement les performances de différents algorithmes et approches statistiques pour identifier des variations évolutives dans des séquences génétiques ou des données phénotypiques.

Ce projet est un dépôt dédié à l'étude de modèles multimodaux pour la classification zeroshot. Il permet d'utiliser de manière simple différents modèles multimodaux et d'en ajouter facilement de nouveaux. Le module offre également la possibilité d'évaluer ces modèles sur des jeux de données multimodaux en s'appuyant sur plusieurs métriques.

Ce projet permet d'évaluer et comparer des modèles multimodaux (texte/image) pour des tâches de classification zero-shot. Il facilite l'intégration de nouveaux modèles et l'analyse de leurs performances sur des jeux de données standardisés comme COCO. Les utilisateurs peuvent mesurer l'efficacité de modèles comme CLIP, OTTER ou FROMAGe à l'aide de métriques variées (précision, rappel, F1-score).

Outil permettant de lancer automatiquement des benchmarks de consommation et de performance sur des algorithmes et jeux de données variés, en utilisant les travaux du groupe GreenML.

Plateforme open source dédiée à l'évaluation et au benchmarking de méthodes de détection d'anomalies sur graphes (GAD). Elle fournit une infrastructure centralisée pour exécuter, comparer et valider des algorithmes d'IA de manière reproductible. Les utilisateurs peuvent intégrer leurs propres méthodes, exécuter des expériences sur des jeux de données variés et obtenir des métriques standardisées pour analyser les performances des modèles.

EMB-Bench est une suite de scripts et de données dédiée à l'évaluation et au benchmarking de modèles d'apprentissage automatique. Il permet de comparer objectivement les performances de différents frameworks ou algorithmes en fournissant des jeux de données standardisés et des métriques de mesure adaptées.

Ce projet vise à analyser et optimiser des graphes de dépendances logiciels issus de dépôts de code source. Il permet de benchmarker des pipelines de traitement, d'évaluer des jeux de données et de mesurer les performances de différents outils d'analyse. Utilisé dans un cadre académique et de recherche, il facilite la compréhension des structures de code et l'identification de points d'amélioration.

Ce projet implémente des expériences avec Knowledge Enhanced Neural Network (KENN) sur les jeux de données ogbn-arxiv et ogbn-products du Open Graph Benchmark. Il propose une méthode de sous-échantillonnage de graphe spécifique à ce dernier, appelée Restrictive Neighbourhood Sampling, pour rendre KENN applicable aux grands graphes en contrôlant la complexité spatiale. Il utilise PyTorch Geometric et PyTorch Scatter pour l'implémentation.

Ce projet vise à benchmarker deux versions de MiXCR et deux versions de Vidjil-algo sur plusieurs jeux de données simulés et réels, en analysant des séquences génomiques et en reconnaissant des réarrangements V(D)J. Il permet de comparer les performances de ces algorithmes en termes de temps d'exécution, de mémoire utilisée et de qualité des résultats.

Outil open source conçu pour benchmarker et comparer des modèles d'intelligence artificielle dédiés au secteur industriel. Il permet de configurer des jeux de données de référence, d'évaluer des réponses générées par des LLMs, et de mesurer leur performance via des métriques personnalisables. Les résultats sont exportés pour une analyse approfondie.