Bibliothèque open source dédiée à l'estimation de l'incertitude et à la détection de données hors distribution (OoD) pour les modèles d'intelligence artificielle. Elle permet d'évaluer et de déployer des méthodes d'incertitude pour des tâches de vision par ordinateur (classification d'images, détection d'objets, segmentation sémantique) et de traitement automatique des langues (détection d'hallucinations dans les grands modèles de langage).

Ce projet, développé dans le cadre du Programme 10% de la DINUM et de l'Insee, propose un guide complet pour aider les administrations et organisations à comprendre, choisir et déployer des modèles de langage (LLM). Il couvre l'analyse des besoins, l'évaluation des solutions, l'optimisation des infrastructures et la mise en production, en incluant des cas d'usage concrets et des benchmarks pour faciliter la prise de décision.

Ce projet est une plateforme dédiée à la formation pratique en intelligence artificielle, notamment pour l'entraînement de modèles de langage avancés comme ceux basés sur l'architecture Transformer. Il permet aux utilisateurs de configurer des environnements de calcul, de soumettre des jobs de formation sur des supercalculateurs, et d'analyser des jeux de données comme SQuAD pour évaluer les performances des modèles. Destiné aux étudiants et chercheurs, il facilite l'accès à des ressources de calcul haute performance.

EmbCompare est un outil Python conçu pour comparer des embeddings de mots, utilisés en traitement automatique du langage naturel. Il permet d'évaluer la similarité entre deux modèles d'embeddings à travers des indicateurs numériques et une interface graphique. L'outil génère des rapports détaillés pour analyser les différences entre les représentations vectorielles, facilitant ainsi le suivi de l'évolution des modèles ou la comparaison de solutions alternatives.

Ce projet propose une approche multi-niveaux pour évaluer la performance de systèmes industriels avant leur implémentation réelle. Il permet aux experts métiers et aux utilisateurs finaux de définir, configurer et calculer des indicateurs de performance (KPI) à partir de traces d'exécution de modèles simulés. L'outil s'appuie sur des langages dédiés comme GPEL et TraceDQL pour extraire et analyser des données sans modifier les langages d'origine.

TIAM est un outil d'évaluation conçu pour mesurer la qualité de l'alignement entre un texte descriptif (prompt) et les images générées par des modèles de vision-langage. Il vérifie si les entités et leurs attributs spécifiés dans le prompt sont effectivement visibles dans les images synthétiques. Utilisé principalement en recherche, il permet de comparer objectivement les performances des modèles de génération d'images.

Ce projet développe une approche pour analyser et classifier les relations discursives dans des textes en utilisant une décomposition en primitives. Il s'appuie sur des travaux de recherche en linguistique computationnelle pour améliorer la compréhension des mécanismes discursifs complexes. L'objectif est de faciliter l'évaluation des modèles de langage dans ce domaine spécifique.

XTDL est un framework de test pour les langages spécifiques à un domaine exécutables. Il permet de définir, d'exécuter et d'évaluer des tests pour des modèles conformes à ces langages, ainsi que de localiser les défauts et d'amplifier les tests.

Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

MML-regression est un langage de programmation dédié à la régression multi-machines. Il permet de définir des modèles de régression, de configurer les algorithmes d'apprentissage, de spécifier les données d'entrée et de valider et évaluer les modèles.