Ce projet vise à générer des données synthétiques à l'aide de modèles de langage (LLM) pour tester et évaluer des modèles d'intelligence artificielle. Il permet d'identifier des biais potentiels dans les algorithmes en créant des jeux de données artificiels variés et contrôlés, facilitant ainsi l'analyse des performances et des limites des modèles avant leur déploiement en conditions réelles.

Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

Ce projet, développé dans le cadre du Programme 10% de la DINUM et de l'Insee, propose un guide complet pour aider les administrations et organisations à comprendre, choisir et déployer des modèles de langage (LLM). Il couvre l'analyse des besoins, l'évaluation des solutions, l'optimisation des infrastructures et la mise en production, en incluant des cas d'usage concrets et des benchmarks pour faciliter la prise de décision.