Outil d'optimisation automatique des performances des serveurs vLLM (Large Language Model) pour les déploiements en production. Il automatise la recherche des meilleurs paramètres de configuration (comme les flags du serveur vLLM) en utilisant des algorithmes d'optimisation (Optuna) et des benchmarks avancés (GuideLLM). Permet d'améliorer le débit, la latence et l'efficacité énergétique des modèles de langage tout en réduisant les coûts d'inférence.

Happy_vllm est une API REST conçue pour optimiser et faciliter l'utilisation de vLLM, un moteur d'inférence pour modèles de langage. Développée par France Travail, elle permet de déployer rapidement des services d'IA générative en production avec des fonctionnalités avancées. L'outil simplifie l'intégration des modèles LLM dans des applications métiers, offrant une solution scalable et performante pour des cas d'usage variés comme le traitement automatique de texte ou la génération de contenus.

Caffe est un framework open source dédié à la programmation d'algorithmes d'apprentissage profond. Il permet aux chercheurs et développeurs de concevoir, entraîner et déployer des modèles de réseaux de neurones pour des tâches comme la classification d'images, la reconnaissance visuelle ou le traitement du langage. Utilisé dans la recherche académique et industrielle, il offre des outils pour optimiser les performances et faciliter l'expérimentation en intelligence artificielle.

Multi-ML est un langage de programmation fonctionnel conçu pour implémenter des algorithmes Multi-BSP au-dessus d'OCaml. Il combine l'abstraction élevée des langages ML avec les performances prévisibles et scalables du modèle multi-BSP, permettant de représenter des architectures hiérarchiques imbriquées pour des calculs parallèles optimisés.

Outil permettant d'évaluer et comparer les performances de serveurs d'inférence pour modèles de langage (LLM). Il génère des graphiques et rapports détaillés sur la vitesse de génération, l'utilisation du cache KV, et la capacité à gérer des requêtes parallèles. Les résultats aident à identifier les goulots d'étranglement et à optimiser les configurations pour des déploiements en production.

Ce projet permet de déployer et gérer des instances de serveurs vLLM (Very Large Language Model) pour exécuter des modèles de langage à grande échelle. Il facilite l'orchestration, le scaling et la maintenance des ressources nécessaires à l'exécution de ces modèles, tout en optimisant les coûts et les performances. Idéal pour les entreprises ou chercheurs souhaitant exploiter des IA génératives sans gérer l'infrastructure sous-jacente.

Ce projet développe des méthodes innovantes pour améliorer la génération automatique de texte en utilisant des approches inspirées de la phylogénie. Il se concentre sur l'optimisation des modèles de langage pour les langues peu dotées en ressources, facilitant ainsi leur utilisation dans des contextes où les données d'entraînement sont limitées. Les techniques proposées visent à rendre ces modèles plus accessibles et performants.