Ce projet est un serveur d'inférence dédié aux modèles de langage de grande taille (LLM). Il permet d'exécuter des requêtes de génération de texte en temps réel via une API, facilitant l'intégration de modèles d'intelligence artificielle dans des applications tierces. Le serveur prend en charge plusieurs types d'inférences, notamment via des services comme Hugging Face ou des solutions cloud comme S3, et offre une interface standardisée pour interagir avec ces modèles.