auto-tuning-vllm
Notoriété 20 %
Outil d'optimisation automatique des performances des serveurs vLLM (Large Language Model) pour les déploiements en production. Il automatise la recherche des meilleurs paramètres de configuration (comme les flags du serveur vLLM) en utilisant des algorithmes d'optimisation (Optuna) et des benchmarks avancés (GuideLLM). Permet d'améliorer le débit, la latence et l'efficacité énergétique des modèles de langage tout en réduisant les coûts d'inférence.
Dépôt de code
Cas d'utilisation métiers
- Tuning des paramètres de décodage spéculatif : rechercher des initiatives proches
- Évaluation des déploiements LLM : rechercher des initiatives proches
- Benchmarking automatisé des serveurs vLLM : rechercher des initiatives proches
- Réduction des coûts d'inférence : rechercher des initiatives proches
- Optimisation des performances des modèles de langage : rechercher des initiatives proches
Cas d'utilisation fonctionnels
Outils utilisés
- PyTorch : voir les initiatives qui l'ont aussi
- YAML : voir les initiatives qui l'ont aussi
- Requests : voir les initiatives qui l'ont aussi
- scikit-learn : voir les initiatives qui l'ont aussi
- Typ : voir les initiatives qui l'ont aussi
- Pandas : voir les initiatives qui l'ont aussi
- FastAPI : voir les initiatives qui l'ont aussi
- Plotly.js : voir les initiatives qui l'ont aussi
Description générée le jeudi 12 novembre 2026 à 15:30:26