zero-shot-evaluation
Notoriété 7 %
Ce projet évalue les performances des agents génératifs basés sur des LLM dans des tâches d'extraction d'informations en contexte zero-shot ou one-shot, sans données de référence. Il explore des métriques de cohérence pour mesurer la stabilité des extractions entre plusieurs exécutions, en analysant leur relation avec la précision. Les expérimentations portent sur un corpus de documents en santé végétale, avec des stratégies pour générer des paires de documents proches (reformulation, bruit, substitution d'entités, traduction). L'objectif est de comprendre les facteurs influençant la stabilité des résultats et d'améliorer la fiabilité des extractions à grande échelle.
Dépôt de code
Cas d'utilisation métiers
- Comparaison de performances entre modèles : rechercher des initiatives proches
- Optimisation des métriques de qualité pour l'extraction d'entités : rechercher des initiatives proches
- Détection d'hallucinations dans les réponses des LLM : rechercher des initiatives proches
- Analyse de cohérence des extractions d'informations : rechercher des initiatives proches
- Évaluation de modèles d'IA sans données de référence : rechercher des initiatives proches
Cas d'utilisation fonctionnel
Outil utilisé
Description générée le jeudi 12 novembre 2026 à 13:44:45