HoliGround est un benchmark innovant conçu pour évaluer la qualité du raisonnement en chaîne de pensée (Chain-of-Thought) des modèles d'IA multimodaux. Il mesure la fidélité des rationales intermédiaires produites par ces modèles, au-delà de la simple précision des réponses finales. Le projet propose une métrique intégrant la logique, la complexité des tâches visuelles et l'évaluation holistique de la cohérence entre les prédictions et les annotations de référence.

Ce projet permet d'évaluer et comparer des modèles multimodaux (texte/image) pour des tâches de classification zero-shot. Il facilite l'intégration de nouveaux modèles et l'analyse de leurs performances sur des jeux de données standardisés comme COCO. Les utilisateurs peuvent mesurer l'efficacité de modèles comme CLIP, OTTER ou FROMAGe à l'aide de métriques variées (précision, rappel, F1-score).