Ce projet est un dépôt dédié à l'étude de modèles multimodaux pour la classification zeroshot. Il permet d'utiliser de manière simple différents modèles multimodaux et d'en ajouter facilement de nouveaux. Le module offre également la possibilité d'évaluer ces modèles sur des jeux de données multimodaux en s'appuyant sur plusieurs métriques.

Ce projet permet d'évaluer et comparer des modèles multimodaux (texte/image) pour des tâches de classification zero-shot. Il facilite l'intégration de nouveaux modèles et l'analyse de leurs performances sur des jeux de données standardisés comme COCO. Les utilisateurs peuvent mesurer l'efficacité de modèles comme CLIP, OTTER ou FROMAGe à l'aide de métriques variées (précision, rappel, F1-score).

HoliGround est un benchmark innovant conçu pour évaluer la qualité du raisonnement en chaîne de pensée (Chain-of-Thought) des modèles d'IA multimodaux. Il mesure la fidélité des rationales intermédiaires produites par ces modèles, au-delà de la simple précision des réponses finales. Le projet propose une métrique intégrant la logique, la complexité des tâches visuelles et l'évaluation holistique de la cohérence entre les prédictions et les annotations de référence.

Composer est un modèle multimodal de langage (MLLM) conçu pour améliorer la transparence et la fiabilité des systèmes d'intelligence artificielle. Il utilise des proxy-tokens appris pour établir un lien sémantique entre les caractéristiques visuelles et les réponses textuelles, permettant une interprétation plus fidèle des données visuelles. Le projet inclut également un jeu de données, ComposerGCoT, pour évaluer la cohérence du raisonnement et la précision de l'ancrage visuel, offrant ainsi une approche innovante pour des modèles d'IA plus explicables et dignes de confiance.