Ce projet est un dépôt dédié à l'étude de modèles multimodaux pour la classification zeroshot. Il permet d'utiliser de manière simple différents modèles multimodaux et d'en ajouter facilement de nouveaux. Le module offre également la possibilité d'évaluer ces modèles sur des jeux de données multimodaux en s'appuyant sur plusieurs métriques.

Composer est un modèle multimodal de langage (MLLM) conçu pour améliorer la transparence et la fiabilité des systèmes d'intelligence artificielle. Il utilise des proxy-tokens appris pour établir un lien sémantique entre les caractéristiques visuelles et les réponses textuelles, permettant une interprétation plus fidèle des données visuelles. Le projet inclut également un jeu de données, ComposerGCoT, pour évaluer la cohérence du raisonnement et la précision de l'ancrage visuel, offrant ainsi une approche innovante pour des modèles d'IA plus explicables et dignes de confiance.