Ce projet est un démonstrateur académique conçu pour illustrer une thèse. Il propose un cadre multimodal permettant de représenter un environnement en combinant des données de perception (vision, capteurs) et des traitements sémantiques. L'objectif est de créer une représentation cohérente et exploitable d'un espace physique, facilitant des applications comme la robotique, la réalité augmentée ou l'analyse de scènes complexes.

Le projet GrammaColor est un encodeur multimodal automatique de la grammaire, permettant d'analyser et d'encoder la grammaire de texte multilingue. Il facilite l'apprentissage des langues en fournissant une représentation visuelle de la structure grammaticale des phrases.

Ce projet propose une méthodologie pour comparer et analyser les représentations internes de différents modèles d'encodage (visuels, textuels et multimodaux) à l'aide d'autoencodeurs clairsemés. Il permet d'identifier les concepts partagés entre ces modèles et de quantifier leur similarité, offrant ainsi une meilleure compréhension des mécanismes d'apprentissage des modèles d'intelligence artificielle. Les résultats éclairent sur l'impact de l'entraînement multimodal et la généralisation des caractéristiques.

Ce projet a pour but de partager l'ontologie ICAN, axée sur la représentation de données aneurysmales multimodales via un graphe de connaissances.