MiniGPT-4 est un modèle de compréhension de l'image et du langage qui aligne un encodeur visuel congelé de BLIP-2 avec un LLM congelé, Vicuna, en utilisant une seule couche de projection. Il est formé en deux étapes, la première étape traditionnelle de pré-entraînement étant formée sur environ 5 millions de paires alignées d'images-texte en 10 heures en utilisant 4 A100. Après la première étape, Vicuna est capable de comprendre l'image, mais la capacité de génération de Vicuna est fortement impactée. Pour résoudre ce problème et améliorer sa fiabilité et son utilité, une petite (3500 paires au total) mais haute qualité est créée par le modèle lui-même et ChatGPT ensemble. La deuxième étape de mise en forme est formée sur ce jeu de données dans un modèle de conversation pour améliorer considérablement sa fiabilité et son utilité globales.

Bibliothèque de fonctions génériques principalement écrites en Matlab/Octave pour le traitement de signaux ou de données numériques. Elle inclut des fonctions pour le calcul de sommes mobiles non biaisées, la filtration de médiane généralisée, le décimation de données, la mise en forme de courbes sinusoïdales harmoniques, l'arrondi avec un nombre fixe de chiffres significatifs, ainsi que la conversion entre nombres arabes et romains.