MiniGPT-4 est un modèle de compréhension de l'image et du langage qui aligne un encodeur visuel congelé de BLIP-2 avec un LLM congelé, Vicuna, en utilisant une seule couche de projection. Il est formé en deux étapes, la première étape traditionnelle de pré-entraînement étant formée sur environ 5 millions de paires alignées d'images-texte en 10 heures en utilisant 4 A100. Après la première étape, Vicuna est capable de comprendre l'image, mais la capacité de génération de Vicuna est fortement impactée. Pour résoudre ce problème et améliorer sa fiabilité et son utilité, une petite (3500 paires au total) mais haute qualité est créée par le modèle lui-même et ChatGPT ensemble. La deuxième étape de mise en forme est formée sur ce jeu de données dans un modèle de conversation pour améliorer considérablement sa fiabilité et son utilité globales.