CamemBERTa est un modèle de langage français basé sur DeBERTa V3, une version améliorée de DeBERTa V2 qui utilise l'objectif de détection de token remplacé (RTD) pour la pré-entraînement. Ce modèle est le premier implémentation publique de DeBERTa V3 et le premier modèle DeBERTaV3 disponible en dehors de la version originale de Microsoft.

TensorFlow est un framework open source dédié à l'apprentissage automatique et au deep learning. Il permet aux développeurs et chercheurs de concevoir, entraîner et déployer des modèles d'intelligence artificielle pour résoudre des problèmes complexes. Utilisé dans divers domaines comme la vision par ordinateur, le traitement du langage naturel ou la robotique, il facilite la création d'applications innovantes en automatisant des processus analytiques et décisionnels.

Caffe est un framework open source dédié à la programmation d'algorithmes d'apprentissage profond. Il permet aux chercheurs et développeurs de concevoir, entraîner et déployer des modèles de réseaux de neurones pour des tâches comme la classification d'images, la reconnaissance visuelle ou le traitement du langage. Utilisé dans la recherche académique et industrielle, il offre des outils pour optimiser les performances et faciliter l'expérimentation en intelligence artificielle.

Ce projet est une plateforme dédiée à la formation pratique en intelligence artificielle, notamment pour l'entraînement de modèles de langage avancés comme ceux basés sur l'architecture Transformer. Il permet aux utilisateurs de configurer des environnements de calcul, de soumettre des jobs de formation sur des supercalculateurs, et d'analyser des jeux de données comme SQuAD pour évaluer les performances des modèles. Destiné aux étudiants et chercheurs, il facilite l'accès à des ressources de calcul haute performance.

Ce projet permet de traiter et transformer les décisions de justice du Conseil d'État sous forme de fichiers DOC en données exploitables pour l'analyse juridique automatisée. Il facilite la modélisation du langage et la reconnaissance d'entités nommées, tout en fournissant des outils pour entraîner des modèles d'IA spécialisés dans le domaine juridique.

Ce projet permet d'optimiser et d'entraîner des modèles de langage avancés (LLMs) pour des tâches spécifiques. Il facilite le fine-tuning de modèles existants en utilisant des jeux de données personnalisés, tout en assurant un suivi des expériences via MLflow. Les modèles entraînés peuvent être déployés ou partagés sur la plateforme Hugging Face pour une utilisation ultérieure.

TensorFlow est une bibliothèque open-source d'apprentissage automatique développée par Google Brain. Elle permet de créer et d'entraîner des modèles de machine learning pour une variété de tâches, telles que la reconnaissance d'images, le traitement du langage naturel, la prédiction de séries temporelles et la détection d'anomalies. TensorFlow prend en charge une grande variété d'algorithmes d'apprentissage automatique, y compris les réseaux de neurones convolutifs, les réseaux de neurones récurrents et les algorithmes d'optimisation stochastique.

MiniGPT-4 est un modèle de compréhension de l'image et du langage qui aligne un encodeur visuel congelé de BLIP-2 avec un LLM congelé, Vicuna, en utilisant une seule couche de projection. Il est formé en deux étapes, la première étape traditionnelle de pré-entraînement étant formée sur environ 5 millions de paires alignées d'images-texte en 10 heures en utilisant 4 A100. Après la première étape, Vicuna est capable de comprendre l'image, mais la capacité de génération de Vicuna est fortement impactée. Pour résoudre ce problème et améliorer sa fiabilité et son utilité, une petite (3500 paires au total) mais haute qualité est créée par le modèle lui-même et ChatGPT ensemble. La deuxième étape de mise en forme est formée sur ce jeu de données dans un modèle de conversation pour améliorer considérablement sa fiabilité et son utilité globales.

Piaf-ranker est un modèle d'évaluation de pertinence en français conçu pour améliorer les systèmes de recherche d'information. Il utilise une approche de réordonnancement multi-étapes pour classer des passages de texte en fonction de leur pertinence par rapport à une requête donnée. Développé en collaboration avec des laboratoires publics, il s'appuie sur des jeux de données francophones pour entraîner des modèles de langage comme CamemBERT, offrant ainsi des résultats plus précis que les méthodes traditionnelles comme BM25.

Ce projet développe des méthodes innovantes pour améliorer la génération automatique de texte en utilisant des approches inspirées de la phylogénie. Il se concentre sur l'optimisation des modèles de langage pour les langues peu dotées en ressources, facilitant ainsi leur utilisation dans des contextes où les données d'entraînement sont limitées. Les techniques proposées visent à rendre ces modèles plus accessibles et performants.