Ce projet implémente le Pattern-Exploiting Training (PET), une procédure de formation semi-supervisée qui reformule les exemples d'entrée en phrases cloze. En utilisant des modèles de langage pré-entraînés, PET permet d'obtenir des résultats significatifs dans des scénarios à faible ressource, dépassant même les performances de GPT-3 dans certains cas.