Large Scale Conditional Multitask Learning for Natural Language Processing

Récemment, les "Masked Language Models" (MLMs) entrainés sur une large base de données non étiquetées ont généré des résultats de pointe pour plusieurs tâches dans le domaine du Traitement de Langage Naturel (NLP).Un grand nombre des soumissions les mieux classées au benchmark "General Language Understanding Evaluation" (GLUE) utilisent un modèle basé sur l'architecture "Bidirectional Encoder Representations from Transformers" (BERT).La formule "BERT + "fine tuning" par tâche individuelle" demeure prévalente dans la recherche ; cet outil permet en effet à plusieurs chercheurs d'aboutir à des résultats de pointe.Cependant, la méthode du "fine-tuning" manque d'efficacité quant à la quantité de paramètres utilisés, puisqu'il est probable qu'elle requière un nouveau modèle pour chaque tâche.De plus, cette méthode est susceptible d'entraîner la perte des connaissances acquises durant l'étape riche en données du pré-entraînement, ce qui pourrait affecter la performance de généralisation du modèle.L'Apprentissage Multi-Tâche (MTL) est une approche efficace par transfert inductif inspirée par les modes d'apprentissage de l'humain qui s'avère prometteuse dans le domaine du Traitement de Langage Naturel.Pourtant, le MTL n'atteint pas le même niveau de performance que l'approche du "fine-tuning" qui est encore appliquée après l'étape de l'Apprentissage Multi-Tâche dans plusieurs études.Ce manque de performance est dû aux difficultés additionnelles telles que le transfert négatif, le sur-apprentissage de tâches pauvres en données et la perte de connaissances.Cette thèse a pour objectif d'explorer la possibilité de surpasser la performance de la méthode de "fine-tuning" en utilisant exclusivement l'Apprentissage Multi-Tâche.Cette recherche prendra en compte les défis d'optimisation connus de l'Apprentissage Multi-Tâche et des problèmes communs relatifs aux données.De plus, elle doit limiter du mieux possible la perte de connaissances acquises à l'étape du pré-entrainement, doit s'adapter facilement aux nouvelles tâches et être compatible avec tous les types de "Transformer".Nous partons sur l'hypothèse qu'une architecture conditionnée par tâche est capable de gérer une configuration de MTL à grande échelle afin de maximiser le transfert entre toutes les tâches.L'utilisation d'une méthode d'échantillonnage basée sur la difficulté de chaque tâche pourrait gérer les différents niveaux de difficulté des tâches, ainsi que minimiser l'interférence et la perte de connaissances.Nous proposons un modèle innovateur basé sur l'architecture "Transformer" que nous nommons "Conditional Adaptive Multitask Learning" (CA-MTL).Cette approche consiste en un nouveau mécanisme d'attention conditionnelle et un ensemble de modules conditionnés par vi tâche facilitant le partage de paramètres.Par le biais de ce modèle nous atteignons un partage de paramètres plus efficace et limitons la perte de connaissances en fixant les paramètres du modèle pré-entraîné.En utilisant CA-MTL, nous obtenons une meilleure performance que la méthode du "fine tuning" par tâche individuelle, tout en optimisant les données et les paramètres.Notre petit modèle a de ce fait obtenu une performance 2.2% supérieure à celle d'un grand modèle BERT pour le benchmark GLUE ; ces résultats ont été atteints en utilisant uniquement 64.6% des données et en ajoutant 5.6% de paramètres entraînables additionnels par tâche.Il est à noter ici qu'une méthode de "fine tuning" naïve peut ajouter jusqu'à 100% de paramètres entraînables.Notre approche s'est par ailleurs démontrée concurrentielle pour 26 tâches de Traitement de Langage Naturel, parvenant à des résultats novateurs sur plusieurs ensembles de test et de développement.vii

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.