Visual question answering with modules and language modeling

L’objectif principal de cette thèse est d’apprendre les représentations modulaires pour la tâche de réponse visuelle aux questions (VQA). Apprendre de telles représentations a le potentiel de généraliser au raisonnement d’ordre supérieur qui prévaut chez l’être humain. Le chapitre 1 traite de la littérature relative à VQA, aux réseaux modulaires et à l’optimisation de la structure neuronale. En particulier, les différents ensembles de données proposés pour étudier cette tâche y sont détaillés. Les modèles de VQA peuvent être classés en deux catégories en fonction des jeux de données auxquels ils conviennent. La première porte sur les questions ouvertes sur les images naturelles. Ces questions concernent principalement quelques objets/personnes présents dans l’image et n’exigent aucune capacité de raisonnement significative pour y répondre. La deuxième catégorie comprend des questions (principalement sur des images synthétiques) qui testent la capacité des modèles à effectuer un raisonnement compositionnel. Nous discutons de différentes variantes architecturales de réseaux de modules neuronaux (NMN). Finalement nous discutons des approches pour apprendre les structures ou modules de réseau neuronal pour des tâches autres que VQA. Au chapitre 2, nous décrivons un moyen d’exécuter de manière parcimonieuse un modèle CNN (ResNeXt [110]) et d’enregistrer les calculs effectués dans le processus. Ici, nous avons utilisé un mélange de formulations d’experts pour n’exécuter que les K meilleurs experts dans chaque bloc convolutionnel. Le groupe d’experts le plus important est sélectionné sur la base d’un contrôleur qui utilise un système d’attention guidé par une question suivie de couches entièrement connectées dans le but d’attribuer des poids à l’ensemble d’experts. Nos expériences montrent qu’il est possible de réaliser des économies énormes sur le nombre de FLOP avec un impact minimal sur la performance. Le chapitre 3 est un prologue du chapitre 4. Il mentionne les contributions clés et fournit une introduction au problème de recherche que nous essayons de traiter dans l’article. Le chapitre 4 contient le contenu de l’article. Ici, nous nous intéressons à l’apprentissage de la structure interne des modules pour les réseaux de modules neuronaux (NMN) [3, 37]. Nous introduisons une nouvelle forme de structure de module qui utilise des opérations arithmétiques élémentaires et la tâche consiste maintenant à connaître les poids de ces opérations pour former la structure de module. Nous plaçons le problème dans une technique d’optimisation à deux niveaux, dans laquelle le modèle prend des gradients de descente alternés dans l’architecture et des espaces de poids. Le chapitre 5 traite d’autres expériences et études d’ablation réalisées dans le contexte de l’article précédent. La plupart des travaux dans la littérature utilisent un réseau de neurones récurrent tel que LSTM [33] ou GRU [13] pour modéliser les caractéristiques de la question. Cependant, les LSTM peuvent échouer à encoder correctement les caractéristiques syntaxiques de la question qui pourraient être essentielles [87]. Récemment, [76] a montré l’utilité de la modélisation du langage pour répondre aux questions. Avec cette motivation, nous essayons d’apprendre un meilleur modèle linguistique qui peut être formé de manière non supervisée. Dans le chapitre 6, nous décrivons un réseau récursif de modélisation de langage dont la structure est alignée pour le langage naturel. Plus techniquement, nous utilisons un modèle d’analyse non supervisée (Parsing Reading Predict Network ou PPRN [86]) et augmentons son étape de prédiction avec un modèle TreeLSTM [99] qui utilise l’arborescence intermédiaire fournie par le modèle PRPN dans le but de un état caché en utilisant la structure arborescente. L’étape de prédiction du modèle PRPN utilise l’état caché, qui est une combinaison pondérée de l’état caché du TreeLSTM et de celui obtenu à partir d’une attention structurée. De cette façon, le modèle peut effectuer une analyse non supervisée et capturer les dépendances à long terme, car la structure existe maintenant explicitement dans le modèle. Nos expériences démontrent que ce modèle conduit à une amélioration de la tâche de modélisation du langage par rapport au référentiel PRPN sur le jeu de données Penn Treebank.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.