Coordination in generative modeling, automatic differentiation and multi-agent learning

Cette thèse présente quatre articles dans trois domaines différents : la modélisation générative de la musique, l’attribution de crédits pour les réseaux de neurones récurrents (RNN) et l’apprentissage par renforcement multi-agents (MARL) dans des dilemmes sociaux. Un thème commun est la coordination, c’est-à-dire la prise en compte des dépendances entre des éléments modélisés comme indépendants. Le premier article concerne la coordination des états informationnels. Nous développons une approche de raffinement itératif de la composition musicale. Notre modèle produit des prédictions conditionnellement indépendantes pour les variables dépendantes, qui sont réconciliées par un processus de raffinement itératif. Notre processus est plus proche de celui des compositeurs humains que des approches existantes qui produisent de la musique du début à la fin, et plus résistant aux entrées corrompues. Dans le deuxième article, nous considérons la coordination des communications entre des nœuds des graphes. L’algorithme d’entraînement UORO pour les réseaux neuronaux récurrents en mode direct simplifie le graphe de calcul des dérivées en introduisant des fausses connexions, ce qui transforme les communications ciblées en simples diffusions. Les véritables connexions sont rétablies en espérance, grâce à l’utilisation de secrets partagés sous forme de bruit corrélé. Nous étudions la variance de cette approximation. Sur la base de nos connaissances, nous introduisons une variation pratique qui réduit considérablement la variance au prix d’une augmentation des ressources de calcul. Nous établissons également un lien théorique entre REINFORCE et UORO, avec égalité jusqu’à un terme dont l’espérance est zéro mais qui contribue à une variance arbitraire. Dans les troisième et quatrième articles, nous coordonnons des processus. D’abord, nous proposons un algorithme pour trouver des politiques fortes dans des dilemmes sociaux en supposant un adversaire rationnel. Notre agent vise à trouver des politiques pour lesquelles la meilleure réponse est favorable, coordonnant ainsi de manière unilatérale les deux agents. Cette méthode est plus évolutive que les travaux antérieurs basés sur la même idée, et elle est performante sur un benchmark exigeant impliquant des politiques de réseaux neuronaux. Ensuite, nous proposons de traiter l’apprentissage multi-agents comme un jeu et d’y appliquer value learning. Il en résulte une fonction de méta-valeur ; un jeu modifié dans lequel l’apprentissage naïf est coordonné. Nous démontrons une manière efficace d’apprendre la méta-valeur en Q-learn, sans représenter explicitement l’espace d’actions continues et sans utiliser d’estimateurs REINFORCE. La méthode trouve des politiques fortes dans des dilemmes sociaux et se compare favorablement à une méthode similaire basée sur une méthode policy-gradient dans la littérature.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.