Modeling the world to reason and plan

Les humains construisent des modèles mentaux du monde, ce qui leur permet de raisonner et de planifier efficacement dans des situations complexes. Inspirée par cette capacité cognitive, cette thèse étudie comment les systèmes d'intelligence artificielle développent des modèles internes du monde pour guider leur comportement, en explorant les principes sous-jacents, les décisions de conception clés et les implications pratiques à travers deux perspectives distinctes mais complémentaires. Le premier article examine comment une modélisation insuffisante des relations à long terme au sein des modèles du monde limite la capacité des agents en apprentissage par renforcement (RL) à résoudre avec succès des problèmes de prise de décision, caractérisés par de longs intervalles entre les actions et les résultats ou par des tâches nécessitant le rappel d’observations lointaines. Motivés par les avancées récentes qui démontrent l’efficacité des modèles d’espace d’état dans la modélisation de séquences, nous intégrons ce paradigme dans les modèles du monde des agents RL basés sur un modèle, en proposant une nouvelle méthode appelée Recall to Imagine (R2I). Cette approche améliore considérablement la capacité des agents à prédire les états futurs, à raisonner sur les issues possibles et à prendre des décisions éclairées sur le long terme. À travers un ensemble diversifié de tâches illustratives, nous démontrons de manière systématique que R2I établit non seulement un nouvel état de l’art pour des tâches d’apprentissage par renforcement exigeantes en mémoire et en attribution de crédit, mais qu’elle affiche également des performances surhumaines dans des domaines complexes de la mémoire. Parallèlement, elle maintient des performances compétitives dans des tâches classiques ne nécessitant pas de mémoire, soulignant ainsi la généralité de notre méthode. De plus, R2I présente une forte efficacité computationnelle, entraînant une convergence rapide. Nous explorons également la relation entre la vraisemblance du modèle du monde et la performance globale de l’agent. Le second article déplace le focus des modèles explicites du monde dans le RL vers les modèles implicites du monde intégrés dans les grands modèles de langage (LLMs). Nous examinons comment l’exposition de modèles comportant un nombre énorme de paramètres à d’immenses quantités de données influence leur capacité à construire des représentations cohérentes et robustes du monde. Notre analyse révèle une relation attendue : les LLMs de plus grande taille forment des modèles internes du monde plus robustes, ce qui leur permet de mieux évaluer et résister aux informations contextuelles trompeuses ou mensongères. Cette robustesse démontre que l’ampleur rend les modèles plus grands moins susceptibles à la manipulation. De plus, nous constatons que les modèles de plus grande taille surpassent les plus petits dans l’exécution d’instructions légitimes, indiquant que leur résilience ne provient pas d’un rejet systématique de l’information contextuelle. Nous montrons également que ce phénomène n’est probablement pas le résultat d’une simple mémorisation, mais découle de la capacité des modèles à mieux exploiter l’information implicite pertinente à la tâche issue de l’invite, en complément de leurs connaissances stockées en interne. En conclusion, cette thèse fait progresser notre compréhension et la conception pratique des modèles du monde en intelligence artificielle. Plus précisément, le premier article améliore les capacités de raisonnement temporel des agents de prise de décision grâce à une modélisation du monde optimisée, tandis que le second article fournit des éclairages sur la formation implicite de modèles robustes du monde au sein des LLMs.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.