MétaCan
Menu
← Back to cohort
Record W7071884687

A theoretical model of linguistic prediction : how contributions from various levels of semantic granularity interact with contextual representations when predicting an upcoming word

2023· other· fr· W7071884687 on OpenAlexfundno aff

Bibliographic record

VenueArchipelago (University of Quebec in Montreal) · 2023
Typeother
Languagefr
FieldNeuroscience
TopicNeurobiology of Language and Bilingualism
Canadian institutionsnot available
FundersUniversité du Québec à Montréal
KeywordsPhrasePerspective (graphical)Linguistic analysisNoun phrase
DOInot available

Abstract

fetched live from OpenAlex

Dans cette thèse, je développe un nouveau modèle théorique qui prédit le prochain mot d'une phrase. Ce modèle s'inspire de plusieurs disciplines académiques et intègre différents cadres et outils de la linguistique théorique, des sciences cognitives, de la linguistique computationnelle et des modèles du raisonnement analogique. En utilisant une perspective hautement interdisciplinaire concernant la nature de la prédiction linguistique et les types de processus cognitifs qui y sont impliqués, je présente un ensemble de desiderata cognitifs que les théories linguistiques doivent prendre en compte : incrémentalité, non-monotonie et interprétabilité du contenu sous-propositionnel. Je distingue deux types de contributions lors de la dérivation d'une prédiction linguistique : celles provenant de différents niveaux de granularité sémantique et celles provenant de la coordination de l'interaction linguistique et je présente un modèle de langage qui marie ces deux contributions. Cette approche est testée à la fois pour l'adéquation empirique et pour le réalisme cognitif. Afin de répondre aux contraintes d'adéquation empirique, nous avons vérifié que les prédictions du modèle reflètent les résultats d'études empiriques sur la procédure de cloze. Lors d'une tâche de cloze, un participant se voit présenter une phrase (ou une série de phrases) où des mots ont été omis, et le participant est ensuite invité à compléter le mot manquant. Par exemple, si on montre à un participant une phrase comme « J'ai posté ma lettre, mais j'ai oublié de mettre le... », il est relativement facile de deviner que le prochain mot sera probablement timbre et non voiture. Une fois que plusieurs participants ont accompli la même tâche de cloze, nous pouvons attribuer une valeur de prédictibilité à chaque mot enregistré en fonction de leur fréquence d'utilisation. La prédictibilité est souvent utilisée en psycholinguistique et en neurolinguistique pour mesurer les propriétés liées à la prédiction et au traitement linguistique; elle a été liée avec le temps de lecture en psycholinguistique et avec la valeur des composants N400 dans les expériences EEG en neurolinguistique. Cette thèse modélise ces valeurs de prédictibilité à l'aide d'outils statistiques et informatiques pour prédire les continuations les plus probables pour une phrase donnée en fonction du sens de cette phrase et, surtout, de la sémantique du discours précédent. Dans la théorie développée dans cette thèse, les continuations sont calculées à l'aide d'un réseau sémantique basé sur l'activation où le niveau d'activation de tout concept à un moment donné représente le degré auquel ce dernier est activé par les informations extraites de la phrase tronquée et par le contexte global. Cette valeur d'activation est proportionnelle au poids des connexions entre ces concepts et elle peut être traitée comme une probabilité de cooccurrence entre deux mots. À un instant donné, ces probabilités de cooccurrence déterminent la prédiction linguistique qui est basée sur l'interrelation entre tous les concepts représentés dans le réseau sémantique. Je dérive les réseaux sémantiques à partir des matrices de similarité qui représentent la similarité de cooccurrence entre différents niveaux de constructions linguistiques. Lors de l'attribution d'une probabilité relative d'occurrence pour les continuations potentielles, nous considérons à la fois la contribution de la phrase tronquée et la contribution du contexte global. J'ai développé des modèles pour deux types d'informations contextuelles : un modèle de topic et un modèle de situation, et je présente une représentation multicouche de la prédiction linguistique qui intègre la contribution des représentations au niveau de la phrase, la contribution du niveau contextuel et la constante interaction entre eux. Les deux niveaux de représentation ont un rôle primordial dans la dérivation de cette prédiction. Le modèle de prédiction linguistique présenté dans cette thèse est centré sur la coordination de l'interaction linguistique, et il illustre le lien crucial entre les niveaux de représentation impliqués dans le traitement pragmatique. \n_____________________________________________________________________________ \nMOTS-CLÉS DE L’AUTEUR : prédiction linguistique, représentation du contexte, influence du contexte, tâche de cloze, espace conceptuel

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.

How this classification was reachedexpand

Full frame machine prediction

Teacher imitation

Not calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.

metaresearch head score (Codex)0.003
metaresearch head score (Gemma)0.012
Version: metacan-v3-hybrid-931329e0061cValidation status: machine_predicted_unvalidated
Candidate categoriesnone
Consensus categoriesnone
DomainCandidate signal: none · Consensus signal: none
Study designCandidate signal: Theoretical or conceptual · Consensus signal: Theoretical or conceptual
GenreCandidate signal: Methods · Consensus signal: Methods
Teacher disagreement score0.011
Threshold uncertainty score0.037

Distilled classifier scores by category (both heads)

CategoryCodexGemma
Metaresearch0.0030.012
Meta-epidemiology (narrow)0.0010.001
Meta-epidemiology (broad)0.0010.002
Bibliometrics0.0020.001
Science and technology studies0.0010.004
Scholarly communication0.0060.011
Open science0.0030.003
Research integrity0.0020.002
Insufficient payload (model declined to judge)0.0110.002

Machine scores (provisional)

The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.

Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.

Opus teacher head0.022
GPT teacher head0.249
Teacher spread0.227 · how far apart the two teachers sit on this one work
Validation statusscore_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from it

Classification

machine, unvalidated

Machine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.

The models applied no category: nothing in the taxonomy fit this work.
Study designTheoretical or conceptual
Domainnot available
GenreMethods

How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".

Quick stats

Citations0
Published2023
Admission routes1
Has abstractyes

Explore more

Same venueArchipelago (University of Quebec in Montreal)→Same topicNeurobiology of Language and Bilingualism→French-language works237,207→