Estimating Coherency between Survey Data and Incentivized Experimental Data
Notice bibliographique
Résumé
Imagine the situation in which an econometrician can infer the distribution of welfare gains induced by the provision of higher education financial aid using survey data obtained from a set of individuals, and can estimate the same distribution using a highly incentivized field experiment in which the same set of individuals participated. In the experimental setting relying on incentivized choices, making the wrong decision can be costly. In the survey, the stakes are null and reporting false intentions and expectations is costless. In this paper, we evaluate the extent to which the decomposition of the two welfare gain distributions into latent factors are coherent. We find that individuals often put a much different weight to a specific set of determinants in the experiment and in the survey and that the valuations of financial aid are rank incoherent. About 66% of Biased Incoherency (defined as the tendency to have a higher valuation rank in the experiment than in the survey) is explained by individual heterogeneity in subjective benefits, costs and other factors and about half of these factors affect the welfare gains of financial aid in the survey and in the experiment in opposite directions. Ex-ante policy evaluation of a potential expansion of the higher education financial aid system may therefore depend heavily on whether or not the data have been obtained in an incentivized context. Imaginez la situation dans laquelle un économètre peut déduire la distribution des gains de bien-être induits par l'octroi d'une aide financière à l'enseignement supérieur à l'aide de données d'enquête obtenues auprès d'un ensemble d'individus, et peut estimer la même distribution à l'aide d'une expérience de terrain fortement incitative à laquelle le même ensemble d'individus a participé. Dans le cadre expérimental reposant sur des choix incitatifs, prendre une mauvaise décision peut être coûteux. Dans l'enquête, l'enjeu est nul et la déclaration de fausses intentions et attentes est sans coût. Dans cet article, nous évaluons dans quelle mesure la décomposition des deux distributions de gains de bien-être en facteurs latents est cohérente. Nous constatons que les individus accordent souvent un poids très différent à un ensemble spécifique de déterminants dans l'expérience et dans l'enquête et que les évaluations de l'aide financière sont incohérentes. Environ 66% de l'incohérence biaisée (définie comme la tendance à avoir un rang d'évaluation plus élevé dans l'expérience que dans l'enquête) s'explique par l'hétérogénéité individuelle des avantages subjectifs, des coûts et d'autres facteurs et environ la moitié de ces facteurs affectent les gains de bien-être de l'aide financière dans l'enquête et dans l'expérience dans des directions opposées. L'évaluation politique ex ante d'une expansion potentielle du système d'aide financière à l'enseignement supérieur peut donc dépendre fortement du fait que les données ont été obtenues ou non dans un contexte incitatif.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,213 | 0,471 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,003 |
| Méta-épidémiologie (sens large) | 0,003 | 0,003 |
| Bibliométrie | 0,004 | 0,006 |
| Études des sciences et des technologies | 0,001 | 0,005 |
| Communication savante | 0,006 | 0,005 |
| Science ouverte | 0,003 | 0,005 |
| Intégrité de la recherche | 0,004 | 0,004 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».