Estimating Coherency between Survey Data and Incentivized Experimental Data
Bibliographic record
Abstract
Imagine the situation in which an econometrician can infer the distribution of welfare gains induced by the provision of higher education financial aid using survey data obtained from a set of individuals, and can estimate the same distribution using a highly incentivized field experiment in which the same set of individuals participated. In the experimental setting relying on incentivized choices, making the wrong decision can be costly. In the survey, the stakes are null and reporting false intentions and expectations is costless. In this paper, we evaluate the extent to which the decomposition of the two welfare gain distributions into latent factors are coherent. We find that individuals often put a much different weight to a specific set of determinants in the experiment and in the survey and that the valuations of financial aid are rank incoherent. About 66% of Biased Incoherency (defined as the tendency to have a higher valuation rank in the experiment than in the survey) is explained by individual heterogeneity in subjective benefits, costs and other factors and about half of these factors affect the welfare gains of financial aid in the survey and in the experiment in opposite directions. Ex-ante policy evaluation of a potential expansion of the higher education financial aid system may therefore depend heavily on whether or not the data have been obtained in an incentivized context. Imaginez la situation dans laquelle un économètre peut déduire la distribution des gains de bien-être induits par l'octroi d'une aide financière à l'enseignement supérieur à l'aide de données d'enquête obtenues auprès d'un ensemble d'individus, et peut estimer la même distribution à l'aide d'une expérience de terrain fortement incitative à laquelle le même ensemble d'individus a participé. Dans le cadre expérimental reposant sur des choix incitatifs, prendre une mauvaise décision peut être coûteux. Dans l'enquête, l'enjeu est nul et la déclaration de fausses intentions et attentes est sans coût. Dans cet article, nous évaluons dans quelle mesure la décomposition des deux distributions de gains de bien-être en facteurs latents est cohérente. Nous constatons que les individus accordent souvent un poids très différent à un ensemble spécifique de déterminants dans l'expérience et dans l'enquête et que les évaluations de l'aide financière sont incohérentes. Environ 66% de l'incohérence biaisée (définie comme la tendance à avoir un rang d'évaluation plus élevé dans l'expérience que dans l'enquête) s'explique par l'hétérogénéité individuelle des avantages subjectifs, des coûts et d'autres facteurs et environ la moitié de ces facteurs affectent les gains de bien-être de l'aide financière dans l'enquête et dans l'expérience dans des directions opposées. L'évaluation politique ex ante d'une expansion potentielle du système d'aide financière à l'enseignement supérieur peut donc dépendre fortement du fait que les données ont été obtenues ou non dans un contexte incitatif.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.213 | 0.471 |
| Meta-epidemiology (narrow) | 0.001 | 0.003 |
| Meta-epidemiology (broad) | 0.003 | 0.003 |
| Bibliometrics | 0.004 | 0.006 |
| Science and technology studies | 0.001 | 0.005 |
| Scholarly communication | 0.006 | 0.005 |
| Open science | 0.003 | 0.005 |
| Research integrity | 0.004 | 0.004 |
| Insufficient payload (model declined to judge) | 0.003 | 0.001 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; the direct Gemma label and the distilled Codex classifier agree on what is shown here.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".