The Control Conditions in our Heads: Leveraging Open-Ended Questions for Experimental Studies of Prejudice

Abstract: Experiments have emerged as key tools to assess Experiments have emerged as key tools to assess how identity markers influence attitudes and behaviours, either by cuing particular considerations or activating pre-existing biases. Vignettes and conjoint designs are especially popular, enabling researchers to isolate the effects of racial, ethnic, or migration cues. Yet these experiments rarely interrogate what respondents assume absent identity cues—that is, the “control conditions” in their minds. Using data from a nationally representative survey in Canada (N=861), we explore how open-ended survey responses illuminate underlying mental schema. We analyse qualitative interpretations of baseline vignettes, without identity information, describing a person experiencing hunger or being repeatedly stopped by police. The analysis reveals how people ascribe race, class, age, parental status, and other attributes, even absent cues. The findings offer insight into the mental templates that shape perception and judgment. Incorporating open-ended questions into survey design, we argue, enriches analysis of prejudice and clarifies interpretive baselines. The technique can complement experimental methods, nuance interpretation of control conditions, and point to new identity markers for future studies. It is also scalable, increasingly feasible with online surveys and large-language modelling. This helps bridge divides between experimental and qualitative research traditions in the study of race, ethnicity, and migration. Résumé: Les expériences sont devenues des outils essentiels pour évaluer la manière dont les marqueurs identitaires influencent les attitudes et comportements, soit en suscitant certaines considérations, soit en activant des biais préexistants. Les vignettes et les dispositifs de type conjoint sont particulièrement populaires, car ils permettent aux chercheurs d’isoler les effets des indices raciaux, ethniques ou liés à la migration. Pourtant, ces expériences interrogent rarement ce que les répondants présument en l’absence de tout indice identitaire — c’est-à-dire les « conditions de contrôle » qu’ils ont en tête. À partir d’un échantillon représentatif de la population au Canada (N = 861), nous examinons comment les réponses ouvertes permettent de mettre en évidence les schémas mentaux sous-jacents. Nous analysons les interprétations qualitatives de vignettes de référence, dépourvues d’informations identitaires, décrivant une personne souffrant de la faim ou étant fréquemment interpellée par la police. L’analyse révèle que les répondants attribuent spontanément une race, une classe sociale, un âge, un statut parental et d’autres caractéristiques, même en l’absence d’indices explicites. Ces résultats offrent un aperçu des schémas mentaux qui façonnent la perception et le jugement. Nous soutenons que l’intégration de questions ouvertes dans la conception des sondages enrichit l’analyse des préjugés et clarifie les bases interprétatives. Cette technique peut compléter les méthodes expérimentales, nuancer l’interprétation des conditions de contrôle et révéler de nouveaux marqueurs identitaires pour de futures études. Elle est également évolutive, de plus en plus réalisable grâce aux sondages en ligne et aux grands modèles de langage. Cela contribue à combler les divisions entre les traditions de recherche expérimentales et qualitatives dans l’étude de la race, de l’ethnicité et de la migration.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.