Cognitive Evidence for Construct Validity of the IELTS Reading Comprehension Module: Content Analysis, Test Taking Processes, and Experts’ Accounts
Notice bibliographique
Résumé
Despite the growing demand for the International English Language Test System (IELTS) Academic as a high-stakes language proficiency test, and its significant impact on the lives of test takers, only a limited amount of validity research has been published.Among the four modules of the test, the Reading Comprehension Module (RCM) has been the least researched, with few studies examining specific dimensions of the reading construct operationalized by the test (e.g., Bax, 2013; Weir, Hawkey, Green, & Devi, 2009).Following Messick's (1989) advice that construct is central in considerations of validity and informed by Khalifa and Weir's (2009) Multi-Componential Reading Comprehension Model, this qualitative case study investigated the IELTS RCM construct.It drew evidence from three phases: 1) content analysis of an RCM sample test; 2) verbal reports of the processes used during RCM performance, elicited from three groups of test takers (N= 21) with different language backgrounds (i.e., first/L1 English; second/L2, English as a Foreign Language (EFL) learners in Iran; across levels of language proficiency); and, 3) verbal reports and interviews with (N= 10) testing experts, who judged the skills, knowledge sources, processes, and strategies (SKPSs) (Gorin, 2006), that were tapped by each RCM task.Results of the content analysis showed gaps in representing features and practices of academic reading at both levels of texts and tasks.Coding (Saldaña, 2009) of the test takers' verbal accounts indicated the test construct differed across language backgrounds and levels of language proficiency.For L2 test takers, test performance was basically task-based, consisting of careful reading at sentence and intersentential levels rather than meaningful comprehension, and raising questions about the test as a measure of the academic reading construct.The experts' accounts reinforced findings from the test takers' reports and suggest that the RCM tasks tap into micro, lexico-grammatical features rather than macro, textual comprehension.Higher order inferential global comprehension reading skills were disproportionately underrepresented.Implications for different stakeholders are discussed.The study concludes that more research is essential in order to justify the use of IELTS RCM as an English language proficiency measure.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,065 | 0,234 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,008 | 0,003 |
| Études des sciences et des technologies | 0,001 | 0,006 |
| Communication savante | 0,003 | 0,003 |
| Science ouverte | 0,001 | 0,004 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,002 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».