Potential scoring and predictive bias in interim and summative writing assessments.
Pourquoi ce travail est dans la base
Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.
Notice bibliographique
Résumé
Interim and summative assessments often are used to make decisions about student writing skills and needs for instruction, but the extent to which different raters and score types might introduce bias for some groups of students is largely unknown. To evaluate this possibility, we analyzed interim writing assessments and state summative test data for 2,621 students in Grades 3-11. Both teachers familiar with students and researchers unaware of students' identifying characteristics evaluated the interim assessments with analytic rubrics. Teachers assigned higher scores on the interim assessments than researchers. Female students had higher scores than males, and English learners (ELs), students eligible for free or reduced-price school lunch (FRL), and students eligible for special education (SPED) had lower scores than other students. These differences were smaller with researcher compared to teacher ratings. Across grade levels, interim assessment scores were similarly predictive of state rubric scores, scale scores, and proficiency designations across student groups. However, students identified as Hispanic, FRL, EL, or SPED had lower scale scores and a lower likelihood of reaching proficiency on the state exam. For this reason, these students' risk of unsuccessful performance on the state exam would be greater than predicted when based on interim assessment scores. These findings highlight the potential importance of masking student identities when evaluating writing to reduce scoring bias and suggest that the written composition portions of high-stakes writing examinations may be less biased against historically marginalized groups than the multiple choice portions of these exams. (PsycInfo Database Record (c) 2023 APA, all rights reserved).
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle