Reforming Language Teaching through Learner Portfolio Assessment: The Complexity of Practitioners’ Experiences
Notice bibliographique
Résumé
This mixed methods study examined practitioners’ experiences with mandatory portfolio-based language assessment (PBLA) as implemented in government-funded language programs for adult newcomers to Canada. Participants’ reports on PBLA impact on language teaching and learning were collected in two phases through online surveys (N1 = 323; N2 = 94) from three participant groups: teachers, PBLA Lead Teachers, and program administrators. Within an overarching framework of complexity theory (CT), the mixed methods survey data were analysed through the lens of the third-generation activity theory (AT) to illuminate potential sources of tensions and contradictions that became prominent after an initial grounded-theory-driven analysis of the dataset. Quantitatively, exploratory factor analysis identified dimensions of practitioner experiences with PBLA. Qualitatively, open-ended comments were analysed through abductive coding cycles leading to a thorough description of PBLA impact on LINC activity systems. Changes between the two data collection phases were traced both through individual factor scores and through quantitization of qualitative data, both of which revealed lack of positive dynamic in practitioner experiences and their appraisal of PBLA impact. The findings provided evidence for (1) re-asserting the key role of individual agency in language teaching and learning; (2) reconceptualizing learner metacognitive awareness as an emergent property of complex adaptive systems; (3) re-centering the organizing role of system activity in achieving system outcomes; (4) problematizing the linearity assumptions behind assessment washback; (5) questioning the use of power in mandatory assessment protocols for presumed improvements in language teaching and learning. Contrary to the expectations of the linear positive washback effect of the mandatory assessment protocol, the complex ecosystems of newcomer language teaching and learning experienced serious unintended consequences, undermining projected benefits. It appears that the linear behaviourist assumptions behind the washback effect underestimated the complexity of (language) teaching and learning in the settlement context. When targeting improvements in education systems, addressing the complexities of teaching and learning process may be a more promising approach than expecting such improvements to be achieved through the washback effect of assessment policies and practices.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,003 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,004 | 0,001 |
| Communication savante | 0,000 | 0,001 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,021 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».