Implementation Evaluation of a Critical Online Resource Evaluation (CORE) Program for High School Students in Quebec
Notice bibliographique
Résumé
Being literate in the 21st century goes beyond the abilities of reading and writing; new skills and methods are required to evaluate the credibility of the information we find online. It is frequently assumed that young students, the so-called 'digital born generation,’ can discern credible information from mis/dis information or biased information; however, evidence suggests they have limited critical evaluation skills. Aware of this gap, researchers from the University of Concordia and practitioners in three high schools in Quebec implemented a Critical Online Resource Evaluation (CORE) intervention program to improve students' ability to evaluate online resources. With the vision to scale up the intervention in Canada and worldwide, it was essential to understand how the program was implemented and whether it was delivered as intended by the research team, to make informed decisions about modifications, adaptations, or refinements to improve the program's effectiveness. \nImplementation fidelity was evaluated using a pragmatic mixed methods design, concurrently collecting and analyzing quantitative and qualitative data from three sources: teachers, researchers and students. The CORE intervention was implemented with high fidelity from both teacher and researcher perspectives (79.9%, 89.0% ). While teachers adhered to the program content as planned, they adapted it to meet their classroom context. Teachers conducted the program with a high level of quality, with a mean score of 90.3% from the teacher’s perspective and 96.7% from the researcher’s perspective, suggesting they were well-prepared and confident. Students' engagement and motivation varied from the different views. From the teacher's perspective, students were highly engaged, with a mean score of 80.9%, while researchers and students perceived they were moderately engaged and motivated (77%, 69.6%). Teachers, researchers, and students concurred that the program was long, complex and the COVID topic fatiguing. Finally, the intervention highlighted group work and interactivity as the most engaging and motivating factors.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,004 | 0,001 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,002 | 0,001 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».