MétaCan
Menu
Retour à la cohorte
Enregistrement W4401285935 · doi:10.18260/1-2--46845

Board 271: Evaluating the Effect of Multi-Attempt Digital Assessments on Student Performance in Foundation Engineering Courses

2024· article· en· W4401285935 sur OpenAlexaff
Sudeshna Pal, Ricardo Zaurín, Sierra Outerbridge, Michelle Taub, Hyoung J. Cho

Notice bibliographique

Revuenon disponible
Typearticle
Langueen
DomaineSocial Sciences
ThématiqueStudent Assessment and Feedback
Établissements canadiensInnovation Cluster (Canada)
Organismes subventionnairesDirectorate for STEM EducationNational Science FoundationNational Institutes of HealthMinistry of Education, Science and TechnologyUniversity of CincinnatiAmerican Society for Engineering Education
Mots-clésFoundation (evidence)Computer scienceEngineering managementEngineeringPolitical science

Résumé

récupéré en direct d'OpenAlex

This paper discusses the design and implementation of multi-attempt digital assessments in the foundation engineering courses of Statics and Dynamics as part of an NSF-funded project entitled "Enhancing Student Success in Engineering Curriculum through Active e-Learning and High Impact Teaching Practices (ESSEnCe)."Statics and Dynamics are fundamental courses that are critical in the graduation pathway of almost all engineering majors.At the authors' institution, the average ten-year student success rate in these courses is typically low, and the success rates of Hispanic transfer students are even lower.To address this, the authors introduced multi-attempt digital assessments to improve student success rates.Prior research has shown that frequent testing is beneficial for student learning as it allows the realization of knowledge gaps via self-regulated learning and metacognitive monitoring strategies.In this semester-long study, the authors redesigned the major assessments for multi-attempt testing in both Statics and Dynamics by creating extensive test question banks in the learning management system of Canvas.The assessments were administered digitally to the students using a Lockdown browser in Canvas at a proctored testing facility.End-of-semester surveys were administered in both courses to gauge student satisfaction and experience with this testing method.Preliminary results indicate very promising positive effects of the multi-attempt digital assessments in Statics and Dynamics courses on student performance, satisfaction, and selfreported motivation and self-regulation for all students, including Hispanic transfer students.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction distillée sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

score de la tête « metaresearch » (Codex)0,001
score de la tête « metaresearch » (Gemma)0,000
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesaucune
Catégories consensuellesaucune
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Observationnel · Signal consensuel: Observationnel
GenreSignal candidat: Empirique · Signal consensuel: Empirique
Score de désaccord entre enseignants0,077
Score d'incertitude au seuil0,318

Scores Codex et Gemma par catégorie

CatégorieCodexGemma
Métarecherche0,0010,000
Méta-épidémiologie (sens strict)0,0000,000
Méta-épidémiologie (sens large)0,0000,000
Bibliométrie0,0000,000
Études des sciences et des technologies0,0000,000
Communication savante0,0000,000
Science ouverte0,0000,000
Intégrité de la recherche0,0000,000
Charge utile insuffisante (le modèle a refusé de juger)0,0000,000

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,044
Tête enseignante GPT0,442
Écart entre enseignants0,397 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.

Les modèles n’ont appliqué aucune catégorie : rien dans la taxonomie ne correspondait à ce travail.
Devis d'étudeObservationnel
Domainenon disponible
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations0
Publié2024
Routes d'admission1
Résumé présentoui

Explorer davantage

Même sujetStudent Assessment and FeedbackTravaux en français237 207