A Report on the Implementation of the Blooming Biology Tool: Aligning Course Learning Outcomes with Assessments and Promoting Consistency in a Large Multi-Section First-Year Biology Course
Notice bibliographique
Résumé
The objectives of this study were to investigate the alignment of exam questions with course learning outcomes in a first year biology majors course, to examine gaps and overlaps in assessment of content amongst the sections of the course, and to use this information to provide feedback to the teaching team to further improve the course. Our ultimate goal was to provide students with learning outcomes that would clearly indicate the content and the level at which they would be expected to learn the content for this course, regardless of the section in which they were registered. We took an evidence-based approach to course evaluation and employed the Blooming Biology Tool to compare the learning outcomes and the exam questions of the course, investigating whether the cognitive skill level of each learning outcome as written matched the level at which it was assessed. We identified misalignments and recommended revising the learning outcomes to better reflect the intended level of learning for the course. We also investigated student performance on exam questions of different cognitive levels and found that students scored statistically significantly higher (p < .05) on questions in which learning outcomes were tested at the stated cognitive skill level compared to at a higher level. Les objectifs de cette étude étaient (1) d’examiner la correspondance entre les questions d’examen et les résultats en matière d’apprentissage pour un cours de première année d’une majeure en biologie, (2) d’étudier les écarts et les chevauchements en matière d’évaluation du contenu des sections du cours et (3) d’utiliser ces informations pour fournir de la rétroaction à l’équipe des enseignants afin d’améliorer le cours. Notre but ultime était de faire en sorte que les résultats de l’apprentissage des étudiants indiquent clairement le contenu à apprendre et le niveau cognitif qu’ils devraient avoir atteint, peu importe la section à laquelle ils s’étaient inscrits. Nous avons utilisé une approche basée sur les données probantes pour évaluer le cours ainsi que l’outil de taxonomie de Bloom appliqué à biologie pour comparer les résultats d’apprentissage et les questions d’examen du cours. Nous souhaitions ainsi vérifier si le niveau de compétences cognitives tel qu’il est écrit pour chaque résultat d’apprentissage correspondait au niveau auquel il était évalué. Nous avons découvert des correspondances inadéquates et avons recommandé de réviser les résultats d’apprentissage pour mieux refléter le niveau d’apprentissage souhaité dans le cours. Nous avons également étudié la performance des étudiants aux questions d’examens en fonction de différents niveaux cognitifs et avons découvert que les résultats des étudiants étaient significativement plus élevés sur le plan statistique (p < 0,05) pour les questions où les résultats d’apprentissage étaient vérifiés au niveau des compétences cognitives déclaré, plutôt qu’à un niveau plus élevé.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,015 | 0,002 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,006 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».