The role of feedback in the design of learning activities
Notice bibliographique
Résumé
Learning Analytics plays an increasingly important role in informing educational institutions about their performance, and in supplying them with data on which they can guide their future policy. In this paper we analyse the challenges involved in obtaining useful data about learning activities, and in responding appropriately to them. The paper describes a case study carried out at the Open Learning Division of Thompson Rivers University which sought to lay the groundwork for an enhancement of instructional design practice by identifying the factors which are responsible for the success or failure of learning activities. The responsibility for development of learning activities lies principally with the Instructional Design team. The five members of this team were interviewed, and their perspectives were supplemented by interviews with eight lecturers, academic managers, and those responsible for faculty development. The 13 interviews were transcribed, and Qualitative Data Analysis techniques applied to draw out the principal themes. This process identified factors determining the success of learning activities, and requests for feedback, which will feed into the collection of data from students as they take their courses. On examination of the data valuable information was found which went beyond the original scope of the inquiry. This concerned, first, the methods, problems and workarounds in the instructional design group when defining activities; and second, the organisational, technical and policy constraints on the design group, and their consequences. The perceived flows of feedback within the learning activity process were analysed, from the perspective of the instructional designers, and an explanation for the barriers encountered is proposed in terms of variety management. The instructional design team is required to use its experience to resolve issues which are too complex for formal analysis, and the principal problems are identified. It is proposed that (a) documents should be developed to represent agreed practice in dealing with these problems so as to reduce cognitive load on the instructional designers; and (b) that the collection of data on learning activities should be focused on confirming the accuracy of the suppositions and mechanisms implied in this practice.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,119 | 0,325 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,002 |
| Méta-épidémiologie (sens large) | 0,002 | 0,001 |
| Bibliométrie | 0,006 | 0,003 |
| Études des sciences et des technologies | 0,004 | 0,008 |
| Communication savante | 0,017 | 0,019 |
| Science ouverte | 0,005 | 0,005 |
| Intégrité de la recherche | 0,003 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».