USING AN ONLINE MARKING SYSTEM FOR A LARGE CLASS ENVIRONMENT
Notice bibliographique
Résumé
The use of online team marking has the potential to both simplify and expedite the process of marking exams, papers, and other artifacts. An online team marking tool (Crowdmark) has been piloted at UBC in Mechanical Engineering (125 student midterm) and two common first year introduction to engineering courses (840 student final exam, and 730 student midterm and final exam).Crowdmark, the particular software tool used, printed a unique QR code on each page of each exam and then exams were written by students in a conventional pencil-andpaper fashion. After the exam, papers were digitized and uploaded to the Crowdmark system. Following a brief training and orientation session, all marking took place by teaching assistants through the Crowdmark interface. Overall grader preference was positive, with the majority of graders expressing a strong preference for the Crowdmark system over conventional paper-based grading. In MECH 223, extensive historical data for marking time was available, and a significant reduction in marking time per exam (30%) was observed. This time savings included time saved handling papers and entering grades. Additional benefits were also observed through the use of this system: grades and histograms are available per question in real-time; time and grader tracking data is available; exam regrading is simplified; and there is a digital record of each exam for archiving purposes as well as to prevent issues of students altering papers prior to requesting regrading. Special safeguards had to be put in place due to freedom of information and privacy protection (FOIPP) requirements in British Columbia. We haveobserved a slightly lower cost per graded page with Crowdmark ($0.426/page) compared to a conventional exam ($0.439/page), but this includes outsourcing printing and scanning to an industrial-scale printing company. We consider this essentially cost-neutral, but like Crowdmarkfor all of the other benefits it offers.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,000 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».