Benchmarking Course Completion Rates, a Method with an Example from the British Columbia Open University
Bibliographic record
Abstract
We report findings on the methodological phase of a research project designed to assess the progress of the British Columbia Open University (BCOU) toward a 1997 goal of increasing distance education course completion rates to British Columbia system levels by adapting existing ‘off-line’ courses for online delivery (a virtualization strategy). The method consists of identifying benchmarking factors statistically through the regression of 15 institutional factors on course completion rate data, and using these factors to establish ‘off-line’ course completion rate benchmarks. Off-line courses are print-based independent study courses providing instructional support through e-mail and telephone. The second phase of the project will attempt to benchmark BCOU online courses against their off-line counterparts. The ‘off-line’ completion rates data comprise 137 courses and 23,709 course enrolments and represent a 3-year period. Stepwise linear regression includes 8 factors and accounts for a significant amount of total variation (46.8%). The regression organizes benchmarks effectively along three Course Level and Subject Matter classification factors. We set BCOU benchmarks accordingly and compare them to the BC system. We highlight some unexpected results, including off-line completion rate benchmarks increasing over time. This suggests that BCOU’s off-line courses are making their own contribution toward BCOU’s goal of increasing distance education course completion rates to British Columbia system levels. Cet article rapporte les résultats de la phase méthodologique d’un projet de recherche conçu pour évaluer les progrès de la British Columbia Open University (BCOU) vers son objectif d’augmenter les taux de complétion des cours à distance en regard des niveaux du système scolaire de la Colombie Britannique, en adaptant les cours hors ligne pour en faire des cours en ligne (stratégie de virtualisation). La méthode consiste à identifier les facteurs d’étalonnage de façon statistique grâce à une régression sur quinze facteurs institutionnels à partir des données de complétion des cours, et en utilisant ces facteurs pour établir un étalonnage des taux de complétion de cours hors ligne. Les cours hors ligne sont sur support imprimé et de type auto-apprentissage avec encadrement par la poste, par courriel et par téléphone. La deuxième phase du projet étalonnera les cours en ligne de la BCOU en opposition à leurs contreparties hors ligne. Les données de taux de complétion hors ligne proviennent de 137 cours et de 23 709 inscriptions sur une période de trois ans. La régression linéaire comprend huit facteurs et rend compte d’un pourcentage significatif de la variation totale (46,8%). La régression organise l’étalonnage selon trois facteurs « Niveau de cours » et trois facteurs « Matière ». Nous avons établi l’étalonnage en conséquence et l’avons comparé à celui du système scolaire de la Colombie Britannique. Nous mettons en exergue des résultats inattendus, comme l’augmentation dans le temps de l’étalonnage des taux de complétion des cours hors ligne. Ceci suggère que les cours hors ligne de la BCOU apportent leur propre contribution au but d’atteindre les niveaux du système scolaire de la Colombie Britannique pour les taux de complétion des cours à distance.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.020 | 0.060 |
| Meta-epidemiology (narrow) | 0.001 | 0.000 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.005 | 0.010 |
| Science and technology studies | 0.002 | 0.001 |
| Scholarly communication | 0.002 | 0.001 |
| Open science | 0.002 | 0.002 |
| Research integrity | 0.001 | 0.001 |
| Insufficient payload (model declined to judge) | 0.002 | 0.001 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".