MétaCan
Menu
Back to cohort
Record W6929810154 · doi:10.48782/e-jiref-9-3-97

Entre principes théoriques et usages des outils d’évaluation des compétences professionnelles en stage

2023· peer-review· fr· W6929810154 on OpenAlexaffabout

Bibliographic record

VenueAssociation pour le Développement des Méthodologies d’Évaluation en Éducation - Europe · 2023
Typepeer-review
Languagefr
Field
Topic
Canadian institutionsUniversité du Québec en OutaouaisUniversité de Montréal
Fundersnot available
KeywordsContinuing educationOccupational trainingQualitative analysisInitial training

Abstract

fetched live from OpenAlex

La parution de la deuxième édition du référentiel québécois des compétences professionnelles en enseignement invite notamment à faire le point sur les pratiques évaluatives en place depuis 20 ans, et à se questionner sur l’écart qu’il peut exister entre les intentions poursuivies et les moyens retenus lors de la conception d’outils d’évaluation des compétences des stagiaires et leur usage. Pour ce faire, les réponses à une consultation réalisée auprès de stagiaires et de formateurs ont été analysées de manière quantitative et qualitative à la lumière de trois dimensions de l’évaluation des compétences professionnelles. Les résultats quantitatifs permettent de constater que les utilisateurs sont globalement satisfaits des outils d’évaluation des compétences professionnelles en stage en enseignement. L’analyse qualitative des réponses aux questions ouvertes permet de documenter les aspects moins appréciés par les utilisateurs. Par exemple, ce sont les stagiaires qui sont les plus critiques au sujet des outils et des usages, et ce, surtout concernant la dimension formative de l’évaluation des compétences professionnelles. La discussion met en lumière le fait que les forces et les faiblesses théoriques et pratiques des outils ne sont pas sur les mêmes dimensions. En conclusion, la consultation des utilisateurs au sujet des outils d’évaluation en stage et la description de leur point de vue ont permis d’identifier des pistes concrètes d’amélioration pratique et invite à approfondir la compréhension de leurs légitimités locale, institutionnelle et conceptuelle, afin de tendre vers une évaluation équitable des compétences professionnelles en contexte de stage.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.

How this classification was reachedexpand

Full frame machine prediction

Teacher imitation

Not calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.

metaresearch head score (Codex)0.048
metaresearch head score (Gemma)0.068
Version: metacan-v3-hybrid-931329e0061cValidation status: machine_predicted_unvalidated
Candidate categoriesnone
Consensus categoriesnone
DomainCandidate signal: none · Consensus signal: none
Study designCandidate signal: Qualitative · Consensus signal: none
GenreCandidate signal: Empirical · Consensus signal: none
Teacher disagreement score0.172
Threshold uncertainty score0.342

Distilled classifier scores by category (both heads)

CategoryCodexGemma
Metaresearch0.0480.068
Meta-epidemiology (narrow)0.0010.001
Meta-epidemiology (broad)0.0010.001
Bibliometrics0.0080.006
Science and technology studies0.0070.023
Scholarly communication0.0170.011
Open science0.0020.005
Research integrity0.0030.005
Insufficient payload (model declined to judge)0.0080.001

Machine scores (provisional)

The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.

Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.

Opus teacher head0.352
GPT teacher head0.447
Teacher spread0.096 · how far apart the two teachers sit on this one work
Validation statusscore_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from it

Classification

machine, unvalidated

Machine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.

The models applied no category: nothing in the taxonomy fit this work.
Study designQualitative
Domainnot available
GenreEmpirical

How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".

Quick stats

Citations1
Published2023
Admission routes2
Has abstractyes

Explore more

Same venueAssociation pour le Développement des Méthodologies d’Évaluation en Éducation - EuropeFrench-language works237,207