Introduction à la professionnalisation de l’évaluation : perspective globale sur les compétences des évaluateurs
Bibliographic record
Abstract
Etablir les competences ou non? Voila une question qui semble maintenant se poser pour les evaluateurs de programme et les associations d’evaluation de partout au monde. Apres environ 50 ans, les intervenants d’une variete de domaines se demandent s’il n’est pas temps de formuler un enonce des connaissances, competences, et aptitudes uniques—ou a tout le moins distincts—necessaires pour les praticiens de l’evaluation de programme. Meme si l’evaluation de programme est une pratique grandissante, reconnue comme domaine de travail et d’etudes, l’interpretation des competences necessaires pour guider la pratique de l’evaluation demeure large. De nombreux arguments, autant positifs que negatifs, ont ete formules par les observateurs concernant l’elaboration, la mise en œuvre, et l’utilisation potentielle des competences. Certains soulignent le potentiel positif d’une entente concernant un socle commun de competences au sein du domaine. En revanche, tous ne sont pas enthousiastes quant au potentiel d’un tel enonce de competences comme resume dans le texte suivant du United Kingdom Evaluation Society (UKES): Certains craignent qu’il garde la mainmise sur ce que peuvent accomplir les evaluateurs; qu’il ne pourrait inclure la grande variete de competences necessaire pour divers types d’evaluation; et qu’il pourrait fournir aux utilisateurs et gestionnaires de l’evaluation une liste inflexible de competences qui forcerait de facon inutile les evaluateurs a rendre des comptes (UKES, 2002, s.p.; traduction libre).
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.038 | 0.045 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.005 | 0.005 |
| Science and technology studies | 0.005 | 0.034 |
| Scholarly communication | 0.023 | 0.020 |
| Open science | 0.002 | 0.008 |
| Research integrity | 0.006 | 0.008 |
| Insufficient payload (model declined to judge) | 0.012 | 0.003 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".