Le jugement des examinateurs dans le cas de l’épreuve d’expression orale du TEF
Bibliographic record
Abstract
Au Canada, chaque province et territoire possède ses propres critères de sélection des immigrants et les exigences linguistiques à des fins d'immigration ont une incidence importante sur les demandes des candidats. Au Québec, les candidats doivent avoir recours à des certifications standardisées de français afin d’attester de leurs connaissances de la langue. Parmi ces certifications, on retrouve le Test d’évaluation de français (TEF) qui évalue les quatre habiletés de la compétence langagière : l’expression écrite, la compréhension écrite, la compréhension orale et l’expression orale. L’évaluation de l’expression orale se réalise au moyen d’une entrevue entre un candidat et un examinateur, car cela constitue un meilleur indicateur de la compétence de la personne évaluée. Cependant, étant donné que l’entrevue implique un examinateur humain, le comportement de celui-ci peut représenter une menace possible à la fidélité du test. Malgré les nombreuses mesures prises afin de minimiser les variabilités de l’évaluation, il a été démontré que l’examinateur pouvait représenter un « effet » (biais) pouvant porter sur ses caractéristiques intrinsèques et sur ses approches en matière d’évaluation. Nous inscrivant dans une perspective qualitative/interprétative, nous avons documenté le jugement des examinateurs du TEF lors de l’évaluation de l’épreuve d’expression orale. De manière spécifique, nous avons observé s’il existait des divergences à travers leur jugement, puis nous avons brossé le portrait de leur appropriation et de leur appréciation de la grille d’évaluation. Dix participants, examinateurs TEF, ont pris part à la collecte de données au moyen d’une activité d’évaluation de candidats via la technique de la pensée à voix haute, puis en prenant part à une entrevue semi-dirigée. Les résultats révèlent que des divergences sont présentes. En effet, les examinateurs peuvent accorder une même note pour une même performance alors que leurs interprétations peuvent différer, et inversement. De plus, certains peuvent être influencés de façon positive dans leur jugement en raison de leur familiarité avec l’accent des candidats. D’autres peuvent faire des inférences non pertinentes pour produire des significations aux difficultés rencontrées par les 4 candidats. Enfin, l’attitude de l’animateur lors de la conversation avec le candidat peut être perçue différemment et entraîner une conséquence négative sur la note de ce dernier. Pour ce qui est de l’appropriation et de l’appréciation des examinateurs de la grille d’évaluation, plusieurs aspects ont été relevés. Certains descripteurs ont été interprétés différemment et ont été jugés ambigus ou vagues. De plus, les échelons B1 et B2 ont été ceux posant le plus de problèmes en raison du niveau B2 qui attribue des points aux candidats ayant un projet d’émigration au Québec. Par ailleurs, beaucoup de critiques ont été émises à l’égard d’un critère à cause des deux actions distinctes qu’il contient. Nous concluons ainsi que les points sensibles relevés dans cette recherche mériteraient une attention particulière de la part des parties prenantes concernées par le TEF afin d’amener les examinateurs à être plus constants dans leur pratique, et ainsi d’améliorer la standardisation des procédures de passation dudit test.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.006 | 0.034 |
| Meta-epidemiology (narrow) | 0.001 | 0.000 |
| Meta-epidemiology (broad) | 0.000 | 0.001 |
| Bibliometrics | 0.002 | 0.001 |
| Science and technology studies | 0.002 | 0.002 |
| Scholarly communication | 0.003 | 0.002 |
| Open science | 0.001 | 0.002 |
| Research integrity | 0.001 | 0.002 |
| Insufficient payload (model declined to judge) | 0.008 | 0.002 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".