Le jugement des examinateurs dans le cas de l’épreuve d’expression orale du TEF
Notice bibliographique
Résumé
Au Canada, chaque province et territoire possède ses propres critères de sélection des immigrants et les exigences linguistiques à des fins d'immigration ont une incidence importante sur les demandes des candidats. Au Québec, les candidats doivent avoir recours à des certifications standardisées de français afin d’attester de leurs connaissances de la langue. Parmi ces certifications, on retrouve le Test d’évaluation de français (TEF) qui évalue les quatre habiletés de la compétence langagière : l’expression écrite, la compréhension écrite, la compréhension orale et l’expression orale. L’évaluation de l’expression orale se réalise au moyen d’une entrevue entre un candidat et un examinateur, car cela constitue un meilleur indicateur de la compétence de la personne évaluée. Cependant, étant donné que l’entrevue implique un examinateur humain, le comportement de celui-ci peut représenter une menace possible à la fidélité du test. Malgré les nombreuses mesures prises afin de minimiser les variabilités de l’évaluation, il a été démontré que l’examinateur pouvait représenter un « effet » (biais) pouvant porter sur ses caractéristiques intrinsèques et sur ses approches en matière d’évaluation. Nous inscrivant dans une perspective qualitative/interprétative, nous avons documenté le jugement des examinateurs du TEF lors de l’évaluation de l’épreuve d’expression orale. De manière spécifique, nous avons observé s’il existait des divergences à travers leur jugement, puis nous avons brossé le portrait de leur appropriation et de leur appréciation de la grille d’évaluation. Dix participants, examinateurs TEF, ont pris part à la collecte de données au moyen d’une activité d’évaluation de candidats via la technique de la pensée à voix haute, puis en prenant part à une entrevue semi-dirigée. Les résultats révèlent que des divergences sont présentes. En effet, les examinateurs peuvent accorder une même note pour une même performance alors que leurs interprétations peuvent différer, et inversement. De plus, certains peuvent être influencés de façon positive dans leur jugement en raison de leur familiarité avec l’accent des candidats. D’autres peuvent faire des inférences non pertinentes pour produire des significations aux difficultés rencontrées par les 4 candidats. Enfin, l’attitude de l’animateur lors de la conversation avec le candidat peut être perçue différemment et entraîner une conséquence négative sur la note de ce dernier. Pour ce qui est de l’appropriation et de l’appréciation des examinateurs de la grille d’évaluation, plusieurs aspects ont été relevés. Certains descripteurs ont été interprétés différemment et ont été jugés ambigus ou vagues. De plus, les échelons B1 et B2 ont été ceux posant le plus de problèmes en raison du niveau B2 qui attribue des points aux candidats ayant un projet d’émigration au Québec. Par ailleurs, beaucoup de critiques ont été émises à l’égard d’un critère à cause des deux actions distinctes qu’il contient. Nous concluons ainsi que les points sensibles relevés dans cette recherche mériteraient une attention particulière de la part des parties prenantes concernées par le TEF afin d’amener les examinateurs à être plus constants dans leur pratique, et ainsi d’améliorer la standardisation des procédures de passation dudit test.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,006 | 0,034 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,001 |
| Bibliométrie | 0,002 | 0,001 |
| Études des sciences et des technologies | 0,002 | 0,002 |
| Communication savante | 0,003 | 0,002 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,008 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».