Rater Behaviour When Judging Language Learners’ Pragmatic Appropriateness in Extended Discourse
Pourquoi ce travail est dans la base
Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.
Notice bibliographique
Résumé
The criteria by which raters judge pragmatic appropriateness of language learners’ speech acts are underexamined, especially when raters evaluate extended discourse. To shed more light on this process, the present study investigated what factors are salient to raters when scoring pragmatic appropriateness of extended request sequences, and which specific aspects of performance they attend to as appropriate or inappropriate. Three judges evaluated request sequences using a 6-point scale, marked appropriate and inappropriate elements of each request, and explained how they approached the rating of each response. It was found that all raters oriented to the appropriateness of a request sequence as a whole, paying attention not only to the request proper but also to all follow-up moves, including appreciation and closing. Additionally, raters oriented to the surrounding context: the same expressions, such as a specific appreciation statement, were rated as appropriate in some contexts and inappropriate in others. Raters also oriented to pragmatic competence broadly, paying attention not only to appropriate pragmatic strategies and expressions in a particular context, but also to such aspects as intonation and cultural knowledge. Finally, while native and near-native speaker tendencies were observed, target speaker norms were not. Implications for pragmatics teaching and assessment are discussed.Les critères selon lesquels les évaluateurs jugent la pertinence pragmatique des actes de langage d’apprenants de langue n’ont pas suffisamment fait l’objet d’études, notamment lors de l’évaluation de longues conversations. Pour éclairer davantage le processus, la présente étude a cherché à déterminer quels facteurs les évaluateurs jugent importants dans la pertinence pragmatique de séquences de requête étendues, et quels aspects spécifiques de la performance ils estiment appropriés ou pas. Trois juges ont évalué des séquences de requête selon une échelle de 6 points, ont indiqué les éléments appropriés et inappropriés de chaque requête et ont expliqué comment ils avaient abordé l’évaluation de chaque réponse. Les résultats indiquent que tous les évaluateurs jugeaient de la pertinence d’une séquence de requête dans son intégralité, portant attention non seulement à la requête comme telle mais aussi à toutes les démarches qui la suivaient, y compris le remerciement et la clôture. De plus, les évaluateurs tenaient compte du contexte : ils jugeaient qu’une même expression, une déclaration spécifique d’appréciation par exemple, était appropriée dans un contexte donné alors qu’elle ne l’était pas dans un autre. Ils ont également considéré la compétence pragmatique globale, notant, au delà des stratégies et des expressions pragmatiques appropriées dans un contexte donné, des aspects comme l’intonation et les connaissances culturelles. Finalement, si les évaluateurs ont observé des tendances de locuteurs natifs ou quasi-natifs, on ne peut en dire autant des normes de la langue cible. On discute des incidences de l’étude sur l’enseignement et l’évaluation des compétences pragmatiques.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,009 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle