Towards an empirical evaluation of translated texts and translation quality
Notice bibliographique
Résumé
We present various empirical methods and tools that can objectify and optimize the evaluation of translated texts as parallel translation corpora produced by professional translators or by a machine translation service. The proposed methods and tools are based on an empirical analysis of information processing in translated texts and on the utilitarian role of machine translation and its methods, and they can be implemented in a tool-based translation evaluation apparatus in a professional context. The salient part of these methods (which can be deployed automatically or manually) relies on the comparison of two parameters that are measurable in most natural languages, namely the length of the segments in characters and the number of lexical words they contain. Our recent work (Poirier, 2017 and Poirier, 2021) has shown that these parameters have a strong positive correlation in translation (above 0.9 as a rule, and most often exceeding 0.95): the more characters or lexical words the source segment contains, the more characters or lexical words the translation contains. The measurement of the lexical words and the information volume of the translations allows distinguishing heteromorphic translations (more or less information) from isomorphic segments (same information content). The manual and partially automatic analysis of heteromorphic segments opens up new empirical horizons in the professional evaluation of translations as well as in the contrastive study of discourse and textual translation techniques (e.g., in phraseology, textometry and stylistics). MT can be integrated into various stages before and after the evaluation of translated texts. Upstream, it can be used as an element of comparison of mandatory or optional informational gaps (cultural or personal bias in the target language-culture) in professional translation. Downstream, it can provide the revised translation or revision with counterexamples that negatively justify the suitability or conventionality of the divergent formulations. Nous présentons différentes méthodes et outils empiriques qui sont susceptibles d’objectiver et d’optimiser l'évaluation des textes traduits en tant que corpus de traduction parallèles produits par des traducteurs professionnels ou par un service de traduction automatique. Les méthodes et outils proposés prennent appui sur une analyse empirique du traitement de l’information dans les textes traduits ainsi que sur le rôle utilitaire de la traduction automatique et de ses méthodes, et elles peuvent être mises en œuvre dans un appareillage outillé d'évaluation des traductions dans un contexte professionnel. La partie saillante de ces méthodes (qui peuvent être déployées automatiquement ou manuellement) repose sur la comparaison de deux paramètres mesurables dans la plupart des langues naturelles, à savoir la longueur des segments en caractères et le nombre de mots lexicaux qu'ils contiennent. Nos travaux récents (Poirier, 2017 et Poirier, 2021) ont montré que ces paramètres ont une forte corrélation positive en traduction (supérieure à 0,9 en règle générale, et dépassant le plus souvent 0,95) : plus le segment source contient de caractères ou de mots lexicaux, plus la traduction contient de caractères ou de mots lexicaux. La mesure des mots lexicaux et du volume informationnel des traductions permet de distinguer les traductions hétéromorphes (information en surplus ou en moins) des segments isomorphes (même contenu informationnel). L'analyse manuelle et partiellement automatique des segments hétéromorphes ouvre de nouveaux horizons empiriques dans l'évaluation professionnelle des traductions ainsi que dans l'étude contrastive des techniques de traduction discursives et textuelles (en phraséologie, en textométrie et en stylistique, par exemple). La TA peut s'intégrer à différentes étapes en amont et en aval de l’évaluation des textes traduits. En amont, elle peut servir d'élément de comparaison des écarts informationnels obligatoires ou facultatifs (biais culturels ou personnels en langue-culture cible) de la traduction professionnelle. En aval, elle peut fournir à la traduction révisée ou à la révision des contre-exemples qui justifient par la négative le caractère convenable ou conventionnel des formulations divergentes.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,110 | 0,408 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,001 |
| Bibliométrie | 0,012 | 0,013 |
| Études des sciences et des technologies | 0,001 | 0,007 |
| Communication savante | 0,009 | 0,010 |
| Science ouverte | 0,003 | 0,007 |
| Intégrité de la recherche | 0,003 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,007 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».