Towards an empirical evaluation of translated texts and translation quality
Bibliographic record
Abstract
We present various empirical methods and tools that can objectify and optimize the evaluation of translated texts as parallel translation corpora produced by professional translators or by a machine translation service. The proposed methods and tools are based on an empirical analysis of information processing in translated texts and on the utilitarian role of machine translation and its methods, and they can be implemented in a tool-based translation evaluation apparatus in a professional context. The salient part of these methods (which can be deployed automatically or manually) relies on the comparison of two parameters that are measurable in most natural languages, namely the length of the segments in characters and the number of lexical words they contain. Our recent work (Poirier, 2017 and Poirier, 2021) has shown that these parameters have a strong positive correlation in translation (above 0.9 as a rule, and most often exceeding 0.95): the more characters or lexical words the source segment contains, the more characters or lexical words the translation contains. The measurement of the lexical words and the information volume of the translations allows distinguishing heteromorphic translations (more or less information) from isomorphic segments (same information content). The manual and partially automatic analysis of heteromorphic segments opens up new empirical horizons in the professional evaluation of translations as well as in the contrastive study of discourse and textual translation techniques (e.g., in phraseology, textometry and stylistics). MT can be integrated into various stages before and after the evaluation of translated texts. Upstream, it can be used as an element of comparison of mandatory or optional informational gaps (cultural or personal bias in the target language-culture) in professional translation. Downstream, it can provide the revised translation or revision with counterexamples that negatively justify the suitability or conventionality of the divergent formulations. Nous présentons différentes méthodes et outils empiriques qui sont susceptibles d’objectiver et d’optimiser l'évaluation des textes traduits en tant que corpus de traduction parallèles produits par des traducteurs professionnels ou par un service de traduction automatique. Les méthodes et outils proposés prennent appui sur une analyse empirique du traitement de l’information dans les textes traduits ainsi que sur le rôle utilitaire de la traduction automatique et de ses méthodes, et elles peuvent être mises en œuvre dans un appareillage outillé d'évaluation des traductions dans un contexte professionnel. La partie saillante de ces méthodes (qui peuvent être déployées automatiquement ou manuellement) repose sur la comparaison de deux paramètres mesurables dans la plupart des langues naturelles, à savoir la longueur des segments en caractères et le nombre de mots lexicaux qu'ils contiennent. Nos travaux récents (Poirier, 2017 et Poirier, 2021) ont montré que ces paramètres ont une forte corrélation positive en traduction (supérieure à 0,9 en règle générale, et dépassant le plus souvent 0,95) : plus le segment source contient de caractères ou de mots lexicaux, plus la traduction contient de caractères ou de mots lexicaux. La mesure des mots lexicaux et du volume informationnel des traductions permet de distinguer les traductions hétéromorphes (information en surplus ou en moins) des segments isomorphes (même contenu informationnel). L'analyse manuelle et partiellement automatique des segments hétéromorphes ouvre de nouveaux horizons empiriques dans l'évaluation professionnelle des traductions ainsi que dans l'étude contrastive des techniques de traduction discursives et textuelles (en phraséologie, en textométrie et en stylistique, par exemple). La TA peut s'intégrer à différentes étapes en amont et en aval de l’évaluation des textes traduits. En amont, elle peut servir d'élément de comparaison des écarts informationnels obligatoires ou facultatifs (biais culturels ou personnels en langue-culture cible) de la traduction professionnelle. En aval, elle peut fournir à la traduction révisée ou à la révision des contre-exemples qui justifient par la négative le caractère convenable ou conventionnel des formulations divergentes.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.110 | 0.408 |
| Meta-epidemiology (narrow) | 0.002 | 0.001 |
| Meta-epidemiology (broad) | 0.002 | 0.001 |
| Bibliometrics | 0.012 | 0.013 |
| Science and technology studies | 0.001 | 0.007 |
| Scholarly communication | 0.009 | 0.010 |
| Open science | 0.003 | 0.007 |
| Research integrity | 0.003 | 0.002 |
| Insufficient payload (model declined to judge) | 0.007 | 0.002 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".