Application des fonctions d'influence en traitement automatique du langage
Bibliographic record
Abstract
Les récents progrès en traitement automatique du langage naturel (TALN) auront permis à cette technologie de se répandre dans de nombreux domaines d’application tels que la traduction automatique et l’automatisation de processus organisationnels. Toutefois, cette adoption demande des clarifications quant à la responsabilité ainsi que la fiabilité des systèmes fondés sur l’intelligence artificielle (IA) afin que ces derniers soient dignes de confiance. Pour s’attaquer à ces enjeux, plusieurs organisations telles que le Parlement européen et le National Institute of Standards and Technology (NIST) préconisent l’analyse de ces systèmes à l’aide des principes pour une IA digne de confiance, tels la responsabilité, la transparence et l’explicabilité, puis la robustesse, la sécurité et la sûreté. Néanmoins, l’opérationnalisation de ces principes et les exigences associées sont extrêmement difficiles à formuler. C’est particulièrement le cas pour l’explicabilité, la capacité d’expliquer le comportement d’un système fondé sur l’IA à un humain. L’IA étant une technologie guidée par les données, identifier les observations influençant une prédiction est l’une des principales approches en explicabilité. Ceci peut notamment être fait à l’aide des fonctions d’influence (FI), une technique issue des statistiques robustes. Ce mémoire présente des travaux originaux traitant de l’application des FI pour des problèmes de classification en TALN. Premièrement, on analyse comment les FI peuvent informer sur la qualité de l’annotation. Bien que de moindre qualité que les annotations par des expert.es, celles impliquant la production participative d’un large public non-spécialiste sont précieuses, particulièrement lorsque peu de données sont disponibles. De plus, l’IA générative, qui peut produire des textes en langage naturel, permet de classifier ainsi que de justifier la prédiction. Toutefois, nos expériences ont révélé des limites importantes quant aux justifications lorsqu’on considère des architectures de moindres tailles. Notamment, les justifications textuelles non structurées tendent à suivre certains gabarits, même si ces derniers sont peu présents dans les données. Bien qu’il est intuitif que ces quelques exemples utilisant ces gabarits soit influents, les FI n’abondent pas en ce sens. \n_____________________________________________________________________________ \nMOTS-CLÉS DE L’AUTEUR : fonctions d’influence, explication post-hoc, explicabilité, interprétabilité, traitement automatique du langage naturel.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.002 | 0.015 |
| Meta-epidemiology (narrow) | 0.001 | 0.000 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.002 | 0.001 |
| Science and technology studies | 0.001 | 0.001 |
| Scholarly communication | 0.002 | 0.002 |
| Open science | 0.001 | 0.001 |
| Research integrity | 0.001 | 0.001 |
| Insufficient payload (model declined to judge) | 0.005 | 0.002 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".