Ce que le pilote a mesuré.

Dans l'espace thématique de la métarecherche, 508 744 travaux sur 793 883 (64 %) ne portent aucune chaîne d'affiliation brute dans OpenAlex.

Énoncé original (findings.json) : 508,744 of 793,883 works (64%) in the metaresearch topic space have no raw affiliation strings in OpenAlex.

Sur 4 516 thématiques OpenAlex, 0 ne nomme la métarecherche comme domaine. Les 11 thématiques qui portent bel et bien du contenu métarecherche sont dispersées dans 7 domaines OpenAlex différents.

Énoncé original (findings.json) : Of 4,516 OpenAlex topics, 0 name metaresearch as a field. The 11 topics that do carry metaresearch content are scattered across 7 different OpenAlex fields.

Le seul terme reproducibility repère 43 392 travaux canadiens, dont seulement 0,8 % relèvent de l'espace thématique de la métarecherche. Le repérage par mots-clés ne peut pas séparer le sens métascientifique du sens courant.

Énoncé original (findings.json) : The single term reproducibility retrieves 43,392 Canadian works, of which only 0.8% fall in the metaresearch topic space. Keyword retrieval cannot separate the metaresearch sense from the everyday one.

Le français représente 2,7 % (395/14 873) de la métarecherche canadienne dans OpenAlex. Un lexique français dédié trouve 168 travaux canadiens, contre 8 026 en anglais.

Énoncé original (findings.json) : French is 2.7% (395/14,873) of Canadian metaresearch in OpenAlex. A dedicated French lexicon finds 168 Canadian works, against 8,026 in English.

Érudit ne correspond à aucune source dans OpenAlex (0), mais son point d'accès OAI-PMH est actif et expose 379 ensembles moissonnables.

Énoncé original (findings.json) : Erudit matches 0 sources in OpenAlex, but its OAI-PMH endpoint is live and exposes 379 harvestable sets.

La capture-recapture naïve à deux voies estime 467 541 travaux canadiens de métarecherche, ce qui impliquerait que le Canada produit 59 % de la métarecherche mondiale contre 1,9 % observé. L'estimateur est ici sans valeur ; nous l'avons supprimé plutôt que de le maquiller en borne inférieure.

Énoncé original (findings.json) : Naive two-route capture-recapture estimates 467,541 Canadian metaresearch works, implying Canada produces 59% of the world's metaresearch against an observed 1.9%. The estimator is void here; we cut it rather than dress it up as a lower bound.

Trois modèles de pointe, Opus 4.8, GPT-5.6 high et Grok 4.5, ont trié les mêmes 5 600 travaux tirés de la vraie base de 4,3 millions selon un plan dont les sept strates la PARTITIONNENT ; un plan antérieur à cinq strates ne pouvait atteindre 12,9 % de la base (D22). Les taux de base pondérés par le plan s'étendent de 2,54 % à 3,81 %, soit un rapport de 1,5. Mais le TAUX n'est pas le constat ; ce sont les ENSEMBLES. Parmi les 274 travaux qu'AU MOINS UN modèle a qualifiés de métarecherche, seulement 104, soit 38 %, l'ont été par LES TROIS, et 117, soit 43 %, reposent sur l'avis d'un seul modèle ; l'indice de Jaccard par paire des ensembles dans le champ avoisine 50 %. LA FRONTIÈRE DU DOMAINE N'EST PAS UNE LIGNE QUE LES MODÈLES PARTAGENT ; C'EST UNE RÉGION QUE CHACUN DÉCOUPE À SA FAÇON. Ce résultat reste STABLE à n = 1 000, 2 000 et 5 600, avec 37 %, 37 % et 38 % d'unanimité. UNE SECONDE AFFIRMATION, PLUS SÉDUISANTE, N'A PAS SURVÉCU : à n = 2 000, les modèles semblaient s'accorder nettement davantage sur « ce travail porte-t-il sur la recherche ? » que sur « est-il dans le champ ? », avec des écarts de 1,43 et 1,51 ; à n = 5 600, les deux écarts ne se distinguent plus du bruit, avec un rapport de 1,06, et l'affirmation est RETIRÉE (D23). La plus grande confusion entre niveaux reste OUT contre T2, à chaque taille d'échantillon : ce sont les traditions adjacentes que le critère d'inclusivité doit protéger. Le livrable n'est pas un taux de base ; c'est le dossier des désaccords, soit les 274 travaux qui marquent la frontière empirique, chacun accompagné des raisons données par les trois modèles, et les critères qui doivent être rédigés à partir d'eux.

Énoncé original (findings.json) : Three frontier models (Opus 4.8, GPT-5.6 high, Grok 4.5) screened the same 5,600 works, drawn from the real 4.3M frame under a design whose seven strata PARTITION it (an earlier five-stratum design could not reach 12.9% of the frame at all; D22). Design-weighted base rates span 2.54% to 3.81% (1.5x). But the RATE is not the finding, the SETS are: of the 274 works ANY model called metaresearch, only 104 (38%) were called metaresearch by ALL THREE, and 117 (43%) rest on a SINGLE model's opinion; pairwise Jaccard on the in-scope sets is about 50%. THE FIELD'S BOUNDARY IS NOT A LINE THE MODELS SHARE; IT IS A REGION THEY EACH CUT DIFFERENTLY, and that result is STABLE across n = 1,000, 2,000 and 5,600 (unanimity 37%, 37%, 38%). A SECOND, PRETTIER CLAIM DID NOT SURVIVE: at n = 2,000 the models agreed markedly more on 'is this about research at all' (1.43x here) than on 'is it in scope' (1.51x here), and this project said so in capitals; at n = 5,600 the two spreads are within noise (ratio 1.06) and the claim is WITHDRAWN (D23). The largest tier confusion is OUT-vs-T2, every time, at every sample size: the adjacent traditions the inclusiveness criterion exists to protect. The deliverable is not a base rate. It is the disagreement dossier, the 274 works that mark the empirical boundary, each carrying all three models' stated reasons, and the criteria that have to be written against them.

Changez le modèle qu'on appelle « le trieur » et le taux de base passe de 1,06 % à 2,37 % : un écart de 2,2 fois, soit de 45 397 à 101 776 travaux dans la base. Les deux trieurs s'accordent sur inclus ou exclu pour 98,4 % de la base après pondération du plan, mais ce chiffre est dominé par les rejets établis : l'accord tombe à 95 % à l'intérieur de la frontière contestée. L'ÉTENDUE OBTENUE EN CHANGEANT DE TRIEUR, ET NON L'IC BINOMIAL D'UN SEUL MODÈLE, EST L'INCERTITUDE HONNÊTE SUR LA TAILLE DU DOMAINE.

Énoncé original (findings.json) : Swap which model is called 'the screener' and the base rate moves from 1.06% to 2.37%: a 2.2x spread, from 45,397 to 101,776 works in the frame. The two screeners agree on in/out for 98.4% of the frame (design-weighted), but that figure is dominated by the settled rejects: agreement falls to 95% inside the contested boundary. THE SCREENER-SWAP RANGE, NOT THE BINOMIAL CI ON EITHER MODEL ALONE, IS THE HONEST UNCERTAINTY ON THE FIELD'S SIZE.

Le tri de 5 737 travaux canadiens non filtrés selon la grille situe la métarecherche à 1,31 % de la recherche canadienne, soit environ 56 206 travaux dans la base de 4 299 418, ce qui dimensionne le domaine sans aucune stratégie de recherche. L'IC à 95 % sur les étiquettes de ce trieur va de 1,03 à 1,64 %, mais c'est de l'erreur d'échantillonnage, PAS l'incertitude : changez de trieur et l'estimation tombe hors de l'intervalle (constat 10). L'étendue produite par le changement de trieur au constat 10 représente l'incertitude honnête sur la taille du domaine, et seul l'audit humain peut la resserrer.

Énoncé original (findings.json) : Screening 5,737 unfiltered Canadian works against the rubric puts metaresearch at 1.31% of Canadian research, implying ~56,206 works in the 4,299,418-work frame, sizing the field without a search strategy at all. The 95% CI on this screener's labels is 1.03-1.64%, but that is sampling error, NOT the uncertainty: swap the screener and the estimate lands outside it (finding 10). The machine-screener range in finding 10 is the honest uncertainty on field size, and only the human audit can narrow it.

Le vrai biais du taux de base n'est pas la récence mais les RÉSUMÉS MANQUANTS : 31,5 % de la partition n'en a aucun, et le tri y repère 0,78 % de métarecherche contre 1,55 % là où un résumé existe (khi carré p = 0,023, robuste à l'ajustement pour l'année et la langue). Le tiers de la base est trié sur son seul titre. Ce que cela ne montre PAS, et qu'une version antérieure affirmait à tort, c'est que l'aveuglement serait DIFFÉRENTIEL selon la tradition : la case T2 sans résumé contient 4 travaux et l'interaction n'est pas significative (p = 0,141). Cette affirmation est retirée, comme l'est « le portrait exact d'Érudit » (la strate est anglophone à 99 % et les travaux sont plus RÉCENTS, non plus anciens). L'effet principal est le constat.

Énoncé original (findings.json) : The base rate's real bias is not recency but MISSING ABSTRACTS: 31.5% of the partition has none, and the screen finds 0.78% metaresearch there against 1.55% where an abstract exists (chi-square p = 0.023, robust to adjustment for year and language). A third of the frame is screened on its title alone. What this does NOT show, and an earlier draft wrongly claimed, is that the blindness is DIFFERENTIAL by tradition: the T2 no-abstract cell holds 4 works and the interaction is not significant (p = 0.141). That claim is withdrawn, as is 'Erudit's exact profile' (the stratum is 99% English and the works are NEWER, not older). The main effect is the finding.

Deux limites des étiquettes machines, trouvées en attaquant les correctifs. (A) Le rappel de la voie thématique est de 12 % selon le trieur A et de 7 % selon le trieur B : l'instrument (ii) du constat 14 évalue les filtres sur des étiquettes de MACHINE, il mesure donc l'accord avec une machine et non l'exactitude, et le constat 10 avait déjà montré que cela varie du simple au double. La conclusion se renforce (le second trieur juge la voie encore PIRE), mais 12 % n'est pas la vérité. (B) Le pilote contient exactement 1 travail francophone dans le champ ; en voir 20 exigerait environ 1 620 notices françaises codées contre un budget d'audit de 1 000. LA SENSIBILITÉ POUR LE FRANÇAIS N'EST PAS ESTIMABLE DANS UNE BASE FONDÉE SUR LE SEUL OPENALEX. C'est un argument pour le moissonnage d'Érudit, non contre la revendication du français, mais le pilote n'a pas exécuté ce moissonnage : la puissance est donc énoncée comme une condition plutôt que comme une promesse.

Énoncé original (findings.json) : Two limits on the machine labels, found by attacking the fixes. (A) The topic route's recall is 12% against screener A and 7% against screener B: finding 14's instrument (ii) scores filters against MACHINE labels, so it measures agreement with a machine, not accuracy, and finding 10 already showed that swings by a factor of two. The conclusion strengthens (the second screener thinks the route is WORSE) but 12% is not truth. (B) The pilot holds exactly 1 French in-scope work, so seeing 20 French positives needs ~1,620 coded French records against an audit budget of 1,000. FRENCH SENSITIVITY IS NOT ESTIMABLE IN AN OPENALEX-ONLY FRAME. That is an argument for the Erudit harvest, not against the French claim, but the pilot did not run that harvest, so the power is stated as a condition rather than a promise.

Haiku, le modèle sur lequel le constat 13 budgète tout le tri, aboutit près du taux de base de Sonnet (1,27 % contre 1,06 %) et s'accorde avec lui sur 98,1 % de la base, mais leurs ENSEMBLES dans le champ ne se recoupent qu'à 16 % sans pondération et à 10 % avec la pondération du plan de sondage (Sonnet-GPT : 54 %/37 %) ; des 58 positifs de Sonnet, Haiku n'en confirme que 12. L'ACCORD SUR LE TAUX N'EST PAS L'ACCORD SUR L'ENSEMBLE. Pire : des agents du MÊME modèle sur la MÊME consigne divergent au-delà du hasard dans les DEUX volets après conditionnement sur la strate (CMH p = 0,0056 et 0,015), avec des écarts bruts de 3,1 et 5,2 fois contre 2,2 fois entre modèles, et l'ordre des agents S'INVERSE d'un volet à l'autre. Le bruit à l'intérieur d'un même modèle est au moins de la taille de la différence entre modèles, et le tri à 40 agents du pilote manque lui-même de puissance pour exclure la même instabilité (5 des 37 lots n'ont trouvé aucune métarecherche ; p = 0,113).

Énoncé original (findings.json) : Haiku, the model finding 13 budgets the entire screen on, lands near Sonnet's base rate (1.27% vs 1.06%) and agrees with it on 98.1% of the frame, but their in-scope SETS overlap 16% unweighted and 10% design-weighted (Sonnet-GPT: 54%/37%); of Sonnet's 58 positives Haiku agrees on 12. RATE AGREEMENT IS NOT SET AGREEMENT. Worse: agents of the SAME model on the SAME prompt disagree beyond chance in BOTH arms after conditioning on stratum (CMH p = 0.0056 and 0.015), with raw spreads 3.1x and 5.2x against 2.2x between models, and the agents' ordering FLIPS between arms. The noise inside one model is at least the size of the difference between models, and the pilot's own 40-agent screen is too underpowered to rule the same instability out (5 of 37 chunks found zero metaresearch; p = 0.113).

Le plus grand biais mesuré du tri est l'écart des résumés : 23,3 % de la base (1 003 117 travaux) n'a AUCUN RÉSUMÉ, et le constat 11 a montré que le tri y repère MOITIÉ moins de métarecherche. La cascade PubMed, Europe PMC puis Crossref récupère 37,8 % d'un échantillon de 500 travaux, ramenant l'exposition au tri sur seul titre à environ 14,5 % de la base. Mais J'AVAIS BÂTI LA CASCADE AUTOUR DE CROSSREF comme voie de secours indépendante des disciplines, et il a récupéré 2 résumés contre 180 pour PubMed : les éditeurs ne les déposent pas, donc CETTE VOIE DE SECOURS N'EXISTE PAS (D15). L'écart n'est donc pas une défaillance de métadonnées qu'un meilleur index corrigerait ; il est STRUCTUREL. La récupération atteint 91,2 % pour les articles de synthèse contre 6,2 % pour les chapitres de livre, 38,8 % pour l'anglais contre 15,4 % pour le français. Le raccourci tentant, « ne trier que les travaux qui ont un résumé », est donc une SÉLECTION SUR UNE COVARIABLE QUI PRÉDIT LE RÉSULTAT : il supprimerait 61,6 % des chapitres de livre contre 22,1 % des articles, ET les travaux qu'il supprime sont exactement ceux qu'aucune cascade ne peut récupérer. Défendable seulement comme exclusion DÉCLARÉE au coût mesuré, et l'audit y conserve un plancher d'échantillonnage.

Énoncé original (findings.json) : The screen's largest measured bias is the abstract gap: 23.3% of the frame (1,003,117 works) has NO ABSTRACT, and finding 11 showed the screen finds HALF as much metaresearch there. Cascading PubMed, Europe PMC and Crossref recovers 37.8% of a 500-work sample, cutting title-only exposure to ~14.5% of the frame. But I BUILT THE CASCADE AROUND CROSSREF as the discipline-agnostic rescue, and it recovered 2 abstracts against PubMed's 180: publishers do not deposit them, so THAT RESCUE DOES NOT EXIST (D15). The gap is therefore not a metadata failure a better index fixes; it is STRUCTURAL. Recovery is 91.2% for reviews against 6.2% for book chapters, 38.8% English against 15.4% French. So the tempting shortcut, 'just screen the works that have abstracts', is a SELECTION ON A COVARIATE THAT PREDICTS THE OUTCOME which would delete 61.6% of book chapters against 22.1% of articles, AND the works it deletes are exactly the works no cascade can rescue. Defensible only as a DECLARED exclusion with a measured cost, and the audit keeps a sampling floor in it.

Jointe à la base canadienne par DOI, Retraction Watch consigne 143 travaux qu'OpenAlex ne signale PAS comme rétractés, dont 49 rétractations pures et simples. Mais le sous-compte est le moindre des problèmes. 52 de ces travaux portent une EXPRESSION DE PRÉOCCUPATION, et OpenAlex N'A AUCUN CHAMP POUR CELA : is_retracted est un booléen sur un espace d'états à au moins quatre valeurs (rétractation, expression de préoccupation, correction, rétablissement) ; il peut en exprimer une et rapporte silencieusement les autres comme FALSE, ce qui se lit comme « rien à signaler ». Un booléen ne peut pas non plus porter le POURQUOI. C'est la maladie du constat 1 dans un second schéma : la base de données canonique ne peut pas exprimer la distinction sur laquelle le domaine repose.

Énoncé original (findings.json) : Joined to the Canadian frame by DOI, Retraction Watch records 143 works that OpenAlex does NOT flag as retracted, including 49 outright retractions. But the undercount is the smaller problem. 52 of these carry an EXPRESSION OF CONCERN, and OpenAlex HAS NO FIELD FOR ONE: `is_retracted` is a boolean over a state space with at least four values (retraction, expression of concern, correction, reinstatement), so it can express one and silently reports the rest as FALSE, which reads as 'fine'. Nor can a boolean carry WHY. This is finding 1's disease in a second schema: the canonical database cannot express the distinction the field turns on.

Évaluée selon la grille, la voie thématique repère 12 % de la métarecherche canadienne (IC à 95 % de 5,6 à 21,6 %) avec une précision de 60 % : elle manque 66 travaux sur 75. Elle échoue parce qu'OpenAlex classe un travail selon ce dont il traite, et la métarecherche sur la cardiologie se lit comme de la cardiologie : le domaine est invisible au repérage thématique précisément parce qu'il porte sur d'autres domaines.

Énoncé original (findings.json) : Scored against the rubric, the topic route retrieves 12% of Canadian metaresearch (95% CI 5.6-21.6%) at 60% precision: it misses 66 of 75. It fails because OpenAlex files a work by what it is about, and metaresearch about cardiology reads as cardiology: the field is invisible to topic retrieval precisely because it is about other fields.

L'ESTIMANDE PRINCIPALE s'appuie sur CA-FUND pour récupérer les travaux dont l'affiliation manque (constat 2 : 64 % n'ont aucune chaîne d'affiliation), et rien ne l'avait mise à l'épreuve. Confrontée à la base de données des IRSC eux-mêmes, soit 44 190 projets financés, l'épreuve A RÉFUTÉ L'HYPOTHÈSE QUE J'AVAIS ÉCRITE AVANT DE L'EXÉCUTER : OpenAlex étiquette 178 133 travaux de la base avec les IRSC, soit 4,03 par subvention, un taux plausible sans sous-étiquetage (DEVIATIONS.md D14). Ce que les données soutiennent, elles, n'exige aucune hypothèse de ma part : 71,2 % DE LA BASE NE PORTE AUCUNE MÉTADONNÉE DE FINANCEMENT, ce qui est le plafond absolu de CA-FUND, et 65,9 % des travaux à affiliation canadienne n'en portent pas non plus. Les deux clauses de l'estimande reposent sur des métadonnées le plus souvent absentes : c'est pourquoi la base est l'union de quatre voies, et pourquoi l'audit doit échantillonner les travaux qu'aucune voie n'a atteints.

Énoncé original (findings.json) : The PRIMARY ESTIMAND leans on CA-FUND to rescue works whose affiliation is missing (finding 2: 64% have no affiliation string), and nothing had tested it. Tested against CIHR's own database of 44,190 funded projects, the result REFUTED THE HYPOTHESIS I WROTE BEFORE RUNNING IT: OpenAlex tags 178,133 frame works with CIHR, or 4.03 per grant, a plausible rate showing no under-tagging (DEVIATIONS.md D14). What the data DOES support needs no hypothesis of mine: 71.2% OF THE FRAME CARRIES NO FUNDER METADATA AT ALL, which is CA-FUND's hard ceiling, and 65.9% of Canadian-AFFILIATED works carry none either. Both clauses of the estimand rest on metadata that is mostly absent, which is why the frame is a union of four routes and why the audit must sample the works no route reached.

L'affiliation trouve 14 873 travaux ; 3 964 autres portent sur le Canada sans affiliation canadienne. Le CRSNG a 9,2 fois plus de travaux liés que le CRSH : les règles fondées sur le financement sous-comptent donc les sciences sociales.

Énoncé original (findings.json) : Affiliation finds 14,873 works; a further 3,964 are about Canada with no Canadian affiliation. NSERC has 9.2x SSHRC's linked works, so funder-based rules under-count the social sciences.

Le registre est le seul ÉTALON DE RÉFÉRENCE de ce projet qui ne soit pas fait d'étiquettes de machine : ClinicalTrials.gov sait qu'un essai canadien a eu lieu indépendamment de toute chaîne de traitement, il ne peut donc pas se tromper en faveur de la chaîne. Des 304 publications que les PROMOTEURS EUX-MÊMES ont déclarées comme résultats d'essais achevés menés au Canada, la base en détient 160 : un rappel naïf de 52,6 %, tombé si près du 44,5 % PAR LEQUEL CETTE PROPOSITION S'OUVRE qu'il se lisait comme une réplication. C'EST UN ARTEFACT, et seule l'exécution de la désambiguïsation l'a détecté : 137 des 145 « manqués » n'ont AUCUN AUTEUR CANADIEN (essais internationaux multicentriques avec un SITE canadien), et une base de la RECHERCHE canadienne a RAISON de les exclure. Un essai avec un site canadien n'est pas une publication avec un auteur canadien. Contre la population que la base revendique réellement, le rappel est de 95,2 % (IC à 95 % de 90,8 à 97,9), et le vrai défaut tient aux 8 travaux qu'OpenAlex détient AVEC un auteur canadien et que les voies de la base ont tout de même manqués. La base est BONNE à cet exercice, le parallèle spectaculaire était une coïncidence entre deux populations différentes, et j'avais toutes les raisons de ne pas vérifier. DEVIATIONS.md D16.

Énoncé original (findings.json) : The registry is the only REFERENCE STANDARD in this project not made of machine labels: ClinicalTrials.gov knows a Canadian trial happened independently of any pipeline, so it cannot be wrong in the pipeline's favour. Of 304 publications SPONSORS THEMSELVES reported as results of completed Canadian-located trials, the frame holds 160: a naive recall of 52.6%, which fell so close to the 44.5% THIS PROPOSAL OPENS WITH that it read as a replication. IT IS AN ARTIFACT, and running the disambiguation is the only thing that caught it: 137 of the 145 'misses' have NO CANADIAN AUTHOR (multi-site international trials with a Canadian SITE), and a frame of Canadian RESEARCH is CORRECT to exclude them. A trial with a Canadian site is not a publication with a Canadian author. Against the population the frame actually claims, recall is 95.2% (95% CI 90.8-97.9), and the real defect is 8 works OpenAlex holds WITH a Canadian author that the frame's own routes still missed. The frame is GOOD at this, the dramatic parallel was a coincidence between two different populations, and I had every incentive not to check. DEVIATIONS.md D16.

La base porte 156 086 prépublications, et la tentation était d'affirmer qu'OpenAlex couvre les serveurs de prépublications et de sauter l'ingestion. C'est une AFFIRMATION DE COUVERTURE, et ce projet n'a pas le droit d'en faire une depuis l'intérieur de la chaîne de traitement même qu'elle concerne : ce serait la voie thématique certifiant son propre rappel (constat 12). Mesurée plutôt contre la PROPRE API des serveurs, OpenAlex indexe 99,6 % des 705 prépublications bioRxiv et medRxiv énumérées (3 manquantes). L'affirmation survit à la mesure ; aucune ingestion séparée de prépublications n'est donc construite.

Énoncé original (findings.json) : The frame carries 156,086 preprints, and the tempting move was to assert that OpenAlex covers the preprint servers and skip the ingest. That is a COVERAGE CLAIM, and this project does not get to make one from inside the pipeline being claimed for: it is the topic route certifying its own recall (finding 12). Measured instead against the servers' OWN API, OpenAlex indexes 99.6% of the 705 bioRxiv and medRxiv preprints enumerated (3 missing). The claim survives measurement, so no separate preprint ingest is built.

L'audit tel que d'abord spécifié ne pouvait pas mesurer ce qu'il existe pour mesurer. Un échantillon aléatoire simple de la masse rejetée de 4 243 096 notices donne 0,4 occurrence attendue sur les 600 notices budgétées ; en voir 20 exigerait 2 009 heures de codage contre les 65 prévues. Le suréchantillonnage stratifié par score ne le sauve qu'en partie, car le pilote montre que 30 des 37 travaux disputés se trouvent à la frontière contestée, et il reste AVEUGLE aux rejets assurés. Savoir quels travaux ce sont relève d'un MÉCANISME, non d'un écart mesuré : la grille dit de juger sur le seul titre en l'absence de résumé, et dit qu'un travail T2 peut n'employer aucun mot du vocabulaire du domaine ; un travail privé des deux est donc rejeté avec assurance et jamais échantillonné. Une version antérieure citait ici un chiffre de 3,6 fois comme s'il était mesuré ; il reposait sur quatre travaux et il est retiré. Le rappel se mesure donc de deux autres façons : sur les 5 737 travaux qui portent déjà des étiquettes de la grille, et par un rappel sur cibles connues à partir d'un ensemble de revues de référence, parce que la revue est un critère externe insensible à cette « aboutness » qui met tout le reste en échec.

Énoncé original (findings.json) : The audit as first specified could not measure what it exists to measure. A simple random sample of the 4,243,096-record screened-out mass yields an expected 0.4 hits from the 600 records budgeted; seeing 20 would take 2,009 coder-hours against the 65 planned. Score-stratified oversampling rescues it only partly (the pilot shows 30 of 37 disputed works sit at the contested boundary), and it stays BLIND to the confident rejects. Which works those are is a MECHANISM, not a measured differential: the rubric says judge on the title alone with no abstract, and says T2 work may use none of the field's vocabulary, so a work with neither is rejected confidently and never sampled. (An earlier version cited a 3.6x figure here as if it were measured; it rested on four works and is withdrawn.) So recall is measured two other ways: against the 5,737 works that already carry rubric labels, and by KNOWN-ITEM recall on a venue reference set, because venue is an external criterion immune to the aboutness that defeats everything else.

La grille complète appliquée par deux trieurs à la base de 4 299 418 travaux coûte 6 567 $, et non les 30 633 $ qu'une version antérieure du script annonçait : la grille est une consigne système envoyée une fois par APPEL, et les lots du pilote regroupent eux-mêmes 155 travaux par appel ; la facture était donc gonflée de 4,7 fois. Cette erreur n'était pas cosmétique. Elle m'a fait proposer un TRIAGE bon marché devant le tri, soit une ÉTAPE DE REPÉRAGE dans un projet dont le constat central est que le repérage détruit ces cartes. L'arithmétique corrigée, le triage devient inutile : la grille complète sur CHAQUE travail de la base, plus un second trieur sur un échantillon de 20 000 notices, coûte 1 110 $ avec l'instrument v1 et 1 279 $ avec l'instrument v3.1 verrouillé qui sera réellement exécuté. LE PRÉFILTRE EST SUPPRIMÉ. Le calcul est AUTOFINANCÉ : les 4 000 $ CA de l'appel couvrent, selon son propre texte, les déplacements, l'hébergement et les frais de participation connexes, non l'inférence ni la rémunération du codage (D30).

Énoncé original (findings.json) : The full rubric over the 4,299,418-work frame with two screeners costs $6,567, not the $30,633 an earlier version of this script reported: the rubric is a system prompt sent once per CALL, and the pilot's own chunks batch 155 works per call, so it was overcharged 4.7x. That error was not cosmetic. It made me propose a cheap TRIAGE in front of the screen, which is a RETRIEVAL STEP in a project whose central finding is that retrieval destroys these maps. With the arithmetic right the triage is unnecessary: the full rubric over EVERY work in the frame, plus a second screener on a 20,000-record sample, costs $1,110 at the v1 instrument and $1,279 at the locked v3.1 instrument that will actually run. THE PREFILTER IS DELETED. And the compute is SELF-FUNDED: the call's CAD $4,000 covers, in its own words, 'travel, accommodation, and related participation costs', not inference and not coder wages (D30).

L'API OpenAlex est facturée à l'usage : 1 000 crédits par environ 11 heures, avec un palier gratuit de 0,10 $. Énumérer la base canadienne de 4 299 418 travaux exige 21 498 appels paginés par curseur, soit 10 jours par passage au palier gratuit. Une chaîne de traitement fondée sur l'API à cette échelle n'est ni gratuite ni reproductible ; l'instantané épinglé est les deux.

Énoncé original (findings.json) : The OpenAlex API is metered (1,000 credits per ~11h; $0.10 free tier). Enumerating the 4,299,418-work Canadian frame needs 21,498 cursor-paged calls: 10 days per pass on the free tier. An API-based pipeline at this scale is neither free nor reproducible; the pinned snapshot is both.

LA BOUCLE PAR LOTS DE 100 FONCTIONNE, MAIS SES 20 ANCRES ALÉATOIRES NE FONCTIONNENT PAS. À budget identique, l'acquisition active (50 cas au désaccord maximal entre enseignants, 30 à l'incertitude maximale et 20 aléatoires) fait passer l'AP hors échantillon de 0,0143 à 0,1391, alors que le témoin par lots aléatoires atteint 0,0502 : un rapport de 2,8, avec une victoire dans 18 des 20 rondes et une rotation de l'ensemble positif hors échantillon qui tombe à 0,1111. À un taux de base d'environ 1 %, un lot aléatoire de 100 contient un positif, et la courbe témoin montre ce que cela permet. MAIS les ancres, censées maintenir un flux d'évaluation non biaisé, ne contiennent que 3 positifs après 400 tirages : une prévalence de 0,0057 avec un intervalle à 95 % d'une largeur de 0,01594, PLUS LARGE QUE LA QUANTITÉ ELLE-MÊME. Elles sont rétrogradées au rôle de sentinelles de dérive. LA BOUCLE APPREND ; L'AUDIT HUMAIN PRÉENREGISTRÉ MESURE. L'AP mesure ici l'accord avec l'ENSEIGNANT majoritaire ; toute la courbe mesure donc l'imitation et non l'exactitude. La première version du script concluait que la boucle SE DÉGRADAIT, parce qu'elle mesurait l'AP sur le bassin décroissant que l'algorithme modifiait lui-même ; la rotation restait exactement à 1,000 pendant vingt rondes, soit une constante et non une mesure (D33).

Énoncé original (findings.json) : THE BATCH-OF-100 LOOP WORKS, AND THE 20 RANDOM ANCHORS IN IT DO NOT. Against a random-batch control at identical budget, active acquisition (50 max-teacher-disagreement + 30 max-uncertainty + 20 random) takes held-out AP from 0.0143 to 0.1391 while the control reaches 0.0502: 2.8x, winning 18 of 20 rounds, with held-out positive-set churn falling to 0.1111. At a ~1% base rate a random batch of 100 holds one positive, and the control curve is what that buys. BUT the anchors, which were supposed to keep an unbiased evaluation stream alive, hold 3 positives after 400 draws: prevalence 0.0057 with a 95% interval 0.01594 wide, WIDER THAN THE QUANTITY ITSELF. They are demoted to drift sentinels. THE LOOP LEARNS; THE PREREGISTERED HUMAN AUDIT MEASURES. And AP here is agreement with the majority TEACHER, so the whole curve is imitation, not accuracy. The first version of this script said the loop DEGRADED, because it measured AP on the shrinking pool the algorithm was itself editing; the churn sat at exactly 1.000 for twenty rounds, which is a constant, not a measurement (D33).

UN JUGE INDÉPENDANT ET AVEUGLE CONCLUT QUE LA GRILLE EST MUETTE POUR 89 % DES TRAVAUX QUI ONT DIVISÉ LES MODÈLES. Fable 5, qui ne fait partie d'aucun des trois volets de tri, a arbitré les 179 travaux contestés en voyant les avis des trois trieurs comme A, B et C dans un ordre aléatoire, sans aucun nom de modèle ; il devait donc déterminer quelle lecture de la GRILLE était correcte plutôt que quel modèle croire. Il ne montre aucune préférence pour un volet (écart de 1,16 fois, khi carré p = 0,493) : ce n'est pas un quatrième vote pour l'un des trieurs, et il les a TOUS LES TROIS désavoués pour 6 travaux. Son verdict sur l'instrument : la grille est MUETTE pour 159 des 179 travaux contestés, et seulement 17 divergences viennent d'un trieur qui applique mal une règle existante. LA FRONTIÈRE DU DOMAINE EST FIXÉE PAR LE TRIEUR, NON PAR L'INSTRUMENT. Les zones de friction qui coûtent le plus d'accord sont methods_dev_vs_study (39 travaux), lis_sts_asymmetry (26) et history_of_science (19). C'est ce qui transforme l'arbitrage en mesure plutôt qu'en départage : non pas 179 réponses, mais un recensement pondéré par fréquence des phrases absentes de la grille et du nombre exact de travaux que chacune coûte. Les NIVEAUX attribués par le juge ne servent à rien et ne produisent aucune estimation : un modèle ne peut pas certifier un modèle, et cet argument vaut aussi pour le juge.

Énoncé original (findings.json) : AN INDEPENDENT BLINDED JUDGE SAYS THE RUBRIC IS SILENT ON 89% OF THE WORKS THE MODELS FOUGHT OVER. Fable 5, which is not one of the three screened arms, adjudicated all 179 contested works seeing three screener opinions as A/B/C in random order with no model names, so it was asked which reading of the RUBRIC is right rather than which model to trust. It shows no arm preference (spread 1.16x, chi-square p = 0.493), so it is not a fourth vote for one of the screeners, and it overruled ALL THREE on 6 works. Its verdict on the instrument: the rubric is SILENT on 159 of 179 contested works, and only 17 splits are a screener misapplying a rule that actually exists. THE FIELD'S BOUNDARY IS BEING SET BY THE SCREENER, NOT BY THE INSTRUMENT. The seams that cost the most agreement are methods_dev_vs_study (39 works), lis_sts_asymmetry (26), and history_of_science (19). This is what converts adjudication from a tiebreak into a measurement: not 179 answers, but a frequency-weighted census of which sentences the rubric is missing and exactly how many works each one costs. The judge's TIERS are used for nothing and produce no estimate: a model cannot certify a model, and that argument applies to the judge too.

LES DEUX CLAUSES DE « CANADIEN » MESURENT AUTRE CHOSE QUE CE QUE LEUR NOM ANNONCE. Le projet a consacré tous ses efforts à ce que le repérage MANQUE ; voici la première preuve solide de ce qu'il ADMET À TORT. (1) CA-AFF, clause principale de l'estimande PRINCIPALE : 17 466 travaux entrent dans la base à cause d'une « institution » canadienne qui n'existe pas. OpenAlex attribue « Discovery Air (Canada) » à un article brésilien de linguistique, « Musee de la Civilisation » à un article brésilien de sciences alimentaires et « Impact », qui n'est pas une institution mais un échec d'analyse muni d'un identifiant d'institution, à un essai espagnol sur la COVID. La voie CA-AFF contient aussi des milliers de travaux en letton et en indonésien. Ce nombre est une BORNE INFÉRIEURE : les chaînes artéfactuelles testées sont seulement celles que les agents de tri ont remarquées À L'ŒIL en faisant autre chose, et personne n'a parcouru tout le vocabulaire des institutions ; la vraie précision est donc INCONNUE, non simplement non mesurée. (2) ABOUT-CA, l'estimande SECONDAIRE : la voie de repérage signifie « le Canada apparaît dans le texte », tandis que le champ de la grille signifie « le SYSTÈME de recherche canadien est un objet d'étude substantiel » ; dans les strates entièrement fondées sur la première définition, la seconde ne s'active que pour 1,8 % à 3,5 % des travaux. Pire, `about_ca` ne peut être vrai que si le travail porte DÉJÀ sur la recherche, donc il est presque collinéaire avec le niveau : seulement 39 travaux sur 5 600 sont à la fois dans le champ ET consacrés au système de recherche canadien. L'ESTIMANDE SECONDAIRE NE PEUT PAS ÊTRE ESTIMÉE À PARTIR DE LA STRATE CONÇUE POUR ELLE. Quatre agents l'ont découvert indépendamment et ont proposé la même réparation : séparer le champ en `about_ca_system` et `about_ca_topic`, car un booléen ne distingue pas « données canadiennes, conclusion universelle » de « conclusion sur le Canada ».

Énoncé original (findings.json) : BOTH CLAUSES OF 'CANADIAN' MEASURE SOMETHING OTHER THAN WHAT THEY ARE NAMED. This project has spent all its effort on what retrieval MISSES; this is the first hard evidence about what it wrongly ADMITS. (1) CA-AFF, the PRIMARY estimand's main clause: 17,466 works enter the frame on a Canadian 'institution' that does not exist. OpenAlex hands 'Discovery Air (Canada)' to a Brazilian linguistics paper, 'Musee de la Civilisation' to a Brazilian food-science paper, and 'Impact', which is not an institution at all but a parse failure with an institution id, to a Spanish COVID essay. The CA-AFF route also carries thousands of works in Latvian and Indonesian. That count is a LOWER BOUND: the artifact strings tested are only the ones screening agents noticed BY EYE while doing something else, and nobody has swept the institution vocabulary, so the true precision is UNKNOWN rather than merely unmeasured. (2) ABOUT-CA, the SECONDARY estimand: the retrieval route means 'Canada appears in the text' and the rubric field means 'the Canadian research SYSTEM is a substantive object of study', and in the strata built entirely on the former, the latter fires on 1.8% to 3.5% of works. Worse, `about_ca` cannot be true unless the work is ALREADY about research, so it is nearly collinear with tier: only 39 works in 5,600 are both in-scope AND about the Canadian research system. THE SECONDARY ESTIMAND CANNOT BE ESTIMATED FROM THE STRATUM DESIGNED FOR IT. Four screening agents found this independently and all four proposed the same repair: split the field into `about_ca_system` and `about_ca_topic`, because one boolean cannot separate 'Canadian data, universal claim' from 'a claim about Canada'.

LE CLASSIFICATEUR NE PEUT PAS ATTRIBUER D'ÉTIQUETTES, ET LES NOMBRES DISENT POURQUOI. Avec pondération du plan, validation hors pli et regroupement par lieu de publication, les têtes enseignantes atteignent une AP de 0,17 à 0,135 pour une AUC d'environ 0,8, avec un gain de 4,68 fois dans le décile supérieur qui est réel mais orienté vers des étiquettes de MACHINE. L'ESTIMANDE DÉPLACE LE SCORE D'UN FACTEUR DE 2,7 (unanimité 0,0783, majorité 0,1364, n'importe lequel 0,2093) : il n'existe donc pas une cible unique, et en choisir une trancherait silencieusement la question que l'audit doit étudier. LE NOYAU UNANIME EST LE PLUS DIFFICILE À APPRENDRE, non le plus facile : si la frontière était une ligne commune entourée de bruit, le noyau d'accord serait la partie séparable, or il ne l'est pas. L'écart entre les têtes prédit les divisions entre enseignants à 3,74 fois le taux de base : signal réel mais faible, présenté comme un gain d'efficacité plutôt que comme une carte. Enfin, le résumé vaut PLUS QUE TOUT CHOIX DE MODÉLISATION (+0,1145 AP, soit 84 % en relatif), mais la base ne peut pas le fournir : works.csv ne contient que le booléen has_abstract, sans texte. Le modèle DÉPLOYABLE est le MOINS BON ; la construction échoue désormais si l'entraînement utilise un champ absent à l'inférence, et cet écart devient une décision budgétaire chiffrée plutôt qu'une hypothèse.

Énoncé original (findings.json) : THE CLASSIFIER MAY NOT LABEL, AND THE NUMBERS SAY WHY. Design-weighted, out-of-fold, venue-grouped: the teacher heads reach AP 0.17 to 0.135 at AUC ~0.8, with a 4.68x top-decile lift that is real and is lift toward MACHINE labels. THE ESTIMAND MOVES THE SCORE 2.7x (unanimous 0.0783, majority 0.1364, any 0.2093), so there is no 'the' target and choosing one silently settles the question the audit exists to answer. AND THE UNANIMOUS CORE IS THE HARDEST TO LEARN, not the easiest: if the boundary were a shared line with noise around it, the agreed core would be the separable part, and it is not. The between-head spread predicts where the teachers split at 3.74x the base rate: real, weak, and reported as an efficiency gain rather than a map. Finally, the abstract is worth MORE THAN ANY MODELING CHOICE (+0.1145 AP, 84% relative), and the frame cannot serve it: works.csv stores has_abstract, a boolean, and no text. The DEPLOYABLE model is the WORSE one, the build now FAILS if a model is trained on a field inference cannot supply, and the gap is a priced budget decision rather than an assumption.

UN CLASSIFICATEUR ENTRAÎNÉ SUR LES ÉTIQUETTES DES GRANDS MODÈLES DE LANGAGE NE PEUT MÊME PAS REPRODUIRE SON PROPRE ENSEIGNANT, ENCORE MOINS EN ARBITRER TROIS. Les élèves distillés de chaque modèle atteignent un indice de Jaccard de 0,17 avec leur propre enseignant, alors que les trois enseignants s'accordent ENTRE EUX à 0,50 à 0,56 : le classificateur approxime moins bien Opus que Grok. La distillation d'Opus éloigne aussi de Grok (-0,35) ; elle ne comble donc pas le désaccord entre modèles, elle s'éloigne de tous. LA BOUCLE D'AUTO-APPRENTISSAGE A ENSUITE RÉFUTÉ MA PROPRE PRÉDICTION. J'avais soutenu qu'elle réduirait la classe positive vers un noyau anglophone assuré ; appliquée à 20 000 travaux jamais vus par les modèles, elle ne l'a pas fait : dérive du taux positif de +0,00 point et de la part française de +0,00 point, car la pondération des classes empêche l'effondrement, exactement comme l'examen contradictoire l'avait averti avant l'exécution (« un risque sérieux, PAS UN THÉORÈME »). La boucle a plutôt atteint immédiatement un point fixe et recyclé ses propres étiquettes (224 puis 424 positifs d'entraînement, ensuite plus rien) : elle A CONVERGÉ SANS APPRENDRE, et un point fixe se ressemble de l'intérieur, que ses étiquettes soient justes ou fausses. La valeur réelle du classificateur est la stratification : 48,2 % des travaux dans le champ se trouvent dans son décile supérieur contre une référence aveugle de 10 %, soit un gain de 4,8 fois par unité de codage humain, tandis que les estimations pondérées par le plan restent non biaisées malgré son bruit. LA MACHINE DÉCIDE OÙ LES HUMAINS REGARDENT. ELLE N'ATTRIBUE JAMAIS D'ÉTIQUETTE.

Énoncé original (findings.json) : A CLASSIFIER TRAINED ON LLM LABELS CANNOT EVEN REPRODUCE ITS OWN TEACHER, LET ALONE ADJUDICATE THREE. Students distilled from each model match their own teacher at Jaccard 0.17, while the three teachers match EACH OTHER at 0.5 to 0.56: the classifier is a worse approximation of Opus than Grok is. Distilling from Opus also moves you AWAY from Grok (-0.35), so distillation does not bridge the models' disagreement, it degrades away from all of them. THE SELF-TRAINING LOOP THEN REFUTED MY OWN PREDICTION. I argued at length that it would shrink the positive class toward the confident anglophone core; run on 20,000 works the models never saw, it did not: positive rate drift +0.00 points, French share drift +0.00 points, because class weighting prevents the collapse, exactly as the adversarial review warned before the run ('a serious risk, NOT A THEOREM'). What the loop DID do is reach a fixed point immediately and recycle its own labels (224 -> 424 training positives, then nothing): it CONVERGED WITHOUT LEARNING, and a fixed point looks identical from the inside whether its labels are right or wrong. What the classifier IS worth is the stratifier: 48.2% of the in-scope works sit in its top decile against a blind baseline of 10%, a 4.8x lift in in-scope works found per unit of human coding effort, and design-weighted estimates stay unbiased however noisy it is. THE MACHINE DECIDES WHERE THE HUMANS LOOK. IT NEVER SUPPLIES A LABEL.

LE MODÈLE GRATUIT A ÉCHOUÉ AU SEUIL, MAIS LE SEUIL VISAIT LE MAUVAIS NIVEAU. Gemma-4-31B a trié 700 travaux selon la grille v3.1 avec 100 % de sorties conformes au schéma ; son indice de Jaccard atteint 0,44 pour la métarecherche et 0,515 pour toute catégorie contre l'union des modèles de pointe, sous le seuil prédéfini de 0,60. IL N'ÉTIQUETTE DONC PAS LA BASE : la règle demeure, car une règle déplacée après l'observation des nombres n'est plus une règle. Toutefois, sur les mêmes travaux, les modèles de pointe ne s'accordent entre eux qu'à 0,384 et 0,36, parce que chaque lot de la boucle est sélectionné POUR le désaccord : le seuil exigeait d'un modèle gratuit ce que les modèles de pointe n'atteignent pas entre eux, et Gemma a dépassé leur accord mutuel sur les deux cibles. Le test 2 est prédéfini sur la strate random_baseline, avec le raisonnement comme seuil : J(gemma, union) >= J(opus, gpt).

Énoncé original (findings.json) : THE FREE MODEL FAILED THE GATE, AND THE GATE WAS AIMED AT THE WRONG BAR. Gemma-4-31B screened 700 works under rubric v3.1 (100% schema-clean) and scored Jaccard 0.44 on metaresearch and 0.515 on any-category against the frontier union, under the prespecified 0.60 bar, SO IT DOES NOT LABEL THE FRAME: the rule stands because rules that move after the numbers exist are not rules. But the frontier models agree with each other at only 0.384 and 0.36 on the same works, because every loop batch is selected FOR disagreement: the gate demanded of a free model what the frontier models do not achieve among themselves there, and Gemma beat the frontier's own mutual agreement on both targets. Test 2 is prespecified on the random_baseline stratum with the rationale as the bar: J(gemma, union) >= J(opus, gpt).

L'INSTRUMENT VERROUILLÉ SE CONTREDIT, ET RIEN NE L'A DÉTECTÉ. La grille et le schéma de sortie définissent DEUX vocabulaires contrôlés DIFFÉRENTS pour le même champ, `genre`, avec seulement 2 valeurs communes (empirical et other) ; 4 termes n'existent que dans la grille et 7 seulement dans le schéma. Chaque trieur a reçu les deux documents avec ordre de respecter les deux, puis a inventé sa propre conciliation : GPT-5.6 et Grok ont suivi la grille et produisent donc 26,9 % et 20,9 % de valeurs ILLÉGALES selon le schéma, tandis qu'Opus a puisé dans les deux listes et émis 13 valeurs distinctes. Le validateur contrôlait `tier` mais jamais `genre`, si bien que 16 800 étiquettes ont réussi tous les contrôles exécutés. Un agent l'a découvert en le mentionnant dans une seule proposition d'un rapport sur autre chose. Rien n'a planté ; la variable avait simplement un sens différent dans chaque volet, et la variance aurait été attribuée aux modèles. Les étiquettes ne sont PAS réparées, car harmoniser les volets après avoir observé leur divergence détruirait la seule preuve de cette divergence ; le champ du genre est déclaré inutilisable et la réparation appartient à l'instrument, à une frontière de version.

Énoncé original (findings.json) : THE LOCKED INSTRUMENT CONTRADICTS ITSELF, AND NOTHING CAUGHT IT. The rubric and the output schema name TWO DIFFERENT controlled vocabularies for the same field, `genre`, overlapping on 2 values (empirical and other); 4 terms exist only in the rubric and 7 only in the schema. Every screener was handed both and told to obey both, and each invented its own reconciliation: GPT-5.6 and Grok followed the rubric and are therefore 26.9% and 20.9% ILLEGAL against the schema, while Opus drew from both lists at once and emitted 13 distinct values. The validator checked `tier` and never checked `genre`, so 16,800 labels passed every check that ran. It was found by an agent mentioning it in one clause of a report about something else. Nothing crashed; the variable simply meant a different thing in each arm, and the variance would have been attributed to the models. The labels are NOT repaired, because harmonizing the arms after seeing them would destroy the only evidence that they diverged; the genre field is reported as unusable and the fix belongs in the instrument, at a version boundary.

La base est CONSTRUITE, non estimée. Les 482 partitions d'un instantané OpenAlex épinglé ont été parcourues et filtrées en continu ; la base canadienne contient 4 299 418 travaux, chacun exactement une fois. Pendant la majeure partie du projet, « la base » comptait 3 507 205 travaux, soit une EXTRAPOLATION d'une seule partition codée en dur dans six scripts ; l'estimation était TROP BASSE DE 18 %, et tous les chiffres de coût, de puissance de l'audit et de taille du domaine calculés à partir d'elle ont changé. La voie décisive : 1 565 226 travaux, soit 36,4 % de la base, sont INVISIBLES À L'AFFILIATION SEULE. Une base fondée sur l'affiliation canadienne contiendrait 2 734 192 travaux et ne les verrait jamais. Voilà le constat 2 à l'échelle de la base ; c'est pourquoi celle-ci réunit quatre voies et pourquoi chaque notice porte la provenance de la voie qui l'a admise.

Énoncé original (findings.json) : The frame is BUILT, not estimated. All 482 partitions of a pinned OpenAlex snapshot were streamed and filtered, and the Canadian frame holds 4,299,418 works, each exactly once. For most of this project's life 'the frame' was 3,507,205, an EXTRAPOLATION from a single partition, hardcoded in six scripts; the estimate was 18% LOW, and every cost, audit-power and field-size figure computed against it has moved. The route that matters: 1,565,226 works (36.4% of the frame) are INVISIBLE TO AFFILIATION ALONE. A frame built on Canadian affiliation would hold 2,734,192 works and would never see them. That is finding 2 at frame scale, and it is why the frame is a union of four routes and why every record carries the provenance of the route that admitted it.

ÉCRIRE LES PHRASES MANQUANTES A RÉSOLU 54 % DES DÉSACCORDS CONTRE LESQUELS ELLES AVAIENT ÉTÉ ÉCRITES. Les mêmes trois modèles de pointe ont retrié sous la grille v2 les 179 travaux qui les avaient divisés sous la v1 ; les règles de la v2 provenaient d'un recensement publié et pondéré par fréquence des PHRASES ABSENTES DE LA GRILLE. Parmi les 179 travaux, 96 sont maintenant unanimes, et l'indice de Jaccard par paire pour les ensembles dans le champ passe de 0,19 à 0,36. Cette mesure, presque jamais réalisée, n'existe QUE parce que l'ambiguïté a été énumérée, arbitrée et PUBLIÉE AVANT sa résolution : le recensement est sorti en premier, empêchant d'ajuster discrètement la v2 jusqu'à obtenir de bons chiffres. PORTÉE, énoncée sans l'estomper : ces travaux ont été SÉLECTIONNÉS POUR LEUR DÉSACCORD ; le résultat montre donc que les règles résolvent les cas pour lesquels elles ont été écrites, mais il ne montre PAS que l'accord a augmenté dans toute la base, car la seule régression vers la moyenne déplacerait un ensemble ainsi sélectionné. Le test non biaisé est un retri complet des 5 600 travaux sous la v2, prédéfini, et c'est ce que réalisera le projet financé.

Énoncé original (findings.json) : WRITING THE MISSING SENTENCES RESOLVED 54% OF THE DISAGREEMENTS THEY WERE WRITTEN AGAINST. The 179 works three frontier models split on under rubric v1 were re-screened, by the same three models, under a v2 whose rules were written against a published, frequency-weighted census of WHICH SENTENCES THE RUBRIC WAS MISSING. 96 of 179 are now unanimous, and the pairwise Jaccard of the in-scope sets moves from 0.19 to 0.36. This is a measurement almost nobody makes, and it is available ONLY because the ambiguity was enumerated, adjudicated and PUBLISHED BEFORE it was resolved: the census went out first, so v2 could not be quietly tuned until the numbers looked good. SCOPE, stated rather than blurred: these works were SELECTED FOR DISAGREEMENT, so this says the rules resolve the cases they were written for; it does NOT say frame-wide agreement rose, because regression to the mean alone would move a set selected this way. The unbiased test is a full re-screen of all 5,600 under v2, prespecified, and it is what the funded work runs.

LE PLAN D'ÉCHANTILLONNAGE NE POUVAIT PAS ATTEINDRE 12,9 % DE LA BASE, ET AUCUN POIDS NE PEUT LE RÉPARER. Un plan stratifié repose sur une identité, sum(N_h) = N, qui n'avait jamais été vérifiée. Pour 549 370 travaux, soit 12,9 % de la base d'échantillonnage, la probabilité d'inclusion était EXACTEMENT NULLE : 366 856 n'étaient revendiqués par aucun prédicat parce que aff_core excluait tout ce qui portait SUR le Canada tandis que about_only excluait tout ce qui était AFFILIÉ au Canada, laissant entre les deux les travaux qui satisfaisaient les deux critères ; 182 514 autres avaient un prédicat évalué à SQL NULL, que `WHERE p` et `WHERE NOT p` refusent TOUS DEUX de sélectionner, de sorte qu'ils n'appartenaient à aucune strate et n'étaient même pas orphelins. Rien n'a échoué. Chaque strate a renvoyé exactement le nombre demandé, car elle ne peut pas connaître les travaux qu'on ne lui a jamais demandé de considérer, et le plan a produit un échantillon probabiliste impeccable DE 87 % DE LA BASE tout en donnant le nom de la base entière à chaque nombre calculé. Un travail à probabilité nulle n'est pas sous-pondéré ; il est INACCESSIBLE, et les poids du plan sont la garantie centrale du projet. LA CASE SUPPRIMÉE ÉTAIT CELLE DE L'ESTIMANDE SECONDAIRE : 328 912 travaux à affiliation canadienne portant sur le Canada, dans une étude dont l'estimande secondaire est la métarecherche sur le système de recherche canadien. La réparation ajoute le complément exact et sûr face à NULL sous forme de deux strates ; les 7 strates partitionnent maintenant la base par construction (4 255 410 = 4 255 410), ce qui est vérifié à chaque construction. Un modèle contradictoire l'a découvert en additionnant cinq nombres que je lui avais donnés. Le défaut rendait l'échantillon PLUS NET et la variance PLUS PETITE, d'où l'absence de signal d'alarme : les erreurs qui survivent sont celles qui vous flattent.

Énoncé original (findings.json) : THE SAMPLING DESIGN COULD NOT REACH 12.9% OF THE FRAME, AND NO WEIGHT CAN FIX THAT. A stratified design rests on one identity, sum(N_h) = N. It was never checked. 549,370 works (12.9% of the sampling frame) had an inclusion probability of EXACTLY ZERO: 366,856 that no predicate claimed, because aff_core excluded everything ABOUT Canada while about_only excluded everything AFFILIATED with Canada, so a work that was both fell between them; and 182,514 more whose predicate evaluated to SQL NULL, which `WHERE p` and `WHERE NOT p` BOTH decline to select, so they were in no stratum and were not even orphans. Nothing threw. Every stratum returned exactly the n it asked for, because a stratum cannot know about the works it was never asked about, and the design drew a clean textbook probability sample OF 87% OF THE FRAME while every number computed from it said 'the frame'. A zero-probability work is not underweighted, it is UNREACHABLE, and design weights are the guarantee this project leans on hardest. THE CELL IT DELETED WAS THE SECONDARY ESTIMAND'S: 328,912 Canadian-affiliated works about Canada, in a study whose secondary estimand is 'metaresearch about the Canadian research system'. Repaired by adding the exact NULL-safe complement as two strata; the 7 strata now partition the frame by construction (4,255,410 = 4,255,410), asserted on every build. It was found by an adversarial model adding up five numbers I handed it. The defect made the sample TIDIER and the variance SMALLER, which is why nothing about it felt wrong: the errors that survive are the ones that flatter you.