Les 22 constats, rendus directement depuis pilot/results/findings.json, le fichier qu'écrivent les scripts du pilote. Aucun nombre de cette page n'a été saisi par un humain : c'est la seule façon de garantir que le site et l'analyse ne peuvent pas diverger.
Dans l'espace thématique de la métarecherche, 508 744 travaux sur 793 883 (64 %) ne portent aucune chaîne d'affiliation brute dans OpenAlex.
Énoncé original (findings.json) : 508,744 of 793,883 works (64%) in the metaresearch topic space have no raw affiliation strings in OpenAlex.
Sur 4 516 thématiques OpenAlex, 0 ne nomme la métarecherche comme domaine. Les 11 thématiques qui portent bel et bien du contenu métarecherche sont dispersées dans 7 domaines OpenAlex différents.
Énoncé original (findings.json) : Of 4,516 OpenAlex topics, 0 name metaresearch as a field. The 11 topics that do carry metaresearch content are scattered across 7 different OpenAlex fields.
Le seul terme reproducibility repère 43 392 travaux canadiens, dont seulement 0,8 % relèvent de l'espace thématique de la métarecherche. Le repérage par mots-clés ne peut pas séparer le sens métascientifique du sens courant.
Énoncé original (findings.json) : The single term reproducibility retrieves 43,392 Canadian works, of which only 0.8% fall in the metaresearch topic space. Keyword retrieval cannot separate the metaresearch sense from the everyday one.
Le français représente 2,7 % (395/14 873) de la métarecherche canadienne dans OpenAlex. Un lexique français dédié trouve 168 travaux canadiens, contre 8 026 en anglais.
Énoncé original (findings.json) : French is 2.7% (395/14,873) of Canadian metaresearch in OpenAlex. A dedicated French lexicon finds 168 Canadian works, against 8,026 in English.
Érudit ne correspond à aucune source dans OpenAlex (0), mais son point d'accès OAI-PMH est actif et expose 379 ensembles moissonnables.
Énoncé original (findings.json) : Erudit matches 0 sources in OpenAlex, but its OAI-PMH endpoint is live and exposes 379 harvestable sets.
La capture-recapture naïve à deux voies estime 467 541 travaux canadiens de métarecherche, ce qui impliquerait que le Canada produit 59 % de la métarecherche mondiale contre 1,9 % observé. L'estimateur est ici sans valeur ; nous l'avons supprimé plutôt que de le maquiller en borne inférieure.
Énoncé original (findings.json) : Naive two-route capture-recapture estimates 467,541 Canadian metaresearch works, implying Canada produces 59% of the world's metaresearch against an observed 1.9%. The estimator is void here; we cut it rather than dress it up as a lower bound.
Trois modèles de pointe (Opus 4.8, GPT-5.6 high, Grok 4.5) ont trié les mêmes 1 000 travaux de la VRAIE base de 4,3 M, sur la charge utile COMPLÈTE de huit champs de la grille, avec des lots randomisés consignés au manifeste et des étiquettes écrites par le dispositif : chaque défaut relevé par D1, D2, D11 et le constat 16, réparé. Les taux de base pondérés par le plan de sondage s'étendent de 1,89 % à 3,54 % (1,9 fois). Mais ce sont les ensembles qui font le constat, comme le constat 16 le prédisait : des 51 travaux qu'AU MOINS UN modèle a qualifiés de métarecherche, seulement 19 (37 %) l'ont été par LES TROIS, et 24 (47 %) reposent sur l'avis d'un seul modèle. LA FRONTIÈRE DU DOMAINE N'EST PAS UNE LIGNE QUE LES MODÈLES PARTAGENT ; C'EST UNE RÉGION QUE CHACUN DÉCOUPE À SA FAÇON. GPT-5.6 a de plus enfreint le schéma de sortie verrouillé sur 18 des 1 000 notices, en écrivant des valeurs de genre dans le champ du niveau, ce que le validateur de manifeste a détecté. Le livrable n'est pas le taux de base : c'est le dossier des désaccords, les 51 travaux qui marquent la frontière empirique du domaine et sur lesquels les critères d'inclusion doivent réellement être rédigés.
Énoncé original (findings.json) : Three frontier models (Opus 4.8, GPT-5.6 high, Grok 4.5) screened the same 1,000 works from the REAL 4.3M frame, on the rubric's FULL eight-field payload, with randomized manifest-logged chunks and harness-written labels: every defect D1, D2, D11 and finding 16 identified, repaired. Design-weighted base rates span 1.89% to 3.54% (1.9x). But the sets are the finding, as finding 16 predicted: of the 51 works ANY model called metaresearch, only 19 (37%) were called metaresearch by ALL THREE, and 24 (47%) rest on a single model's opinion. THE FIELD'S BOUNDARY IS NOT A LINE THE MODELS SHARE; IT IS A REGION THEY EACH CUT DIFFERENTLY. GPT-5.6 also violated the locked output schema on 18 of 1,000 records, writing genre values into the tier field, which the manifest validator caught. The deliverable is not the base rate: it is the disagreement dossier, the 51 works that mark the empirical boundary of the field and against which the inclusion criteria must actually be written.
Changez le modèle qu'on appelle « le trieur » et le taux de base passe de 1,06 % à 2,37 % : un écart de 2,2 fois, soit de 37 032 à 83 022 travaux dans la base. Les deux trieurs s'accordent sur inclus/exclu pour 98,4 % de la base (pondération du plan de sondage), mais ce chiffre est dominé par les rejets évidents : l'accord tombe à 95 % à l'intérieur de la frontière contestée. L'ÉTENDUE OBTENUE EN CHANGEANT DE TRIEUR, ET NON L'IC BINOMIAL D'UN SEUL MODÈLE, EST L'INCERTITUDE HONNÊTE SUR LA TAILLE DU DOMAINE.
Énoncé original (findings.json) : Swap which model is called 'the screener' and the base rate moves from 1.06% to 2.37%: a 2.2x spread, from 37,032 to 83,022 works in the frame. The two screeners agree on in/out for 98.4% of the frame (design-weighted), but that figure is dominated by the settled rejects: agreement falls to 95% inside the contested boundary. THE SCREENER-SWAP RANGE, NOT THE BINOMIAL CI ON EITHER MODEL ALONE, IS THE HONEST UNCERTAINTY ON THE FIELD'S SIZE.
Le tri de 5 737 travaux canadiens non filtrés selon la grille situe la métarecherche à 1,31 % de la recherche canadienne, soit environ 45 850 travaux dans la base de 3,5 M, ce qui dimensionne le domaine sans aucune stratégie de recherche. L'IC à 95 % sur les étiquettes de ce trieur va de 1,03 à 1,64 %, mais c'est de l'erreur d'échantillonnage, PAS l'incertitude : changez de trieur et l'estimation tombe hors de l'intervalle (constat 10). Le domaine se situe quelque part entre 37 000 et 83 000 travaux, et seul l'audit humain peut resserrer cela.
Énoncé original (findings.json) : Screening 5,737 unfiltered Canadian works against the rubric puts metaresearch at 1.31% of Canadian research, implying ~45,850 works in the 3.5M-work frame, sizing the field without a search strategy at all. The 95% CI on this screener's labels is 1.03-1.64%, but that is sampling error, NOT the uncertainty: swap the screener and the estimate lands outside it (finding 10). The field is somewhere between 37,000 and 83,000 works, and only the human audit can narrow that.
Le vrai biais du taux de base n'est pas la récence mais les RÉSUMÉS MANQUANTS : 31,5 % de la partition n'en a aucun, et le tri y repère 0,78 % de métarecherche contre 1,55 % là où un résumé existe (khi carré p = 0,023, robuste à l'ajustement pour l'année et la langue). Le tiers de la base est trié sur son seul titre. Ce que cela ne montre PAS, et qu'une version antérieure affirmait à tort, c'est que l'aveuglement serait DIFFÉRENTIEL selon la tradition : la case T2 sans résumé contient 4 travaux et l'interaction n'est pas significative (p = 0,141). Cette affirmation est retirée, comme l'est « le portrait exact d'Érudit » (la strate est anglophone à 99 % et les travaux sont plus RÉCENTS, non plus anciens). L'effet principal est le constat.
Énoncé original (findings.json) : The base rate's real bias is not recency but MISSING ABSTRACTS: 31.5% of the partition has none, and the screen finds 0.78% metaresearch there against 1.55% where an abstract exists (chi-square p = 0.023, robust to adjustment for year and language). A third of the frame is screened on its title alone. What this does NOT show, and an earlier draft wrongly claimed, is that the blindness is DIFFERENTIAL by tradition: the T2 no-abstract cell holds 4 works and the interaction is not significant (p = 0.141). That claim is withdrawn, as is 'Erudit's exact profile' (the stratum is 99% English and the works are NEWER, not older). The main effect is the finding.
Deux limites des étiquettes machines, trouvées en attaquant les correctifs. (A) Le rappel de la voie thématique est de 12 % selon le trieur A et de 7 % selon le trieur B : l'instrument (ii) du constat 14 évalue les filtres sur des étiquettes de MACHINE, il mesure donc l'accord avec une machine et non l'exactitude, et le constat 10 avait déjà montré que cela varie du simple au double. La conclusion se renforce (le second trieur juge la voie encore PIRE), mais 12 % n'est pas la vérité. (B) Le pilote contient exactement 1 travail francophone dans le champ ; en voir 20 exigerait environ 1 620 notices françaises codées contre un budget d'audit de 1 000. LA SENSIBILITÉ POUR LE FRANÇAIS N'EST PAS ESTIMABLE DANS UNE BASE FONDÉE SUR LE SEUL OPENALEX. C'est un argument pour le moissonnage d'Érudit, non contre la revendication du français, mais le pilote n'a pas exécuté ce moissonnage : la puissance est donc énoncée comme une condition plutôt que comme une promesse.
Énoncé original (findings.json) : Two limits on the machine labels, found by attacking the fixes. (A) The topic route's recall is 12% against screener A and 7% against screener B: finding 14's instrument (ii) scores filters against MACHINE labels, so it measures agreement with a machine, not accuracy, and finding 10 already showed that swings by a factor of two. The conclusion strengthens (the second screener thinks the route is WORSE) but 12% is not truth. (B) The pilot holds exactly 1 French in-scope work, so seeing 20 French positives needs ~1,620 coded French records against an audit budget of 1,000. FRENCH SENSITIVITY IS NOT ESTIMABLE IN AN OPENALEX-ONLY FRAME. That is an argument for the Erudit harvest, not against the French claim, but the pilot did not run that harvest, so the power is stated as a condition rather than a promise.
Haiku, le modèle sur lequel le constat 13 budgète tout le tri, aboutit près du taux de base de Sonnet (1,27 % contre 1,06 %) et s'accorde avec lui sur 98,1 % de la base, mais leurs ENSEMBLES dans le champ ne se recoupent qu'à 16 % sans pondération et à 10 % avec la pondération du plan de sondage (Sonnet-GPT : 54 %/37 %) ; des 58 positifs de Sonnet, Haiku n'en confirme que 12. L'ACCORD SUR LE TAUX N'EST PAS L'ACCORD SUR L'ENSEMBLE. Pire : des agents du MÊME modèle sur la MÊME consigne divergent au-delà du hasard dans les DEUX volets après conditionnement sur la strate (CMH p = 0,0056 et 0,015), avec des écarts bruts de 3,1 et 5,2 fois contre 2,2 fois entre modèles, et l'ordre des agents S'INVERSE d'un volet à l'autre. Le bruit à l'intérieur d'un même modèle est au moins de la taille de la différence entre modèles, et le tri à 40 agents du pilote manque lui-même de puissance pour exclure la même instabilité (5 des 37 lots n'ont trouvé aucune métarecherche ; p = 0,113).
Énoncé original (findings.json) : Haiku, the model finding 13 budgets the entire screen on, lands near Sonnet's base rate (1.27% vs 1.06%) and agrees with it on 98.1% of the frame, but their in-scope SETS overlap 16% unweighted and 10% design-weighted (Sonnet-GPT: 54%/37%); of Sonnet's 58 positives Haiku agrees on 12. RATE AGREEMENT IS NOT SET AGREEMENT. Worse: agents of the SAME model on the SAME prompt disagree beyond chance in BOTH arms after conditioning on stratum (CMH p = 0.0056 and 0.015), with raw spreads 3.1x and 5.2x against 2.2x between models, and the agents' ordering FLIPS between arms. The noise inside one model is at least the size of the difference between models, and the pilot's own 40-agent screen is too underpowered to rule the same instability out (5 of 37 chunks found zero metaresearch; p = 0.113).
Le plus grand biais mesuré du tri est l'écart des résumés : 23,3 % de la base (1 003 117 travaux) n'a AUCUN RÉSUMÉ, et le constat 11 a montré que le tri y repère MOITIÉ moins de métarecherche. La cascade PubMed, Europe PMC puis Crossref récupère 37,8 % d'un échantillon de 500 travaux, ramenant l'exposition au tri sur seul titre à environ 14,5 % de la base. Mais J'AVAIS BÂTI LA CASCADE AUTOUR DE CROSSREF comme voie de secours indépendante des disciplines, et il a récupéré 2 résumés contre 180 pour PubMed : les éditeurs ne les déposent pas, donc CETTE VOIE DE SECOURS N'EXISTE PAS (D15). L'écart n'est donc pas une défaillance de métadonnées qu'un meilleur index corrigerait ; il est STRUCTUREL. La récupération atteint 91,2 % pour les articles de synthèse contre 6,2 % pour les chapitres de livre, 38,8 % pour l'anglais contre 15,4 % pour le français. Le raccourci tentant, « ne trier que les travaux qui ont un résumé », est donc une SÉLECTION SUR UNE COVARIABLE QUI PRÉDIT LE RÉSULTAT : il supprimerait 61,6 % des chapitres de livre contre 22,1 % des articles, ET les travaux qu'il supprime sont exactement ceux qu'aucune cascade ne peut récupérer. Défendable seulement comme exclusion DÉCLARÉE au coût mesuré, et l'audit y conserve un plancher d'échantillonnage.
Énoncé original (findings.json) : The screen's largest measured bias is the abstract gap: 23.3% of the frame (1,003,117 works) has NO ABSTRACT, and finding 11 showed the screen finds HALF as much metaresearch there. Cascading PubMed, Europe PMC and Crossref recovers 37.8% of a 500-work sample, cutting title-only exposure to ~14.5% of the frame. But I BUILT THE CASCADE AROUND CROSSREF as the discipline-agnostic rescue, and it recovered 2 abstracts against PubMed's 180: publishers do not deposit them, so THAT RESCUE DOES NOT EXIST (D15). The gap is therefore not a metadata failure a better index fixes; it is STRUCTURAL. Recovery is 91.2% for reviews against 6.2% for book chapters, 38.8% English against 15.4% French. So the tempting shortcut, 'just screen the works that have abstracts', is a SELECTION ON A COVARIATE THAT PREDICTS THE OUTCOME which would delete 61.6% of book chapters against 22.1% of articles, AND the works it deletes are exactly the works no cascade can rescue. Defensible only as a DECLARED exclusion with a measured cost, and the audit keeps a sampling floor in it.
Jointe à la base canadienne par DOI, Retraction Watch consigne 143 travaux qu'OpenAlex ne signale PAS comme rétractés, dont 49 rétractations pures et simples. Mais le sous-compte est le moindre des problèmes. 52 de ces travaux portent une EXPRESSION DE PRÉOCCUPATION, et OpenAlex N'A AUCUN CHAMP POUR CELA : is_retracted est un booléen sur un espace d'états à au moins quatre valeurs (rétractation, expression de préoccupation, correction, rétablissement) ; il peut en exprimer une et rapporte silencieusement les autres comme FALSE, ce qui se lit comme « rien à signaler ». Un booléen ne peut pas non plus porter le POURQUOI. C'est la maladie du constat 1 dans un second schéma : la base de données canonique ne peut pas exprimer la distinction sur laquelle le domaine repose.
Énoncé original (findings.json) : Joined to the Canadian frame by DOI, Retraction Watch records 143 works that OpenAlex does NOT flag as retracted, including 49 outright retractions. But the undercount is the smaller problem. 52 of these carry an EXPRESSION OF CONCERN, and OpenAlex HAS NO FIELD FOR ONE: `is_retracted` is a boolean over a state space with at least four values (retraction, expression of concern, correction, reinstatement), so it can express one and silently reports the rest as FALSE, which reads as 'fine'. Nor can a boolean carry WHY. This is finding 1's disease in a second schema: the canonical database cannot express the distinction the field turns on.
Évaluée selon la grille, la voie thématique repère 12 % de la métarecherche canadienne (IC à 95 % de 5,6 à 21,6 %) avec une précision de 60 % : elle manque 66 travaux sur 75. Elle échoue parce qu'OpenAlex classe un travail selon ce dont il traite, et la métarecherche sur la cardiologie se lit comme de la cardiologie : le domaine est invisible au repérage thématique précisément parce qu'il porte sur d'autres domaines.
Énoncé original (findings.json) : Scored against the rubric, the topic route retrieves 12% of Canadian metaresearch (95% CI 5.6-21.6%) at 60% precision: it misses 66 of 75. It fails because OpenAlex files a work by what it is about, and metaresearch about cardiology reads as cardiology: the field is invisible to topic retrieval precisely because it is about other fields.
L'ESTIMANDE PRINCIPALE s'appuie sur CA-FUND pour récupérer les travaux dont l'affiliation manque (constat 2 : 64 % n'ont aucune chaîne d'affiliation), et rien ne l'avait mise à l'épreuve. Confrontée à la base de données des IRSC eux-mêmes, soit 44 190 projets financés, l'épreuve A RÉFUTÉ L'HYPOTHÈSE QUE J'AVAIS ÉCRITE AVANT DE L'EXÉCUTER : OpenAlex étiquette 178 133 travaux de la base avec les IRSC, soit 4,03 par subvention, un taux plausible sans sous-étiquetage (DEVIATIONS.md D14). Ce que les données soutiennent, elles, n'exige aucune hypothèse de ma part : 71,2 % DE LA BASE NE PORTE AUCUNE MÉTADONNÉE DE FINANCEMENT, ce qui est le plafond absolu de CA-FUND, et 65,9 % des travaux à affiliation canadienne n'en portent pas non plus. Les deux clauses de l'estimande reposent sur des métadonnées le plus souvent absentes : c'est pourquoi la base est l'union de quatre voies, et pourquoi l'audit doit échantillonner les travaux qu'aucune voie n'a atteints.
Énoncé original (findings.json) : The PRIMARY ESTIMAND leans on CA-FUND to rescue works whose affiliation is missing (finding 2: 64% have no affiliation string), and nothing had tested it. Tested against CIHR's own database of 44,190 funded projects, the result REFUTED THE HYPOTHESIS I WROTE BEFORE RUNNING IT: OpenAlex tags 178,133 frame works with CIHR, or 4.03 per grant, a plausible rate showing no under-tagging (DEVIATIONS.md D14). What the data DOES support needs no hypothesis of mine: 71.2% OF THE FRAME CARRIES NO FUNDER METADATA AT ALL, which is CA-FUND's hard ceiling, and 65.9% of Canadian-AFFILIATED works carry none either. Both clauses of the estimand rest on metadata that is mostly absent, which is why the frame is a union of four routes and why the audit must sample the works no route reached.
L'affiliation trouve 14 873 travaux ; 3 964 autres portent sur le Canada sans affiliation canadienne. Le CRSNG a 9,2 fois plus de travaux liés que le CRSH : les règles fondées sur le financement sous-comptent donc les sciences sociales.
Énoncé original (findings.json) : Affiliation finds 14,873 works; a further 3,964 are about Canada with no Canadian affiliation. NSERC has 9.2x SSHRC's linked works, so funder-based rules under-count the social sciences.
Le registre est le seul ÉTALON DE RÉFÉRENCE de ce projet qui ne soit pas fait d'étiquettes de machine : ClinicalTrials.gov sait qu'un essai canadien a eu lieu indépendamment de toute chaîne de traitement, il ne peut donc pas se tromper en faveur de la chaîne. Des 304 publications que les PROMOTEURS EUX-MÊMES ont déclarées comme résultats d'essais achevés menés au Canada, la base en détient 160 : un rappel naïf de 52,6 %, tombé si près du 44,5 % PAR LEQUEL CETTE PROPOSITION S'OUVRE qu'il se lisait comme une réplication. C'EST UN ARTEFACT, et seule l'exécution de la désambiguïsation l'a détecté : 137 des 145 « manqués » n'ont AUCUN AUTEUR CANADIEN (essais internationaux multicentriques avec un SITE canadien), et une base de la RECHERCHE canadienne a RAISON de les exclure. Un essai avec un site canadien n'est pas une publication avec un auteur canadien. Contre la population que la base revendique réellement, le rappel est de 95,2 % (IC à 95 % de 90,8 à 97,9), et le vrai défaut tient aux 8 travaux qu'OpenAlex détient AVEC un auteur canadien et que les voies de la base ont tout de même manqués. La base est BONNE à cet exercice, le parallèle spectaculaire était une coïncidence entre deux populations différentes, et j'avais toutes les raisons de ne pas vérifier. DEVIATIONS.md D16.
Énoncé original (findings.json) : The registry is the only REFERENCE STANDARD in this project not made of machine labels: ClinicalTrials.gov knows a Canadian trial happened independently of any pipeline, so it cannot be wrong in the pipeline's favour. Of 304 publications SPONSORS THEMSELVES reported as results of completed Canadian-located trials, the frame holds 160: a naive recall of 52.6%, which fell so close to the 44.5% THIS PROPOSAL OPENS WITH that it read as a replication. IT IS AN ARTIFACT, and running the disambiguation is the only thing that caught it: 137 of the 145 'misses' have NO CANADIAN AUTHOR (multi-site international trials with a Canadian SITE), and a frame of Canadian RESEARCH is CORRECT to exclude them. A trial with a Canadian site is not a publication with a Canadian author. Against the population the frame actually claims, recall is 95.2% (95% CI 90.8-97.9), and the real defect is 8 works OpenAlex holds WITH a Canadian author that the frame's own routes still missed. The frame is GOOD at this, the dramatic parallel was a coincidence between two different populations, and I had every incentive not to check. DEVIATIONS.md D16.
La base porte 156 086 prépublications, et la tentation était d'affirmer qu'OpenAlex couvre les serveurs de prépublications et de sauter l'ingestion. C'est une AFFIRMATION DE COUVERTURE, et ce projet n'a pas le droit d'en faire une depuis l'intérieur de la chaîne de traitement même qu'elle concerne : ce serait la voie thématique certifiant son propre rappel (constat 12). Mesurée plutôt contre la PROPRE API des serveurs, OpenAlex indexe 99,6 % des 705 prépublications bioRxiv et medRxiv énumérées (3 manquantes). L'affirmation survit à la mesure ; aucune ingestion séparée de prépublications n'est donc construite.
Énoncé original (findings.json) : The frame carries 156,086 preprints, and the tempting move was to assert that OpenAlex covers the preprint servers and skip the ingest. That is a COVERAGE CLAIM, and this project does not get to make one from inside the pipeline being claimed for: it is the topic route certifying its own recall (finding 12). Measured instead against the servers' OWN API, OpenAlex indexes 99.6% of the 705 bioRxiv and medRxiv preprints enumerated (3 missing). The claim survives measurement, so no separate preprint ingest is built.
L'audit tel que d'abord spécifié ne pouvait pas mesurer ce qu'il existe pour mesurer. Un échantillon aléatoire simple de la masse rejetée de 3 461 261 notices donne 0,4 occurrence attendue sur les 600 notices budgétées ; en voir 20 exigerait 2 009 heures de codage contre les 65 prévues. Le suréchantillonnage stratifié par score ne le sauve qu'en partie (le pilote montre que 30 des 37 travaux disputés se trouvent à la frontière contestée), et il reste AVEUGLE aux rejets assurés. Savoir quels travaux ce sont relève d'un MÉCANISME, non d'un écart mesuré : la grille dit de juger sur le seul titre en l'absence de résumé, et dit qu'un travail T2 peut n'employer aucun mot du vocabulaire du domaine ; un travail privé des deux est donc rejeté avec assurance et jamais échantillonné. (Une version antérieure citait ici un chiffre de 3,6 fois comme s'il était mesuré ; il reposait sur quatre travaux et il est retiré.) Le rappel se mesure donc de deux autres façons : sur les 5 737 travaux qui portent déjà des étiquettes de la grille, et par un rappel sur cibles connues à partir d'un ensemble de revues de référence, parce que la revue est un critère externe insensible à cette « aboutness » qui met tout le reste en échec.
Énoncé original (findings.json) : The audit as first specified could not measure what it exists to measure. A simple random sample of the 3,461,261-record screened-out mass yields an expected 0.4 hits from the 600 records budgeted; seeing 20 would take 2,009 coder-hours against the 65 planned. Score-stratified oversampling rescues it only partly (the pilot shows 30 of 37 disputed works sit at the contested boundary), and it stays BLIND to the confident rejects. Which works those are is a MECHANISM, not a measured differential: the rubric says judge on the title alone with no abstract, and says T2 work may use none of the field's vocabulary, so a work with neither is rejected confidently and never sampled. (An earlier version cited a 3.6x figure here as if it were measured; it rested on four works and is withdrawn.) So recall is measured two other ways: against the 5,737 works that already carry rubric labels, and by KNOWN-ITEM recall on a venue reference set, because venue is an external criterion immune to the aboutness that defeats everything else.
La grille complète sur la base de 3 507 205 travaux avec deux trieurs coûte 5 357 $, et non les 24 968 $ qu'une version antérieure de ce script annonçait : la grille est une consigne système envoyée une fois par APPEL, et les lots du pilote regroupent eux-mêmes 155 travaux par appel ; la facture était donc gonflée de 4,7 fois. Cette erreur n'était pas cosmétique. Elle m'a fait proposer un TRIAGE bon marché devant le tri, c'est-à-dire une ÉTAPE DE REPÉRAGE dans un projet dont le constat central est que le repérage détruit ces cartes. L'arithmétique corrigée, le triage est inutile : la grille complète sur CHAQUE travail de la base, plus un second trieur sur un échantillon de 20 000 notices, coûte 908 $ et laisse environ 1 992 $ pour la personne qui code à la main. LE PRÉFILTRE EST SUPPRIMÉ.
Énoncé original (findings.json) : The full rubric over the 3,507,205-work frame with two screeners costs $5,357, not the $24,968 an earlier version of this script reported: the rubric is a system prompt sent once per CALL, and the pilot's own chunks batch 155 works per call, so it was overcharged 4.7x. That error was not cosmetic. It made me propose a cheap TRIAGE in front of the screen, which is a RETRIEVAL STEP in a project whose central finding is that retrieval destroys these maps. With the arithmetic right the triage is unnecessary: the full rubric over EVERY work in the frame, plus a second screener on a 20,000-record sample, costs $908 and leaves ~$1,992 for the human coder. THE PREFILTER IS DELETED.
L'API OpenAlex est facturée à l'usage (1 000 crédits par ~11 h ; palier gratuit de 0,10 $). Énumérer la base canadienne de 3 507 205 travaux exige 17 537 appels paginés par curseur : 8,2 jours par passage au palier gratuit. Une chaîne de traitement fondée sur l'API à cette échelle n'est ni gratuite ni reproductible ; l'instantané épinglé est les deux.
Énoncé original (findings.json) : The OpenAlex API is metered (1,000 credits per ~11h; $0.10 free tier). Enumerating the 3,507,205-work Canadian frame needs 17,537 cursor-paged calls: 8.2 days per pass on the free tier. An API-based pipeline at this scale is neither free nor reproducible; the pinned snapshot is both.