À propos de MétaCan

L'inversion de la base

La façon habituelle de cartographier un domaine consiste à repérer ce qui ressemble au domaine (une liste de mots-clés, un classificateur thématique, un ensemble de revues), puis à demander lesquels des résultats sont canadiens. La frontière du domaine devient ainsi une propriété de votre requête. Et cela a une propriété fatale pour quiconque veut vérifier votre travail : on ne peut pas mesurer le rappel d'un lexique sur les travaux que le lexique ne vous a jamais montrés. Les manques sont invisibles par construction ; la carte ne peut donc pas rapporter sa propre erreur, et elle ne peut donc pas être vérifiée.

Ce projet inverse donc la base. Il part de toute la recherche canadienne, un critère externe et vérifiable, énumérable depuis un instantané OpenAlex épinglé, et fait de l'appartenance au domaine une classification sur un univers connu plutôt qu'un repérage dans la littérature. Une fois l'univers énumérable, le rappel devient mesurable, un échantillon a des probabilités de sélection connues, et un désaccord entre trieurs devient un constat plutôt qu'un embarras.

Le prix à payer est que « canadien » doit lui-même être défini, et il l'est : par quatre voies (affiliation, organisme subventionnaire, revue et sujet), chacune consignée sur chaque travail. Une base qui oublie comment elle a trouvé un travail ne peut pas non plus être vérifiée ; chaque rangée de ce site porte donc sa provenance. Parcourez les travaux qu'aucune base fondée sur la seule affiliation n'aurait jamais vus.

Pourquoi le livrable est un désaccord

Trois modèles de pointe ont trié les mêmes 1 000 travaux selon la même grille verrouillée. Ils ne se sont pas accordés. Parmi les travaux qu'au moins un modèle a qualifiés de métarecherche, environ le tiers seulement l'a été par les trois, et près de la moitié repose sur l'avis d'un seul modèle.

La tentation est de moyenner tout cela et de publier un taux de base. Ce serait de la fausse précision, et pire : ce serait cacher la seule chose intéressante que l'expérience a trouvée. Deux trieurs peuvent s'accorder sur un taux tout en repérant des travaux presque entièrement différents : à un taux de base d'environ 1 %, les rejets évidents offrent 98 % d'accord gratuitement. Le livrable n'est donc pas un nombre. C'est le dossier des désaccords : les travaux qui marquent la frontière empirique du domaine, et sur lesquels les critères d'inclusion doivent réellement être rédigés.

Ce que les données ne peuvent pas dire

Trois limites sont mesurées plutôt qu'atténuées, parce qu'une limite mesurée est un constat et qu'une limite simplement reconnue est une excuse.

• L'écart des résumés est structurel

  Le plus grand biais mesuré du tri est l'écart des résumés : 23,3 % de la base (1 003 117 travaux) n'a AUCUN RÉSUMÉ, et le constat 11 a montré que le tri y repère MOITIÉ moins de métarecherche. La cascade PubMed, Europe PMC puis Crossref récupère 37,8 % d'un échantillon de 500 travaux, ramenant l'exposition au tri sur seul titre à environ 14,5 % de la base. Mais J'AVAIS BÂTI LA CASCADE AUTOUR DE CROSSREF comme voie de secours indépendante des disciplines, et il a récupéré 2 résumés contre 180 pour PubMed : les éditeurs ne les déposent pas, donc CETTE VOIE DE SECOURS N'EXISTE PAS (D15). L'écart n'est donc pas une défaillance de métadonnées qu'un meilleur index corrigerait ; il est STRUCTUREL. La récupération atteint 91,2 % pour les articles de synthèse contre 6,2 % pour les chapitres de livre, 38,8 % pour l'anglais contre 15,4 % pour le français. Le raccourci tentant, « ne trier que les travaux qui ont un résumé », est donc une SÉLECTION SUR UNE COVARIABLE QUI PRÉDIT LE RÉSULTAT : il supprimerait 61,6 % des chapitres de livre contre 22,1 % des articles, ET les travaux qu'il supprime sont exactement ceux qu'aucune cascade ne peut récupérer. Défendable seulement comme exclusion DÉCLARÉE au coût mesuré, et l'audit y conserve un plancher d'échantillonnage.

• La rétractation n'est pas un booléen

  Jointe à la base canadienne par DOI, Retraction Watch consigne 143 travaux qu'OpenAlex ne signale PAS comme rétractés, dont 49 rétractations pures et simples. Mais le sous-compte est le moindre des problèmes. 52 de ces travaux portent une EXPRESSION DE PRÉOCCUPATION, et OpenAlex N'A AUCUN CHAMP POUR CELA : is_retracted est un booléen sur un espace d'états à au moins quatre valeurs (rétractation, expression de préoccupation, correction, rétablissement) ; il peut en exprimer une et rapporte silencieusement les autres comme FALSE, ce qui se lit comme « rien à signaler ». Un booléen ne peut pas non plus porter le POURQUOI. C'est la maladie du constat 1 dans un second schéma : la base de données canonique ne peut pas exprimer la distinction sur laquelle le domaine repose.

• Changez de trieur, la réponse bouge

  Changez le modèle qu'on appelle « le trieur » et le taux de base passe de 1,06 % à 2,37 % : un écart de 2,2 fois, soit de 37 032 à 83 022 travaux dans la base. Les deux trieurs s'accordent sur inclus/exclu pour 98,4 % de la base (pondération du plan de sondage), mais ce chiffre est dominé par les rejets évidents : l'accord tombe à 95 % à l'intérieur de la frontière contestée. L'ÉTENDUE OBTENUE EN CHANGEANT DE TRIEUR, ET NON L'IC BINOMIAL D'UN SEUL MODÈLE, EST L'INCERTITUDE HONNÊTE SUR LA TAILLE DU DOMAINE.

Les 22 constats, rendus depuis la sortie de la chaîne de traitement →

Les erreurs

Ce projet consigne ses propres erreurs. DEVIATIONS.md les recense : des écarts au protocole, des défauts du dispositif de tri, un estimateur qu'il a fallu supprimer plutôt que maquiller en borne inférieure, une voie de secours bâtie autour d'une source qui, au bout du compte, ne dépose pas les données. Elles ont été consignées au moment où elles survenaient et avant le dépôt de la proposition, non reconstruites après coup.

Ce n'est pas de l'humilité pour elle-même. Tout l'argument de MétaCan est qu'une carte incapable de rapporter sa propre erreur n'est pas une carte digne de confiance. Un projet qui soutiendrait cela tout en polissant discrètement son propre dossier se réfuterait en publiant. Donc : l'estimateur de capture-recapture impliquait que le Canada produit 59 % de la métarecherche mondiale, ce qui est absurde, et il a été supprimé, non adouci. La cascade de résumés avait été bâtie autour de Crossref comme voie de secours indépendante des disciplines, et Crossref a récupéré 2 résumés contre 180 pour PubMed : cette voie de secours n'existe pas, et l'écart est structurel. GPT-5.6 a enfreint le schéma de sortie verrouillé sur 18 des 1 000 notices ; le validateur de manifeste l'a détecté, et l'incident est consigné plutôt que réparé en silence.

La méthode, en bref

Base de sondage

Chaque travail canadien d'un instantané OpenAlex épinglé (les 482 partitions), chacun compté exactement une fois, admis par une ou plusieurs des quatre voies : affiliation canadienne, organisme subventionnaire canadien, revue canadienne, ou sujet portant sur le Canada.

Tri

1 000 travaux tirés avec des probabilités de sélection connues, stratifiés (français suréchantillonné), triés par Claude Opus 4.8, GPT-5.6 (high) et Grok 4.5 selon une seule grille verrouillée sur sa charge utile complète de huit champs. Les lots ont été randomisés et consignés au manifeste avant l'exécution de tout modèle, et c'est le dispositif qui écrit les fichiers d'étiquettes, jamais le modèle.

Poids

L'échantillon est stratifié : chaque taux est donc pondéré par le plan de sondage. Un taux calculé sur l'échantillon brut sans le poids est faux, et le poids accompagne chaque notice triée dans l'API.

Résumés

Non conservés. Les index inversés représentent 8,6 Go des 9,3 Go de texte de la base et le serveur dispose de 13 Go libres ; la page de détail récupère donc le résumé en direct depuis OpenAlex. Le fait qu'un travail en ait un est conservé, car c'est en soi un constat.

Rétractation

Jointe à Retraction Watch par DOI, et conservée dans sa propre table à quatre états, parce que le champ is_retracted d'OpenAlex est un booléen sur un espace d'états qui compte au moins quatre valeurs.

Reproductibilité

Chaque nombre de ce site est produit par un script du dépôt et lu depuis findings.json. Rien n'est saisi à la main : le site et l'analyse ne peuvent donc pas diverger.

Sources, licence, contact

Données : OpenAlex (CC0), Retraction Watch (CC-BY), ClinicalTrials.gov. Code MIT, données CC BY 4.0. Réalisé par Ahmad Sofi-Mahmudi pour le Défi de données en métarecherche canadienne (Réseau canadien de la reproductibilité).

Le dépôt · DEVIATIONS.md · l'API publique