Concordance between blinded independent central review committee and physician-assessed responses: Analyses based on a real-world external control arm in relapsed/refractory multiple myeloma using International Myeloma Working Group data.
Notice bibliographique
Résumé
e19521 Background: Blindedindependent central review (BICR) committees are often established for oncology trials to assessbestoverall response (BOR), while real-world (RW) studies typically rely on physician-assessed responses. To emulate clinical trial rigor, a BICR committee was implemented in the R5458-ONC-21101 RW data-derived external control arm study (NCT05673967) to evaluate BOR using International Myeloma Working Group (IMWG) criteria. A pre-specified concordance analysis compared BOR assessments between the BICR committee and treating site physicians. Methods: RW data were obtained from chart reviews at 15 participating International Myeloma Foundation IMWG sites. The BICR committee, comprised of three multiple myeloma experts, evaluated BOR through consensus voting. Per protocol, the committee reviewed case report forms consisting of data on serum and urine myeloma protein and free light chain levels; and, where available, bone marrow plasma cell percentage, presence of plasmacytomas, and bone lesion changes. Concordance between BICR- and physician-assessed BOR was evaluated for objective response rate defined as ≥partial response (PR), ≥very good partial response (VGPR), ≥complete response (CR), and stringent complete response (sCR), with non-evaluable responses excluded from the analysis. Cohen’s kappa (κ) was used to measure agreement, with values >0.6 indicating strong concordance. 1 Results: Of 279 evaluable lines of therapy from 203 patients (Table), the BOR of ≥PR was 45.2% by BICR assessment and 42.3% by treating physicians (κ=0.622). Concordance improved for BOR of ≥VGPR (22.2% by BICR vs 24.7% by treating physicians; κ=0.731) but was low for BOR of ≥CR (3.9% vs. 10.8%; κ=0.508) and sCR (1.1% vs. 4.7%; κ=0.364). Conclusions: BICR- and physician-assessed responses showed strong concordance for BOR of ≥PR and ≥VGPR. However, as expected, lower concordance for ≥CR and sCR was observed, as evaluation of CR per IMWG criteria requires a bone marrow biopsy, which is rarely performed in clinical practice. While the reliability of CR and sCR in RW data is less certain, these results suggest that BOR of ≥VGPR or ≥PR may be reliably ascertained in academic settings based on treating physician evaluations. 1. Landis JR, Koch GG. Biometrics 1977;33(1):159–74. Clinical trial information: NCT05673967 . Agreement of BICR- and physician-assessed responses. BICR assessed Physician assessed Observed agreement, % Cohen’s kappa* Number of evaluable lines of therapy 279 279 - - ≥PR, n (%) 126 (45.2) 118 (42.3) 81.4 0.622 ≥VGPR, n (%) 62 (22.2) 69 (24.7) 90.3 0.731 ≥CR, n (%) 11 (3.9) 30 (10.8) 93.2 0.508 sCR, n (%) 3 (1.1) 13 (4.7) 96.4 0.364 *A kappa value >0.6 indicates strong concordance. 1
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,309 | 0,326 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,003 |
| Bibliométrie | 0,005 | 0,004 |
| Études des sciences et des technologies | 0,002 | 0,003 |
| Communication savante | 0,002 | 0,002 |
| Science ouverte | 0,002 | 0,004 |
| Intégrité de la recherche | 0,002 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».