← Retour à la cohorte
Towards fair decentralized benchmarking of healthcare AI algorithms with the Federated Tumor Segmentation (FeTS) challenge
Maximilian Zenk, Ujjwal Baid, Sarthak Pati, Akis Linardos, Brandon Edwards, Micah Sheller, Patrick Foley, Alejandro Aristizábal, David Zimmerer, А. Д. Груздев, Jason Martin, Russell T. Shinohara, Annika Reinke, Fabian Isensee, Santhosh Parampottupadam, Ralf Floca, Hasan Kassem, Bhakti Baheti, Siddhesh Thakur, Verena Chung, Kaisar Kushibar, Karim Lekadir, Meirui Jiang, Youtan Yin, Hongzheng Yang, Quande Liu, Cheng Chen, Qi Dou, Pheng‐Ann Heng, Xiaofan Zhang, Shaoting Zhang, Muhammad Irfan Khan, Mohammad Ayyaz Azeem, Mojtaba Jafaritadi, Esa Alhoniemi, Elina Kontio, Suleiman A. Khan, Leon Mächler, Ivan Ezhov, Florian Kofler, Suprosanna Shit, Johannes C. Paetzold, Timo Loehr, Benedikt Wiestler, Himashi Peiris, Kamlesh Pawar, Shenjun Zhong, Zhaolin Chen, Munawar Hayat, Gary F. Egan, Mehrtash Harandi, Ece Isik-Polat, Görkem Polat, Altan Koçyiğit, Alptekin Temizel, Anup Tuladhar, Lakshay Tyagi, Raissa Souza, Nils D. Forkert, Pauline Mouchès, Matthias Wilms, Vishruth Shambhat, Akansh Maurya, Shubham Subhas Danannavar, Rohit Kalla, Vikas Kumar Anand, Ganapathy Krishnamurthi, Sahil Nalawade, Chandan Ganesh, Benjamin Wagner, Divya Reddy, Yudhajit Das, Fang Yu, Baowei Fei, Ananth J. Madhuranthakam, Joseph A. Maldjian, Gaurav Singh, Jianxun Ren, Wei Zhang, Ning An, Qingyu Hu, Youjia Zhang, Ying Zhou, Vasilis Siomos, Giacomo Tarroni, Jonathan Passerat‐Palmbach, Ambrish Rawat, Giulio Zizzo, Swanand Kadhe, Jonathan P. Epperlein, Stefano Braghin, Yuan Wang, Renuga Kanagavelu, Qingsong Wei, Yechao Yang, Yong Liu, Krzysztof Kotowski, Szymon Adamski, Bartosz Machura, Wojciech Malara, Łukasz Zarudzki, Jakub Nalepa, Yaying Shi, Hongjian Gao, Salman Avestimehr, Yonghong Yan, Agus Subhan Akbar, Ekaterina Kondrateva, Hua Yang, Zhaopei Li, Hung-Yu Wu, Johannes Roth, Camillo Saueressig, Alexandre Milesi, Quôc Dinh Nguyên, Nathan J Gruenhagen, Tsung-Ming Huang, Jun Ma, Har Shwinder H Singh, Nai-Yu Pan, Dingwen Zhang, Ramy A. Zeineldin, Michal Futrega, Yading Yuan, Gian Marco Conte, Xue Feng, Quan D. Pham, Yong Xia, Zhifan Jiang, Huan Minh Luu, Mariia Dobko, Alexandre Carré, Bair Tuchinov, Hassan Mohy‐ud‐Din, Saruar Alam, Anup K. Singh, Nameeta Shah, Weichung Wang, Chiharu Sako, Michel Bilello, Satyam Ghodasara, Suyash Mohan, Christos Davatzikos, Evan Calabrese, Jeffrey D. Rudie, Javier Villanueva‐Meyer, Soonmee Cha, Christopher P. Hess, John Mongan, Madhura Ingalhalikar, Manali Jadhav, Umang Pandey, Jitender Saini, Raymond Y. Huang, Ken Chang, Minh‐Son To, Sargam Bhardwaj, Chee Chong, Marc Agzarian, Michal Kozubek, Filip Lux, Jan Michálek, Petr Matula, Miloš Keřkovský, Tereza Kopřivová, Marek Dostál, Václav Vybíhal, Marco C. Pinho, James Holcomb, Marie‐Christin Metz, Rajan Jain, Matthew Lee, Yvonne W. Lui, Pallavi Tiwari, Ruchika Verma, Rohan Bareja, Ipsa Yadav, Jonathan Chen, Neeraj Kumar, Yuriy Gusev, Krithika Bhuvaneshwar, Anousheh Sayah, Camelia Bencheqroun, Anas Belouali, Subha Madhavan, Rivka R. Colen, Aikaterini Kotrotsou, Gianluca Brugnara, Chandrakanth Jayachandran Preetha, Felix Sahm, Martin Bendszus, Wolfgang Wick, Abhishek Mahajan, Carmen Balañá, Jaume Capellades, Josep Puig, Yoon Seong Choi, Seung‐Koo Lee, Jong Hee Chang, Sung Soo Ahn, Hassan M. Fathallah‐Shaykh, Alejandro Herrera-Trujillo, María Trujillo, William Escobar, Ana Lorena Abello, José Bernal, Jhon Gómez, Pamela LaMontagne, Daniel S. Marcus, Mikhail Milchenko, Arash Nazeri, Bennett A. Landman, Karthik Ramadass, Kaiwen Xu, Silky Chotai, Lola B. Chambless, Akshitkumar M. Mistry, Reid C. Thompson, Ashok Srinivasan, Jayapalli Rajiv Bapuraj, Arvind Rao, Nicholas Wang, Yoshiaki Ota, Toshio Moritani, Sevcan Türk, Joonsang Lee, Snehal Prabhudesai, John W. Garrett, Matthew Larson, Robert Jeraj, Hongwei Li, Tobias Weiß, Michael Weller, Andrea Bink, Bertrand Pouymayou, Sonam Sharma, Tzu-Chi Tseng, Saba Adabi, Alexandre X. Falcão, Samuel Botter Martins, Bernardo Corrêa de Almeida Teixeira, F Sprenger, David Menotti, Diego Rafael Lucio, Simone P. Niclou, Olivier Keunen, Ann‐Christin Hau, Enrique Peláez, Heydy Sailé Franco Maldonado, Francis R. Loayza, Sebastián Quevedo, Richard McKinley, Johannes Slotboom, Piotr Radojewski, Raphaël Meier, Roland Wiest, Johannes Trenkler, Josef Pichler, Georg Necker, Andreas Haunschmidt, Stephan Meckel, Pamela Guevara, Esteban Torche, Cristóbal Mendoza, Franco Vera, Elvis Ríos, Eduardo López, Sergio A. Velastín, Joseph Choi, Stephen Baek, Yusung Kim, Heba Ismael, Bryan G. Allen, John M. Buatti, P Zampakis, Vasileios Panagiotopoulos, Panagiotis Tsiganos, Sotiris Alexiou, Ilias Haliassos, Evangelia I. Zacharaki, Κωνσταντίνος Μουστάκας, Christina Kalogeropoulou, Dimitrios Kardamakis, Bing Luo, Laila Poisson, Ning Wen, Martin Vallières, Mahdi Ait Lhaj Loutfi, David Fortin, Martin Lepage, Fanny Morón, Jacob Mandel, Gaurav Shukla, Spencer Liem, Joseph S. Lombardo, Joshua D. Palmer, Adam E. Flanders, Adam P. Dicker, Godwin Ogbole, Dotun Oyekunle, Olubunmi Odafe-Oyibotha, Babatunde Osobu, Mustapha Shu'aibu Hikima, Mayowa Soneye, Farouk Dako, Adeleye Dorcas, Derrick Murcia, Eric Fu, Rourke Haas, John A. Thompson, D. Ryan Ormond, Stuart Currie, Kavi Fatania, Russell Frood, Amber L. Simpson, Jacob Peoples, Ricky Hu, Danielle Cutler, Fábio Ynoe de Moraes, Anh Tran, Mohammad Hamghalam, Michael A. Boss, James F. Gimpel, Deepak Kattil Veettil, Kendall Schmidt, Lisa Cimino, Cynthia Price, Brian Bialecki, Sailaja Marella, Charles Apgar, András Jakab, Marc‐André Weber, Errol Colak, Jens Kleesiek, John Freymann, Justin Kirby, Jake Albrecht, Peter Mattson, Alexandros Karargyris, Prashant Shah, Bjoern Menze, Klaus Maier‐Hein, Spyridon Bakas
Notice bibliographique
RevueNature Communications · 2025
Typearticle
Langueen
DomaineMedicine
ThématiqueRadiomics and Machine Learning in Medical Imaging
Établissements canadiensUniversity of TorontoMcGill University Health CentreCentre Hospitalier Universitaire de SherbrookeQueen's UniversityUniversité de SherbrookeAlberta Children's HospitalHotchkiss Brain InstituteUniversity of AlbertaUniversity of CalgaryArtificial Intelligence in Medicine (Canada)
Organismes subventionnairesNational Center for Advancing Translational SciencesNational Institute of Biomedical Imaging and BioengineeringNational Institute of General Medical SciencesNational Cancer InstituteCanadian Institutes of Health ResearchAnschutz Medical Campus, University of ColoradoSidney Kimmel Comprehensive Cancer CenterFaculty of Medicine and Health, University of SydneyUniversité de SherbrookeSchool of Electronic Engineering and Computer Science, Queen Mary University of LondonNational Institutes of HealthAgencia Nacional de Investigación y DesarrolloUniversitätsklinikum HeidelbergUniversitätsspital ZürichCanadian Institute for Advanced ResearchInselspital, Universitätsspital BernUniversität ZürichChina Scholarship CouncilUniversidad de ConcepciónMcGill UniversityConselho Nacional de Desenvolvimento Científico e TecnológicoQueen's UniversityIslamic Azad UniversityDeutsche ForschungsgemeinschaftSchool of Medicine, Indiana UniversityUniversity of BernUniversidad Carlos III de MadridMinisterstvo Zdravotnictví Ceské RepublikyBusiness FinlandFrederick National Laboratory for Cancer ResearchCancer Research UKVarian Medical SystemsWellcome TrustUniversidad Católica de CuencaDeutsches KrebsforschungszentrumThomas Jefferson UniversityLeidosU.S. Department of Veterans AffairsUniversity of PennsylvaniaEscuela Superior Politécnica del LitoralKepler UniversitätsklinikumQueen Mary University of LondonUniversity of PatrasOhio State UniversityHigher Education Commision, PakistanUniversity of TorontoFaculty of Arts and SciencesSilesian University of TechnologyUniversité du LuxembourgNational Science Foundation
Mots-clésBenchmarkingBenchmark (surveying)Computer scienceSegmentationArtificial intelligenceGeneralizationMachine learningAlgorithmFederated learningData mining
Résumé
Computational competitions are the standard for benchmarking medical image analysis algorithms, but they typically use small curated test datasets acquired at a few centers, leaving a gap to the reality of diverse multicentric patient data. To this end, the Federated Tumor Segmentation (FeTS) Challenge represents the paradigm for real-world algorithmic performance evaluation. The FeTS challenge is a competition to benchmark (i) federated learning aggregation algorithms and (ii) state-of-the-art segmentation algorithms, across multiple international sites. Weight aggregation and client selection techniques were compared using a multicentric brain tumor dataset in realistic federated learning simulations, yielding benefits for adaptive weight aggregation, and efficiency gains through client sampling. Quantitative performance evaluation of state-of-the-art segmentation algorithms on data distributed internationally across 32 institutions yielded good generalization on average, albeit the worst-case performance revealed data-specific modes of failure. Similar multi-site setups can help validate the real-world utility of healthcare AI algorithms in the future.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
score de la tête « metaresearch » (Codex)0,000
score de la tête « metaresearch » (Gemma)0,000
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesaucune
Catégories consensuellesaucune
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Autre devis · Signal consensuel: aucune
GenreSignal candidat: Empirique · Signal consensuel: aucune
Score de désaccord entre enseignants0,942
Score d'incertitude au seuil0,631
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,000 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
Tête enseignante Opus0,014
Tête enseignante GPT0,355
Écart entre enseignants0,340 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validation
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Les modèles n’ont appliqué aucune catégorie : rien dans la taxonomie ne correspondait à ce travail.
Devis d'étudeAutre devis
Domainenon disponible
GenreEmpirique
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».
En bref
Citations10
Publié2025
Routes d'admission2
Résumé présentoui