Ruodu Wang's contribution to the Discussion of ‘Estimating means of bounded random variables by betting’ by Waudby-Smith and Ramdas
Notice bibliographique
Résumé
I congratulate Ian Waudby-Smith and Aaditya Ramdas for this excellent contribution to the theory of e-testing (or testing by betting). Over the past several years, this theory has been developed rapidly in multiple exciting directions. The contribution of Waudby-Smith and Ramdas is an important piece in this active stream of literature. I have a few comments on the approach in the current paper and its generalisations. The main approach taken in the paper (see its Theorem 1), which is standard in the field of game-theoretical statistics (Shafer & Vovk, 2019), relies on constructing an e-process (Mtθ)t∈T for each parameter value θ∈Θ (which is the mean m in the paper). The e-process (Mtθ)t∈T is often (but not always) constructed by combining several sequential e-variables Eθ=(Etθ)t∈T from the data (i.e. satisfying Eθ[Etθ|Ft−1]≤1 for each t∈T and θ∈Θ), via a method of martingale: Mtθ=∏s=1t(1−λsθ(Esθ−1)),t∈T, where λ=(λtθ)t∈T is a predictable process. The abstract problem of combining sequential e-variables is studied in Vovk and Wang (2022), where it is shown that the above martingale method is the only admissible way to combine sequential e-variables into one e-variable. Therefore, anytime validity (i.e. validity under optional sampling) is obtained automatically if the goal is to make a decision based on a combined e-value. Although the above method of e-testing is by now standard and its validity is easy to show, the highly non-trivial tasks are to build suitable Eθ and to find powerful λθ. The validity is guaranteed even when the data-generating procedure varies arbitrarily over time, as long as the parameter of interest (mean m in this paper) in the null hypothesis is specified. Nevertheless, the power and optimality of λθ depend crucially on how data are generated. Most methods (such as GRAPA and aGRAPA introduced in the current paper) use sample mean, sample variance, or the empirical distribution to decide λθ. This requires some ‘stationarity’, ‘predictability’, or ‘temporal structure’ of the data. In some applications involving dynamic decision making (data depend on previous decisions), such as backtesting financial risk prediction, such stationarity cannot be assumed. In this context, some options of powerful betting strategies are studied by Wang et al. (2022). The e-testing approach can be applied to many other quantities in a model-free fashion, similar to the mean with bounded supported treated in this paper. Wang et al. (2022) developed one-sided e-tests for other quantities, including mean (with one-side bounded support), variance, quantile, and the risk measure Expected Shortfall. A main advantage of such methods is that they do not assume any knowledge of the data-generating probability or its temporal structure.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,015 | 0,080 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,003 |
| Bibliométrie | 0,003 | 0,005 |
| Études des sciences et des technologies | 0,002 | 0,006 |
| Communication savante | 0,004 | 0,007 |
| Science ouverte | 0,005 | 0,005 |
| Intégrité de la recherche | 0,009 | 0,011 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».