MaxExp-UCB: Enhanced Regret Bounds for Normalized Exploration Stochastic Multi-Armed Bandit Problems With High Action Spaces
Notice bibliographique
Résumé
Comprehensive exploration is necessary for collectively exploring the arms, while still exploiting the optimal arm, in K−armed stochastic bandits, specifically for higher arm spaces like the rescue and surveillance operation where relatively higher exploration of the agent is expected in the search space. Under the case of Multi-armed Bandits (MAB), where K, is relatively higher action dimensions, many exploration algorithms like the epsilon-greedy for example use random and direct exploration, where sub-optimal actions may be chosen frequently, thus increasing regret linearly. In this paper, we study on the theoretical aspects of MaxExp-UCB algorithm, which promotes comprehensive exploration while still having a sub-linear regret growth. We introduce normalized exploration across bandit arms as 2 ln(t) N i (t) • δ(K−1) i̸ =i ⋆ N i (t) , and show that, in case of higher K values, the δ(K−1) i̸ =i ⋆ N i (t) term, becomes smaller, promoting further exploration to ensure a comprehensive search across all available arms in our MAB setting. We also conduct a theoretical study on the on the worst-case upper bound of the term δ(K−1) i̸ =i ⋆ N i (t) and prove that the upper bound is ≤ √ t 2δ(K−1) • (t) ∆•T • ln(t) N i (t). Finally, using the previous-worst case-bound, we derive and analyses the pseudo-regret bound in adapting comprehensive exploration and show that our regret has sub-linear properties. Through this we conclude that, our regret analysis is near to UCB regret bound, indicating the effectiveness of MaxExp-UCB in making near-optimal decisions while promoting comprehensive exploration across K-possible arms in MAB setting.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,009 | 0,031 |
| Méta-épidémiologie (sens strict) | 0,003 | 0,001 |
| Méta-épidémiologie (sens large) | 0,003 | 0,002 |
| Bibliométrie | 0,001 | 0,002 |
| Études des sciences et des technologies | 0,001 | 0,003 |
| Communication savante | 0,004 | 0,006 |
| Science ouverte | 0,004 | 0,005 |
| Intégrité de la recherche | 0,003 | 0,007 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,008 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».