The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
Pourquoi ce travail est-il dans la base ?
Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.
Prédiction distillée sur la base complète
Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
- Catégories candidates
- Méta-épidémiologie (sens strict), Études des sciences et des technologies, Science ouverte
- Catégories consensuelles
- aucune
- Domaine
- Signal candidat: aucuneSignal consensuel: aucune
- Devis d'étude
- Signal candidat: Théorique ou conceptuelSignal consensuel: aucune
- Genre
- Signal candidat: MéthodesSignal consensuel: aucune
- Score de désaccord entre enseignants
- 0,958
- Score d'incertitude au seuil
- 1,000
- Statut de validation
machine_predicted_unvalidated·codex-gemma-dda1882f352a
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,002 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,002 | 0,002 |
| Communication savante | 0,000 | 0,001 |
| Science ouverte | 0,006 | 0,007 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
- Écart entre enseignants
- 0,225 · la distance entre les deux têtes enseignantes sur ce seul travail
- Statut de validation
score_only:v0-immature-baseline· tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle
Résumé
The reparameterization trick enables optimizing large scale stochastic computation graphs via gradient descent. The essence of the trick is to refactor each stochastic node into a differentiable function of its parameters and a random variable with fixed distribution. After refactoring, the gradients of the loss propagated by the chain rule through the graph are low variance unbiased estimators of the gradients of the expected loss. While many continuous random variables have such reparameterizations, discrete random variables lack useful reparameterizations due to the discontinuous nature of discrete states. In this work we introduce CONCRETE random variables—CONtinuous relaxations of disCRETE random variables. The Concrete distribution is a new family of distributions with closed form densities and a simple reparameterization. Whenever a discrete stochastic node of a computation graph can be refactored into a one-hot bit representation that is treated continuously, Concrete stochastic nodes can be used with automatic differentiation to produce low-variance biased gradients of objectives (including objectives that depend on the log-probability of latent stochastic nodes) on the corresponding discrete graph. We demonstrate the effectiveness of Concrete relaxations on density estimation and structured prediction tasks using neural networks.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
La notice
- Revue
- Oxford University Research Archive (ORA) (University of Oxford)
- Thématique
- Gaussian Processes and Bayesian Inference
- Domaine
- Computer Science
- Établissements canadiens
- University of Toronto
- Organismes subventionnaires
- non disponible
- Mots-clés
- Random variableRandom graphComputationApplied mathematicsDiscrete-time stochastic processEstimatorMathematicsDifferentiable functionComputer scienceMathematical optimizationGraphContinuous-time stochastic processStochastic optimizationAlgorithmDiscrete mathematicsStatisticsMathematical analysis
- Résumé présent dans OpenAlex
- oui