Adopting a Conceptual Validity Framework for Testing in Speech-Language Pathology
Notice bibliographique
Résumé
Purpose Limited evidence-based guidelines for test selection continue to result in inconsistency in test use and interpretation in speech-language pathology. A major barrier is the lack of explicit and consistent adoption of a validity framework by our field. In this viewpoint, we argue that adopting the conceptual validity framework in the Standards for Educational and Psychological Testing (American Educational Research Association et al., 2014) would support both the development of more meaningful and feasible clinical tests and more appropriate use and interpretation of tests in speech-language pathology. Method We describe and evaluate the Standards for Educational and Psychological Testing (American Educational Research Association et al., 2014) validity framework and consider its relevance to speech-language pathology. We describe how the validity framework could be integrated into clinical practice and include examples of how it could be applied to support common clinical decisions. We evaluate the costs and benefits of adopting this framework, from the perspectives of speech-language pathologists, clients, and test developers. Results The Standards' validity framework clarifies complex validity issues by shifting the focus of validity from tests to the decisions speech-language pathologists make based on test results. By focusing on decisions, the framework requires critical evaluation of test use, rather than evaluating tests against sets of criteria. Adopting this framework has the potential for appreciable improvement in the way tests are used and valued across our profession. Conclusions Speech-language pathologists, test developers, and clients will benefit from improved evidence-based assessment practices. It is recommended that regulators, test developers, professional associations, universities, and researchers adopt the framework and endorse it as best practice moving forward. This viewpoint proposes a series of first steps toward supporting uptake of the framework into research and practice.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,002 | 0,005 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,000 | 0,001 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».