Reliability and construct validity studies of an obstacle course assessment of wheelchair user performance
Bibliographic record
Abstract
The objective of this study is to evaluate the reliability and construct validity of an obstacle course assessment of wheelchair user performance (OCAWUP). Seventeen experienced wheelchair users using three different propulsion methods (two hands, one hand and one foot or motorized wheelchair) were assessed twice on the 10 obstacles of the OCAWUP. To evaluate reliability, time (in seconds) and degree of ease (DE) in overcoming obstacles (four-level scale) were assessed by three occupational therapists. Construct validity was assessed by verifying whether the OCAWUP's global score of ease (GSE) varied with wheelchair propulsion methods and the functional independence measure (FIM). Intraclass correlation coefficients calculated for reliability of time and GSE were up to 0.74 for test–retest reliability and up to 0.97 for interrater reliability. Cohen's κ coefficients calculated for DE reliabilities varied from 0.09 to 1.0 with degrees of association up to 65%. A significant difference (P≤0.01) in GSE scores is shown between propulsion methods. A high significant correlation (rs=0.84, P≤0.05) was found between GSE and scores of FIM items associated with mobility. Reliability of time and GSE is substantial or better. Reliability of DE is not as good, with a few items indicating poor reliability. OCAWUP's construct validity is good. Ziel dieser Studie war die Beurteilung der Reliabilität (Zuverlässigkeit) und Konstruktvalidität einer Hindernisparcours-Leistungsbewertung für Rollstuhlfahrer (OCAWUP). Siebzehn erfahrene Rollstuhlfahrer, die drei verschiedene Antriebsmethoden nutzten (zwei Hände oder eine Hand plus ein Fuss oder motorbetriebenen Rollstuhl) wurden zweimal einer Beurteilung an den 10 Hindernissen im Rahmen der OCAWUP unterzogen. Zur Bewertung der Reliabilität wurde von drei Beschäftigungstherapeuten die Zeit (in Sekunden) und der Leichtigkeitsgrad (DE), mit dem die Hindernisse überwunden wurden (vierstufige Skala) herangezogen. Die Bewertung der Konstruktvalidität erfolgte durch Verifizierung, falls der im Rahmen der OCAWUP ermittelte globale Scorewert für Leichtigkeit der Bewältigung (GSE) je nach Rollstuhlantrieb variierte, sowie durch den funktionalen Selbständigkeitsindex (FIM). Die für die Reliabilität von Zeit und GSE berechneten Intra-Klassen-Korrelationskoeffizienten beliefen sich auf bis zu 0.74 für die Test-Retest-Reliabilität und auf bis zu 0.97 für die Interrater-Reliabilität. Die für die DE-Reliabilität berechneten kappa-Koeffizienten nach Cohen variierten zwischen 0.09 und 1,0 mit Assoziationsgraden von bis zu 65%. Ein signifikanter Unterschied (P≤0.01) bei den GSE-Scorewerten zeigt sich für die Antriebsmethoden. Eine hochsignifikante Korrelation (rs=0.84, P≤0.05) wurde zwischen dem GSE und den Scorewerten für die mobilitätsassoziierten Unterpunkte des FIM festgestellt. Die Reliabilität von Zeit und GSE ist erheblich oder besser. Die Reliabilität des Leichtigkeitsgrades (DE) ist nicht so gut, einige Punkte sprechen sogar für eine schlechte Reliabilität. Die für die OCAWUP ermittelte Konstruktvalidität ist gut. El objetivo de este estudio es evaluar la fiabilidad y la validez de una evaluación de la actuación de usuarios de silla de ruedas en un recorrido de obstáculos (EAUSRRO). Se evaluó a 17 usuarios de silla de ruedas con experiencia, que empleaban tres métodos de propulsión diferentes (dos manos, una mano y un pie o silla con motor) dos veces en los 10 obstáculos de la OCAWUP. Con el fin de evaluar la fiabilidad, tres terapeutas ocupacionales valoraron el tiempo (en segundos) y el grado de facilidad (GF) para superar los obstáculos (escala de cuatro niveles). La validez del montaje se evaluó verificando si la puntuación global de la facilidad (PGF) de la EAUSRRO variaba con los distintos métodos de propulsión de la silla y con la medición de independencia funcional (MIF). Los coeficientes de correlación intraclase calculados para la fiabilidad del tiempo y la PGF fueron de hasta 0.74 en el caso de la fiabilidad de la prueba-repetición de la prueba y hasta del 0.97 para la fiabilidad entre evaluadores. Los coeficientes kappa de Cohen calculados para la fiabilidad GF oscilaron entre 0.09 y 1,0 con grados de asociación de hasta el 65%. Se observó una diferencia significativa (P≤0.01) en las puntuaciones PGF entre los métodos de propulsión. Se apreció una elevada correlación significativa (rs=0.84, P≤0.05) entre la PGF y las puntuaciones de los apartados de la MIF asociados a la movilidad. La fiabilidad del tiempo y de la PGF es sustancial o mejor. La fiabilidad del GF no es tan buena, ya que algunos apartados indicaron una mala fiabilidad. La validad de la EAUSRRO es buena. Cette étude a pour objectif d'évaluer la fiabilité et la validité conceptuelle de l'évaluation, par un parcours d'obstacles, de la performance d'utilisateurs de fauteuils roulants (OCAWUP). Dix-sept utilisateurs expérimentés de fauteuils roulants, utilisant trois méthodes de propulsion différentes (deux mains, une main et un pied, fauteuil motorisé), ont été évalués deux fois sur les 10 obstacles OCAWUP. La fiabilité, le temps (en secondes) et le degré d'aisance (DE) à surmonter les obstacles (échelle à 4 niveaux) ont été évalués par trois ergothérapeutes. La validité conceptuelle a été évaluée en vérifiant si le score d'aisance global (GSE) OCAWUP variait en fonction de la méthode de propulsion des fauteuils roulants et de la mesure d'autonomie fonctionnelle (FIM). Les coefficients de corrélation intraclasse calculés pour la fiabilité du temps et le GSE ont atteint 0.74 pour la fiabilité de test-retest et 0.97 pour le coefficient d'objectivité. Les coefficients kappa de Cohen calculés pour la fiabilité de la DE allaient de 0.09 à 1,0, avec des degrés d'association atteignant 65%. Une différence significative (P≤0.01) dans les scores GSE a été observée entre les méthodes de propulsion. Une corrélation significative élevée (rs=0.84, P≤0.05) a été observée entre le GSE et les scores des items FIM associés à la mobilité. La fiabilité du temps et du GSE est importante ou supérieure. La fiabilité du DE n'est pas aussi bonne, quelques items indiquant une fiabilité médiocre. La validité conceptuelle de OCAWUP est bonne.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.013 | 0.055 |
| Meta-epidemiology (narrow) | 0.000 | 0.000 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.002 | 0.001 |
| Science and technology studies | 0.000 | 0.001 |
| Scholarly communication | 0.001 | 0.001 |
| Open science | 0.001 | 0.001 |
| Research integrity | 0.000 | 0.000 |
| Insufficient payload (model declined to judge) | 0.001 | 0.000 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".