MétaCan
Menu
Back to cohort

Reliability and construct validity studies of an obstacle course assessment of wheelchair user performance

2005· article· en· W2047741418 on OpenAlexaff
Johanne Desrosiers, Claude Vincent, Sylvie Nadeau

Bibliographic record

VenueInternational Journal of Rehabilitation Research · 2005
Typearticle
Languageen
FieldMedicine
TopicSpinal Cord Injury Research
Canadian institutionsHealth and Social Services Centre University Institute of Geriatrics of SherbrookeUniversité LavalUniversité de MontréalUniversité de SherbrookeCentre for Interdisciplinary Research in Rehabilitation
Fundersnot available
KeywordsIntraclass correlationReliability (semiconductor)WheelchairConstruct validityPsychologyInter-rater reliabilityConstruct (python library)Computer scienceReliability engineeringStatisticsPhysical medicine and rehabilitationMathematicsPsychometricsEngineeringMedicineRating scaleDevelopmental psychology

Abstract

fetched live from OpenAlex

The objective of this study is to evaluate the reliability and construct validity of an obstacle course assessment of wheelchair user performance (OCAWUP). Seventeen experienced wheelchair users using three different propulsion methods (two hands, one hand and one foot or motorized wheelchair) were assessed twice on the 10 obstacles of the OCAWUP. To evaluate reliability, time (in seconds) and degree of ease (DE) in overcoming obstacles (four-level scale) were assessed by three occupational therapists. Construct validity was assessed by verifying whether the OCAWUP's global score of ease (GSE) varied with wheelchair propulsion methods and the functional independence measure (FIM). Intraclass correlation coefficients calculated for reliability of time and GSE were up to 0.74 for test–retest reliability and up to 0.97 for interrater reliability. Cohen's κ coefficients calculated for DE reliabilities varied from 0.09 to 1.0 with degrees of association up to 65%. A significant difference (P≤0.01) in GSE scores is shown between propulsion methods. A high significant correlation (rs=0.84, P≤0.05) was found between GSE and scores of FIM items associated with mobility. Reliability of time and GSE is substantial or better. Reliability of DE is not as good, with a few items indicating poor reliability. OCAWUP's construct validity is good. Ziel dieser Studie war die Beurteilung der Reliabilität (Zuverlässigkeit) und Konstruktvalidität einer Hindernisparcours-Leistungsbewertung für Rollstuhlfahrer (OCAWUP). Siebzehn erfahrene Rollstuhlfahrer, die drei verschiedene Antriebsmethoden nutzten (zwei Hände oder eine Hand plus ein Fuss oder motorbetriebenen Rollstuhl) wurden zweimal einer Beurteilung an den 10 Hindernissen im Rahmen der OCAWUP unterzogen. Zur Bewertung der Reliabilität wurde von drei Beschäftigungstherapeuten die Zeit (in Sekunden) und der Leichtigkeitsgrad (DE), mit dem die Hindernisse überwunden wurden (vierstufige Skala) herangezogen. Die Bewertung der Konstruktvalidität erfolgte durch Verifizierung, falls der im Rahmen der OCAWUP ermittelte globale Scorewert für Leichtigkeit der Bewältigung (GSE) je nach Rollstuhlantrieb variierte, sowie durch den funktionalen Selbständigkeitsindex (FIM). Die für die Reliabilität von Zeit und GSE berechneten Intra-Klassen-Korrelationskoeffizienten beliefen sich auf bis zu 0.74 für die Test-Retest-Reliabilität und auf bis zu 0.97 für die Interrater-Reliabilität. Die für die DE-Reliabilität berechneten kappa-Koeffizienten nach Cohen variierten zwischen 0.09 und 1,0 mit Assoziationsgraden von bis zu 65%. Ein signifikanter Unterschied (P≤0.01) bei den GSE-Scorewerten zeigt sich für die Antriebsmethoden. Eine hochsignifikante Korrelation (rs=0.84, P≤0.05) wurde zwischen dem GSE und den Scorewerten für die mobilitätsassoziierten Unterpunkte des FIM festgestellt. Die Reliabilität von Zeit und GSE ist erheblich oder besser. Die Reliabilität des Leichtigkeitsgrades (DE) ist nicht so gut, einige Punkte sprechen sogar für eine schlechte Reliabilität. Die für die OCAWUP ermittelte Konstruktvalidität ist gut. El objetivo de este estudio es evaluar la fiabilidad y la validez de una evaluación de la actuación de usuarios de silla de ruedas en un recorrido de obstáculos (EAUSRRO). Se evaluó a 17 usuarios de silla de ruedas con experiencia, que empleaban tres métodos de propulsión diferentes (dos manos, una mano y un pie o silla con motor) dos veces en los 10 obstáculos de la OCAWUP. Con el fin de evaluar la fiabilidad, tres terapeutas ocupacionales valoraron el tiempo (en segundos) y el grado de facilidad (GF) para superar los obstáculos (escala de cuatro niveles). La validez del montaje se evaluó verificando si la puntuación global de la facilidad (PGF) de la EAUSRRO variaba con los distintos métodos de propulsión de la silla y con la medición de independencia funcional (MIF). Los coeficientes de correlación intraclase calculados para la fiabilidad del tiempo y la PGF fueron de hasta 0.74 en el caso de la fiabilidad de la prueba-repetición de la prueba y hasta del 0.97 para la fiabilidad entre evaluadores. Los coeficientes kappa de Cohen calculados para la fiabilidad GF oscilaron entre 0.09 y 1,0 con grados de asociación de hasta el 65%. Se observó una diferencia significativa (P≤0.01) en las puntuaciones PGF entre los métodos de propulsión. Se apreció una elevada correlación significativa (rs=0.84, P≤0.05) entre la PGF y las puntuaciones de los apartados de la MIF asociados a la movilidad. La fiabilidad del tiempo y de la PGF es sustancial o mejor. La fiabilidad del GF no es tan buena, ya que algunos apartados indicaron una mala fiabilidad. La validad de la EAUSRRO es buena. Cette étude a pour objectif d'évaluer la fiabilité et la validité conceptuelle de l'évaluation, par un parcours d'obstacles, de la performance d'utilisateurs de fauteuils roulants (OCAWUP). Dix-sept utilisateurs expérimentés de fauteuils roulants, utilisant trois méthodes de propulsion différentes (deux mains, une main et un pied, fauteuil motorisé), ont été évalués deux fois sur les 10 obstacles OCAWUP. La fiabilité, le temps (en secondes) et le degré d'aisance (DE) à surmonter les obstacles (échelle à 4 niveaux) ont été évalués par trois ergothérapeutes. La validité conceptuelle a été évaluée en vérifiant si le score d'aisance global (GSE) OCAWUP variait en fonction de la méthode de propulsion des fauteuils roulants et de la mesure d'autonomie fonctionnelle (FIM). Les coefficients de corrélation intraclasse calculés pour la fiabilité du temps et le GSE ont atteint 0.74 pour la fiabilité de test-retest et 0.97 pour le coefficient d'objectivité. Les coefficients kappa de Cohen calculés pour la fiabilité de la DE allaient de 0.09 à 1,0, avec des degrés d'association atteignant 65%. Une différence significative (P≤0.01) dans les scores GSE a été observée entre les méthodes de propulsion. Une corrélation significative élevée (rs=0.84, P≤0.05) a été observée entre le GSE et les scores des items FIM associés à la mobilité. La fiabilité du temps et du GSE est importante ou supérieure. La fiabilité du DE n'est pas aussi bonne, quelques items indiquant une fiabilité médiocre. La validité conceptuelle de OCAWUP est bonne.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.

How this classification was reachedexpand

Full frame machine prediction

Teacher imitation

Not calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.

metaresearch head score (Codex)0.013
metaresearch head score (Gemma)0.055
Version: metacan-v3-hybrid-931329e0061cValidation status: machine_predicted_unvalidated
Candidate categoriesnone
Consensus categoriesnone
DomainCandidate signal: none · Consensus signal: none
Study designCandidate signal: Observational · Consensus signal: Observational
GenreCandidate signal: Empirical · Consensus signal: Empirical
Teacher disagreement score0.013
Threshold uncertainty score0.070

Distilled classifier scores by category (both heads)

CategoryCodexGemma
Metaresearch0.0130.055
Meta-epidemiology (narrow)0.0000.000
Meta-epidemiology (broad)0.0010.001
Bibliometrics0.0020.001
Science and technology studies0.0000.001
Scholarly communication0.0010.001
Open science0.0010.001
Research integrity0.0000.000
Insufficient payload (model declined to judge)0.0010.000

Machine scores (provisional)

The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.

Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.

Opus teacher head0.135
GPT teacher head0.544
Teacher spread0.409 · how far apart the two teachers sit on this one work
Validation statusscore_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from it

Classification

machine, unvalidated

Machine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.

The models applied no category: nothing in the taxonomy fit this work.
Study designObservational
Domainnot available
GenreEmpirical

How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".

Quick stats

Citations22
Published2005
Admission routes1
Has abstractyes

Explore more

Same venueInternational Journal of Rehabilitation ResearchSame topicSpinal Cord Injury ResearchFrench-language works237,207