Development of a Walking-Safety Scale for Older Adults, Part II: Interrater and Test-Retest Agreement of the GEM Scale

Physiother Can. 2008 Summer;60(3):274-82. doi: 10.3138/physio.60.3.274. Epub 2008 Oct 10.

Abstract

Purpose: The GEM scale is an objective assessment tool, specifically developed for older adults, to evaluate walking safety using standardized tasks. The purpose of this study was to estimate the interrater and test-retest agreement of the GEM scale.

Method: Participants (n = 41; >/= 65 years) were recruited from geriatric units and assessed independently and simultaneously by three raters on two occasions using the GEM scale. Kappa coefficients and percentage agreement were calculated for each item of the scale.

Results: A majority of walking items (n = 22) showed fair to substantial interrater agreement (kappa >/= 0.25) and substantial to almost perfect test-retest agreement (kappa >/= 0.60). Mean percentage agreement was high for both interrater and test-retest agreement (79% +/- 15% and 83% +/- 16% respectively). Moreover, detailed analyses demonstrated that the relatively low agreement of some items resulted from changes in the performance of some participants and the low variability of scores. Although some walking items showed less agreement, the final decision regarding the participants' ability to walk safely resulted in moderate to substantial interrater and test-retest agreement.

Conclusion: The GEM scale is a new assessment tool that can now be used with estimated interrater and test-retest properties to allow therapists to objectively evaluate walking safety among the elderly.

Objet :: La GEM est un instrument d’évaluation objectif, développé pour les aînés dans le but d’évaluer la sécurité à la marche à l’aide de tâches standardisées. Cette étude avait pour but d’évaluer la concordance interjuges et test-retest de la GEM.

Méthodologie :: Les participants (n = 41 ; ≥ 65 ans) ont été recrutés parmi les unités gériatriques et ont été évalués à deux reprises, de façon indépendante et simultanée, par trois évaluateurs à l’aide de la GEM. Les coefficients kappa et le pourcentage de concordance ont été calculés pour chaque item de l'instrument.

Résultats :: La majorité des items de marche (n = 22) ont démontré une concordance interjuges de « acceptable » à « très bonne » (κ ≥ 0,25) et une concordance de « très bonne » à « presque parfaite » pour le test-retest (κ ≥ 0,60). La moyenne des pourcentages d'accord était élevée pour l'accord interjuges et test-retest (79 % ± 15 % et 83 % ± 16 %, respectivement). En outre, des analyses détaillées ont démontrée que la concordance relativement faible de certains items était due à des changements dans la performance de certains participants et à la variabilité peu élevée des cotes. Bien que certains items de marche aient montré une concordance plus faible, la décision finale concernant la sécurité à la marche a démontré un accord interjuges et test-retest variant de « modéré » à « très bonne ».

Conclusion :: La GEM est un nouvel instrument d’évaluation dont les qualités métrologiques de fidélité interjuges et test-retest éstimé permettent aux thérapeutes d’évaluer objectivement la sécurité à la marche chez les aînés.

Keywords: assessment; elderly; gait; physiotherapy; psychometric properties.