Measuring True Change in Individual Patients: Reliable Change Indices of Cardiac Rehabilitation Outcomes, and Implications for Quality Indicators

CJC Open. 2021 May 16;3(9):1139-1148. doi: 10.1016/j.cjco.2021.05.006. eCollection 2021 Sep.

Abstract

Background: Mediated by outcomes such as improved exercise capacity, cardiac rehabilitation (CR) reduces morbidity and mortality. For accuracy, an individual CR patient's change must be measured reliably, an issue not typically considered in practice. Drawing from psychometric theory, we calculated reliable change indices (RCIs), to measure individual CR patients' true clinical change, apart from that from error and test practice/exposure, in exercise capacity, anxiety, and depression.

Methods: Indirectly calculated exercise capacity (peak metabolic equivalents [METs]) and psychological symptoms were each measured twice, 1 week apart, by administering treadmill tests or the Hospital Anxiety and Depression Scale (HADS) to separate samples of 35 (mean age: 59.0 years; 6 women) and 96 (mean age: 64.4 years; 32 women) CR patients, respectively. Using test-retest reliability and mean difference scores from these samples to estimate error and practice/exposure effects, we calculated RCIs for a separate cohort (n = 2066; mean age: 62.0 years; 533 women) who completed 6-month CR, and compared change distributions (worsened/unchanged/improved) based on critical RCIs, mean and percent changes, cut-off scores, and standard deviations.

Results: Practice/exposure effects were nonsignificant, except the mean HADS anxiety score decreased significantly (P ≤ 0.013; d = 0.17, small effect). Test-retest reliabilities were high (METs r = 0.934; HADS anxiety score r = 0.912; HADS depression score r = 0.90; P < 0.001). Among 2066 CR patients, RCI distributions differed (P < 0.001) from those of most other change criteria.

Conclusions: Change ascertainment depends on criterion choice. A Canadian Cardiovascular Society CR quality indicator of increase by 0.5 MET may be too small to assess individuals' functional capacity change. RCIs offer a pragmatic approach to benchmarking reliable change frequency, and pending further validation, could be used for feedback to individual patients.

Contexte: Grâce à des résultats tels que l'amélioration de la capacité d'exercice, la réadaptation cardiaque (RC) réduit la morbidité et la mortalité. Pour être précis, le changement de RC d'un patient doit être mesuré de manière fiable, un aspect qui n'est généralement pas pris en compte dans la pratique. En nous inspirant de la théorie psychométrique, nous avons déterminé des indices de changement fiables afin de mesurer le véritable changement clinique individuel des patients en RC en lien avec la capacité d'entraînement, l'anxiété et la dépression et indépendamment des erreurs et de la pratique du test/l'exposition au test.

Méthodologie: La capacité d'entraînement calculée indirectement (l’équivalent métabolique maximum [MET]) et les symptômes psychologiques ont été mesurés deux fois, à une semaine d'intervalle, par le biais de tests sur tapis roulant ou de l’échelle de l’évaluation de l'anxiété et de la dépression en milieu hospitalier (HADS), auxquels ont respectivement été soumis des échantillons de 35 personnes en RC (âge moyen : 59,0 ans; 6 femmes) et de 96 personnes en RC (âge moyen : 64,4 ans; 32 femmes). En recourant à la fiabilité test-retest et aux écarts moyens dans les scores de ces échantillons pour faire une approximation des effets d'erreur et de pratique/exposition, nous avons déterminé des indices de changement fiables pour une cohorte distincte (n = 2 066; âge moyen : 62,0 ans; 533 femmes) qui a terminé une RC de six mois, et comparé la répartition des changements (aggravé/inchangé/amélioré) sur la base des indices de changement fiables critiques, des changements moyens et en pourcentage, des scores-seuils et des écarts types.

Résultats: Les effets de la pratique/exposition étaient peu significatifs, sauf une diminution du score moyen de l'anxiété sur l’échelle HADS (p ≤ 0,013; d = 0,17, petit effet). La fiabilité test-retest était élevée (MET, r = 0,934; score de l'anxiété sur l’échelle HADS, r = 0,912; score de la dépression sur l’échelle HADS, r = 0,90; p < 0,001). Parmi les 2 066 patients en RC, la répartition des indices de changement fiables différait (p < 0,001) de celle de la plupart des autres critères de changement.

Conclusions: Le constat du changement dépend du choix du critère. Une augmentation de 0,5 MET selon l'indicateur de qualité en RC de la Société canadienne de cardiologie est peut-être trop faible pour évaluer le changement de capacité fonctionnelle des individus. Les indices de changement fiables offrent une approche pragmatique pour comparer la fréquence du changement fiable et, en attendant une vérification plus poussée, ils pourraient être utilisés comme rétroaction fournie individuellement aux patients.