Retest effects in a diverse sample: sociodemographic predictors and possible correction approaches

Dement Neuropsychol. 2022 Apr-Jun;16(2):171-180. doi: 10.1590/1980-5764-DN-2021-0027. Epub 2022 Apr 29.

Abstract

Repeated cognitive assessment in longitudinal studies favors the occurrence of retest effects, usually increasing the scores obtained at the follow-up assessments when compared to baseline. Therefore, retest effects can compromise the evaluation of cognitive decline in older adults.

Objectives: We aimed to verify the occurrence of the retest effect and the impact of sociodemographic characteristics on the follow-up scores in a sample of 5,592 participants with a diverse sociodemographic profile, who were assessed twice during 4 years of follow-up.

Methods: We tested two possible approaches to correct the retest effect and calculated the Reliable Change Index.

Results: We observed increased scores at the follow-up assessment after 4 years, but the results indicate a modest occurrence of retest effects. The regression difference correction successfully generated follow-up corrected scores, while the mean difference did not provide effective corrections. Sociodemographic characteristics had a minor impact on the retest.

Conclusions: We recommend the regression difference correction for retest effects. The absence of this methodological approach might lead to biased results using longitudinal cognitive scores.

Avaliações cognitivas repetidas em estudos longitudinais favorecem a ocorrência de efeitos de retestagem ou de prática, geralmente aumentando os escores obtidos nas avaliações de acompanhamento quando comparados aos da primeira avaliação. Sendo assim, os efeitos do retestagem podem comprometer a verificação do declínio cognitivo em idosos.

Objetivos: Objetivamos verificar a ocorrência do efeito de prática e o impacto das características sociodemográficas nos escores de seguimento em uma amostra de 5.592 participantes com perfil sociodemográfico diverso, avaliada duas vezes durante quatro anos de seguimento.

Métodos: Testamos duas abordagens possíveis para corrigir o efeito de prática e calculamos o índice de mudança confiável.

Resultados: Observamos escores sutilmente maiores na avaliação de seguimento após quatro anos, o que sugere a ocorrência de efeitos de retestagem. A correção pela diferença da regressão gerou escores corrigidos de acompanhamento satisfatórios, enquanto a correção pela diferença média não forneceu correções eficazes. As características sociodemográficas tiveram impacto mínimo no efeito de prática.

Conclusões: Recomendamos a forma de correção pela diferença da regressão para efeitos de retestagem. A ausência dessa abordagem metodológica, quando utilizamos escores cognitivos longitudinais, pode levar a resultados enviesados.

Keywords: Aged; Longitudinal Studies; Psychometrics; Reproducibility of Results.