Interrater agreement on behavioral executive function measures in adolescents with Attention Deficit Hyperactivity Disorder

Int J Clin Health Psychol. 2019 May;19(2):141-149. doi: 10.1016/j.ijchp.2019.02.007. Epub 2019 Apr 30.

Abstract

Though most children with Attention Deficit Hyperactivity Disorder (ADHD) show difficulties in behavioral measures of executive functions (EF), few studies have examined interrater agreement in these measures.

Objective: To analyze the agreement between parents, teachers and self-reports of behavioral EF in adolescents with ADHD and controls.

Method: A sample of 118 adolescents (75 with ADHD and 43 controls) was rated by parents, teachers and the adolescents themselves using the Comprehensive Executive Function Inventory. The intraclass correlation coefficient (ICC) and Bland and Altman methods were used to evaluate agreement.

Results: The ICC between parents, teachers and self-report was poor or moderate in the group with ADHD; in the control group the agreement was fair to good. The Bland and Altman graphs show that, in the control group, most of the scores are below to the clinical cut-off point, while in the group with ADHD they are above.

Conclusions: Agreement between all raters was low. Parents, teachers and adolescents agreed on the absence of deficits in behavioral EF in the control group, and on the presence of deficits in the group with ADHD, although they did not agree on the frequency of these deficits.

Aunque muchos adolescentes con Trastorno por Déficit de Atención con Hiperactividad (TDAH) muestran dificultades en las funciones ejecutivas (FE) conductuales, pocos estudios han analizado el acuerdo entre informantes en estas medidas. Objetivo: Analizar el acuerdo entre informantes en la valoración de FE conductuales en adolescentes con TDAH y controles. Método: Ciento dieciocho adolescentes (75 con TDAH y 43 controles) fueron evaluados con el Comprehensive Executive Function Inventory por padres, maestros y autoinforme. Se utilizó el coeficiente de correlación intraclase (ICC), y el método de Bland y Altman para evaluar el acuerdo entre informantes. Resultados: El ICC varía entre bajo y moderado en el grupo con TDAH, y entre moderado y bueno en el grupo control. Los gráficos de Bland y Altman muestran que, en el grupo control, la mayoría de las puntuaciones se sitúan por debajo del punto de corte clínico, mientras que en el grupo con TDAH están por encima del punto de corte. Conclusiones: El acuerdo entre informantes es bajo. Padres, maestros y adolescentes coinciden en la ausencia de déficits en las FE conductuales en el grupo control y en la presencia de déficits en el grupo con TDAH, aunque no coinciden en la frecuencia de estos déficits.

Keywords: ADHD; Behavioral executive functions; Bland and Altman approach; Correlational cross-sectional study; Interrater agreement.