Introduction and evaluation of a therapeutic adherence and competence scale for grief-focused cognitive behavioural therapy

Eur J Psychotraumatol. 2022 Jun 15;13(1):2079873. doi: 10.1080/20008198.2022.2079873. eCollection 2022.

Abstract

Background: There is no therapeutic competence and adherence scale for grief-focused cognitive behavioural therapy (grief-focused CBT). However, given the growing body of evidence for the efficacy of grief-focused CBT, such a scale is needed both to ensure the internal validity of clinical trials and to facilitate psychotherapy process research.

Objective: To develop and undertake a psychometric evaluation of a therapeutic adherence and competence scale for grief-focused CBT.

Method: The scale was developed in two steps. (I) Five experts on the treatment of prolonged grief disorder provided feedback on the relevance and appropriateness of the items. The scale was revised to reflect their feedback. The final therapeutic adherence and competence scale for grief (TACs-G) consisted of 15 adherence and 16 competence items. (II) Psychometric evaluation of the TACs-G was based on the rating of 48 randomly selected PG-CBT sessions by two independent raters. The videos were recorded in the context of a randomized controlled trial (RCT; DRKS00012317.) ICC was used to calculate inter-rater reliability and TACs-G stability over time (re-evaluation of 10 sessions after 12 months).

Results: The five experts confirmed the relevance and appropriateness of the items. Interrater reliability was found to be high for the total adherence and competence scores (ICC = 0.889 and 0.782, respectively) and moderate to excellent for individual items (ICC = 0.509-1.00). The TACs-G stability over time was found to be strong for both adherence (ICC = 0.970) and competence total scores (ICC = 0.965).

Conclusions: The TACs-G for CBT is a reliable instrument that can be used not only to ensure internal validity but is also suited for psychotherapy process studies. Additionally, it provides a valuable database for targeted feedback in training settings.

Highlights: This is the first study to report on the development and psychometrical evaluation of a grief-focused adherence and competence scale.Although an increasing number of clinical trials do report the efficacy of grief-focused cognitive-behavioural therapy, none of these studies used a standardized adherence and competence scale to control internal validity.In the present study, we introduced a therapeutic adherence and competence scale for grief (TACs-G) that can be applied efficiently across different research settings (e.g. manipulation check, dissemination), and report results of good to excellent psychometric properties.The scale itself could prove useful beyond the research setting as it could possibly serve as a basis for feedback in training settings.

Antecedentes: No existe ninguna escala de competencia terapéutica y adherencia para la terapia cognitiva conductual centrada en el duelo. Sin embargo, dado el emergente cuerpo de evidencia para la eficacia de la TCC centrada en el duelo, se necesita una escala para asegurar la validez interna de los ensayos clínicos y para facilitar el proceso de investigación en psicoterapia.

Objetivo: Desarrollar y ejecutar una evaluación psicométrica de una escala de adherencia terapéutica y competencia para terapia cognitivo conductual focalizada en el duelo (PG-CBT por sus siglas en inglés).

Método: La escala fue desarrollada en dos pasos. (I) Cinco expertos en el tratamiento del trastorno por duelo prolongado dieron retroalimentación en la relevancia y la idoneidad de los ítems. La escala fue revisada para reflejar su retroalimentación. La escala final de adherencia y competencia terapéuticas para el duelo (TACs-G por sus siglas en inglés) consiste en 15 ítems de adherencia y 16 ítems de competencia. (II) Se realizó una evaluación psicométrica de la TACs-G basada en el puntaje de 48 sesiones de PG-CBT seleccionadas al azar por 2 evaluadores independientes. Los videos fueron grabados en el contexto de un ensayo controlado aleatorizado (RCT; DRKS00012317.) Se utilizó un coeficiente de correlación intraclase (ICC por sus siglas en inglés) para calcular la confiabilidad inter evaluador y la estabilidad de la TACs-G durante el tiempo (reevaluación de 10 sesiones después de 12 meses).

Resultados: Los cinco expertos confirmaron la relevancia y adecuación de los ítems. La confiabilidad entre evaluadores fue alta para las puntuaciones totales de adherencia y competencia (ICC = 0.889 y 0.782, respectivamente) y de moderada a excelente para ítems individuales (ICC = 0.509 a 1.00). Se encontró que la estabilidad de los TACs-G durante el tiempo fue fuerte tanto para los puntajes totales de adherencia (ICC = 0.970) como de competencia (ICC = 0.965).

Conclusiones: La TAC-G para TCC es un instrumento confiable que puede ser usado no solamente para asegurar validez interna sino también para estudios sobre proceso psicoterapéutico. Además, provee de una base de datos valiosa para retroalimentación dirigida en contextos de capacitación.

背景: 没有聚焦哀伤的认知行为疗法(聚焦哀伤CBT)的治疗能力和依从性量表. 然而,鉴于越来越多的证据表明聚焦哀伤 CBT 的效度,需要这样的量表来确保临床试验的内部效度和促进心理治疗过程的研究.

目的: 开发和开展一项针对聚焦哀伤 CBT 的治疗依从性和能力量表的心理测量评估.

方法: 该量表分两步开发. (I)五位延长哀伤障碍治疗专家对条目的相关性和适当性进行了反馈。对量表进行了修订以反映他们的反馈. 最终的哀伤治疗依从性和能力量表(TACs-G)由 15 个依从性和 16 个能力条目组成. (II) TACs-G 的心理测量评估基于两名独立评分者对 48 个随机选择的 PG-CBT 会话的评分. 这些视频是在随机对照试验 (RCT; DRKS00012317) 的背景下录制的. ICC 用于计算评分者间的可靠性和 TACs-G 随时间的稳定性 (12 个月后重新评分 10 个会话).

结果: 五位专家确认了条目的相关性和适当性. 总体依从性和能力得分(ICC = 0.889 和 0.782)的评分者间信度较高,个别条目的信度为中等至极好(ICC = 0.509 至 1.00). 随着时间的推移,TACs-G 的稳定性对于依从性(ICC = 0.970)和能力总分(ICC = 0.965)都很强.

结论: 用于 CBT 的 TACs-G 是一种可靠的工具,不仅可用于确保内部效度,还适用于心理治疗过程研究。此外,它还为培训设置中的针对性反馈提供了一个有价值的数据库.

Keywords: CBT; Therapeutic adherence; prolonged grief disorder; therapeutic competence; treatment integrity.

Publication types

  • Randomized Controlled Trial
  • Research Support, Non-U.S. Gov't

MeSH terms

  • Cognitive Behavioral Therapy* / methods
  • Grief
  • Psychometrics / methods
  • Reproducibility of Results
  • Treatment Adherence and Compliance

Grants and funding

This work was supported by a grant from the German Research Foundation to RR [DFG RO 2042/7-1/2]. Additionally, this work was supported by the German Research Foundation (DFG) within the funding programme Open Access Publishing.