Verbal autopsy coding: are multiple coders better than one?

Bull World Health Organ. 2009 Jan;87(1):51-7. doi: 10.2471/blt.08.051250.

Abstract

Objective: To assess the impact on the reported cause-of-death patterns of a verbal autopsy coding strategy based on a review of every death by multiple coders versus a single coder.

Methods: Deaths in 45 villages (total population 180,162) in southern India were documented during 12 months in 2003-2004, and a standard verbal autopsy questionnaire was completed for each death. Two physician coders, each unaware of the other's decisions, assigned an underlying cause of death in accordance with the causes listed in the chapter headings of the International classification of diseases and related health problems, 10th revision (ICD-10). For the three chapter headings that applied to more than 100 of the deaths, agreement for subsets of causes of death within the chapter was also analysed. In the event of discrepancies, a third coder was used to finalize a cause of death. Cohen's kappa statistic (Kappa) was used to measure levels of agreement between the two physician coders.

Findings: In total, 1354 deaths were documented, and a verbal autopsy was completed for 1329 (98%) of them. At the chapter heading level of the ICD-10, physician coders assigned the same cause to 1255 deaths (94%) (Kappa = 0.93; 95% confidence interval: 0.92-0.94). The patterns of death derived from the causes assigned by each physician were all very similar to the patterns obtained through the consensus process, with the rank order of the 10 leading causes of death being the same for all three coding methods.

Conclusion: Duplicate coding of verbal autopsy results has little advantage over a single-coder system for mortality surveillance or for identifying population patterns of death. Resources could be better diverted to other parts of the mortality surveillance process, such as validation.

Objectif: Evaluer l’impact sur les schémas de causes des décès notifiés d’une stratégie de codage des autopsies verbales reposant sur l’examen de chaque décès par plusieurs codeurs au lieu d’un.

Méthodes: Les décès intervenus dans 45 villages (population totale 180 162 habitants) du Sud de l’Inde ont été documentés en remplissant un questionnaire d’autopsie verbale pour chacun d’eux pendant 12 mois (période 2003-2004). Deux médecins codeurs, n’ayant pas connaissance des décisions de l’autre, ont affecté une cause sous-jacente de la mort conformément à la liste des causes constituant les têtes de chapitre de la Classification statistique internationale des maladies et des problèmes de santé connexes, 10e révision (CIM-10). Pour les trois têtes de chapitre qui s’appliquaient à plus de 100 décès, on a également analysé l’accord sur les sous-catégories de causes de décès du chapitre concerné. En cas de divergence, on a fait appel à un troisième codeur pour affecter une cause définitive de décès. On a recouru au test statistique Kappa de Cohen (Κ) pour mesurer les niveaux d’accord entre les deux premiers médecins codeurs.

Résultats: Au total, 1354 décès ont été documentés et une autopsie verbale a été remplie pour 1329 (98%) d’entre eux. Au niveau des têtes de chapitre de la CIM-10, les médecins codeurs ont affecté une cause identique à 1255 décès (94%) (Κ = 0,93 ; intervalle de confiance à 95% : 0,92-0,94). Les schémas de décès obtenus à partir de l’affectation des causes de décès réalisée par chacun des médecins étaient tous deux très similaires au schéma établi à partir du processus consensuel, l’ordre de classement des trois principales causes de décès restant identique pour les trois méthodes de codage.

Conclusion: Pour la surveillance de la mortalité ou l’identification des schémas de décès dans une population, la duplication du codage des résultats d’autopsie verbale comporte peu d’avantages sur le recours à un seul codeur. On ferait un meilleur usage des ressources en les affectant à d’autres étapes du processus de surveillance, comme la validation.

Objetivo: Evaluar el impacto en los perfiles de causas de defunción notificadas de una estrategia de codificación de las autopsias verbales basada en el uso de uno o varios agentes codificadores para examinar cada caso de defunción.

Métodos: A lo largo de 12 meses durante 2003–2004 se documentaron las defunciones registradas en 45 aldeas (población total: 180 162 habitantes) del sur de la India, rellenándose para cada fallecimiento un cuestionario de autopsia verbal estándar. Dos codificadores médicos, sin conocer cada uno las decisiones del otro, asignaron las causas de defunción basándose en las causas enumeradas en los títulos de los capítulos de la décima revisión de la Clasificación Internacional de Enfermedades y Problemas de Salud Conexos (CIE-10). Para los tres títulos de capítulos que se aplicaron a más de 100 defunciones, se analizó también el grado de coincidencia para subconjuntos de causas de defunción dentro del capítulo. En caso de discrepancia, un tercer codificador intervenía para dirimirla. La medición del grado de acuerdo entre los dos codificadores médicos se realizó mediante el estadístico kappa de Cohen (Κ).

Resultados: En total se documentaron 1354 defunciones, realizándose una autopsia verbal en 1329 (98%) de ellas. En lo que respecta a los títulos de los capítulos de la CIE-10, los codificadores médicos asignaron la misma causa a 1255 defunciones (94%) (Κ = 0,93; intervalo de confianza del 95%: 0,92–0,94). Los perfiles de mortalidad derivados de las causas asignadas por cada médico fueron muy similares a los perfiles obtenidos mediante el proceso de consenso, hasta el punto de que el orden de importancia de las 10 causas principales de defunción fue el mismo con los tres métodos de codificación.

Conclusión: La duplicación de la codificación de los resultados de las autopsias verbales no ofrece grandes ventajas respecto al sistema de codificador único en el contexto de la vigilancia de la mortalidad o la identificación de perfiles demográficos de la mortalidad. Se podrían desviar recursos hacia otros aspectos del proceso de vigilancia de la mortalidad, como por ejemplo la validación.

الەدف: تقيـيم أثر أنماط أسباب الوفيات المبلَّغ عنەا في استراتيجيات الترميز للصفة التشريحية اللفظية، استناداً إلى مراجعة كل وفاة من حيث تصنيفەا من قِبَل مرمزين متعدِّدين مقابل تصنيفەا من قِبَل مرمز واحد.

الطريقة: تم توثيق الوفيات في 45 قرية من قرى جنوب الەند التي يقطنەا 126 180 من السكان خلال مدة 12 شەراً في عامَيْ 2003-2004، مع استيفاء استبيان قياسي للصفة التشريحية اللفظية لكل وفاة. وقد حدَّد طبيبان مرمزان السبب الكامن للوفاة دون أن يعلم أحدەما بما يتخذە الطبيب المرمز الآخر من قرارات؛ ويستند عملەما على أسباب الوفيات المذكورة في عناوين الفصل في المراجعة العاشرة للتصنيف الدولي للأمراض والمشكلات الصحية ذات الصلة. وبالنسبة لعناوين الفصول الثلاثة التي تنطبق على أكثر من 100 سبب من أسباب الوفيات، تم الاتفاق على المجموعات الفرعية لأسباب الوفيات داخل كل فصل. وعند حدوث تعارض في وجەتَيْ نظر الطبيبَيْن القائمين بالترميز يُلْجَأ إلى طبيب مرمز ثالث لترجيح السبب النەائي للوفاة. واستخدمت الأداة الإحصائية كابّا المنسوبة لكوەين لقياس مستويات التوافق بين الطبيبَيْن المرمزين.

الموجودات: بلغ عدد الوفيات التي تم توثيقەا 1354 وفاة استكمل منەا ترميز الصفة التشريحية اللفظية لـ 1329 وفاة (98%). وعلى مستوى عناوين موضوعات الفصول في المراجعة العاشرة للتصنيف الدولي للأمراض، عَيَّن الطبيبان المصنِّفان السبب نفسە في 1255 وفاة (94%) وبلغ مقدار كابّا المنسوبة لكوەين 0.93، بفاصل ثقة 95%، إذ تراوح مقدار كابّا بين 0.92 و0.94). وقد كانت أنماط الوفيات المستنبطة من الأسباب التي عينەا كلٌّ من الطبيبين المرمزين متشابەة جميعەا مع الأنماط التي تم الحصول عليەا من خلال عملية الإجماع؛ مع ترتيب متماثل للأسباب العشرة الأولى للوفيات لدى الأطباء المرمزين الثلاثة.

الاستنتاج: ليس لمضاعفة عملية الترميز لنتائج الصفة التشريحية اللفظية سوى فوائد قليلة تزيد عما ينتجە نظام الطبيب المرمز الوحيد لأغراض ترصُّد الوفيات أو للتعرف على أنماط الوفيات لدى السكَّان. ويمكن الاستفادة بشكل أفضل من الموارد المالية المخصصة للترميز بمصنِّفين متعدِّدين واستخدامەا أقسام أخرى من عملية الترصُّد مثل التحقُّق من المصدوقية.

Publication types

  • Evaluation Study
  • Research Support, Non-U.S. Gov't

MeSH terms

  • Australia
  • Autopsy*
  • Cause of Death
  • Female
  • Forms and Records Control / methods*
  • Health Personnel
  • Humans
  • India
  • Male
  • Mortality / trends
  • Speech*
  • Surveys and Questionnaires