[Web-based field studies on diagnostic classification and code assignment of mental disorders: comparison of ICD-11 and ICD-10]

Fortschr Neurol Psychiatr. 2018 Mar;86(3):163-171. doi: 10.1055/s-0044-100508. Epub 2018 Apr 5.
[Article in German]

Abstract

The German Society for Psychiatry, Psychosomatics and Psychotherapy (DGPPN,) conducted a comprehensive field study (principal investigator WG) funded by the German Federal Ministry of Health in cooperation with 4 other German medical societies in the field of mental health (DGPM, DGPPR, DeGFS, DGfS) * to support WHO's development of the ICD-11 (Chapters 6 and 17). The objective of the web-based field study was to compare ICD-10 and ICD-11 (beta draft) for selected mental disorders, regarding consistency, accuracy and assessment of utility. The first study (TP1) focused on the diagnostic classification and the second (TP2) on assignment of diagnostic codes.In TP1, clinicians used either the ICD-10 Clinical Descriptions and Diagnostic Guidelines (CDDG) version or a draft version of the ICD-11 CDDG to evaluate 10 case vignettes in a randomized study implemented through the WHO GCPN **. As hypothesized, consistency was in favor of the ICD-11 (p = .02; n = 319 expert participants) though there was some variability across the different diagnostic categories. In addition, time for diagnosis was shorter (p = .01) and clinicians' judgment of utility (ease of use; goodness of fit) was better for ICD-11 (p = .047 and p < .001 respectively).TP2 focused on consistency of diagnostic code assignment for 25 short case descriptions (including explicit diagnosis and additional clinical information) using both ICD-10 and ICD-11 in a randomized web-based field study which was run on the WHO ICD-FiT *** platform. Based on 531 code assignments by120 expert clinicians, consistency for ICD-11 was significantly lower compared to ICD-10 (71 % vs. 82 %, p < .001) contrary to study hypothesis, and time required was significantly higher for ICD-11 (p < .001). Nevertheless, utility assessments were in favor of ICD-11 (p < .005).In summary, in TP1, given vignettes with more complex clinical descriptions more similar to clinical cases, ICD-11 showed advantages in the consistency of correct diagnoses among clinicians, time required to reach a diagnosis, and clinicians' ratings of clinical utility. These results provide evidence for quality improvement of the diagnostic process due to the revision of the more complete diagnostic guidelines for ICD-11. In the coding task of TP2, coding by clinicians using the ICD-10 was more consistent and faster than coding using the ICD-11. This may be a result of the greater complexity for coding use of the ICD-11 (e. g., due to 'post-coordination'), as well as greater familiarity with the ICD-10 system (which German clinicians currently use) and lack of practice with the new ICD-11 codes and tools. In spite of this, users assessed the ICD-11 system as more useful than the ICD-10, in part also because of ICD-11's more systematic and comprehensive coding tools. In addition, time needed for coding improved with practice, indicating need for intense education and training initiatives when ICD-11 is adopted and implemented into clinical practice.

Die Deutsche Gesellschaft für Psychiatrie, Psychotherapie, Psychosomatik und Nervenheilkunde (DGPPN) hat federführend (Projektleitung WG) in Kooperation mit vier weiteren medizinischen Fachgesellschaften (DGPM, DGPPR, DeGPT, DGfS) * eine von elf der vom Bundesministerium für Gesundheit geförderten Validierungsstudien zur Unterstützung der WHO-Revision der ICD-10 zur ICD-11 durchgeführt. Die internetbasierte Feldstudie hatte zum Ziel, für ausgewählte Kategorien aus dem Bereich psychischer Erkrankungen (Betadraft, Kapitel 6 und 17) die Konsistenz (Reliabilität) der Diagnosestellung (Teilprojekt TP 1) sowie der Zuweisung diagnostischer Codes (TP 2) nach ICD-11 im Vergleich zur ICD-10 zu überprüfen sowie Anwendereinschätzungen zur Praktikabilität und Nutzerfreundlichkeit zu erheben.TP 1 untersuchte in randomisiertem Design die Konsistenz der Diagnosestellung anhand von zehn Fallvignetten mittels klinischer Diagnoseleitlinien über die WHO GCPN-Plattform ** mit Hilfe von 319 rekrutierten Mitgliedern der beteiligten Fachgesellschaften. Hypothesenkonform war die Konsistenz für ICD-11 signifikant höher als für ICD-10 (p = 0,02). Zusätzlich waren Zeitdauer der Diagnosestellung kürzer (p = 0,01) und Anwenderbeurteilungen positiver für ICD-11 hinsichtlich Nutzerfreundlichkeit (p = 0,047) und Passgenauigkeit (p < 0,001).Ebenfalls randomisiert wurde in TP 2 die Konsistenz der Kodierung für 25 explizite Diagnosen mit kurzen epikritischen Fallbeschreibungen für ICD-11 und ICD-10 mittels WHO FiT-Tool *** erfasst (n = 531 Kodierungen von 120 Teilnehmenden). Entgegen der Hypothese fand sich eine unterlegene Konsistenz korrekter Kodierung für ICD-11 vs. ICD-10 (71 % vs. 82 %; p < 0,001) sowie ein höherer Zeitbedarf für ICD-11 (p < 0,001). Hingegen war die Nutzerbewertung für ICD-11 erneut überlegen (p < 0,005).Zusammenfassend weist die ICD-11 in der diagnostischen Güte bessere, in der Kodierleistung schlechtere Konsistenzergebnisse auf als ICD-10. Die Ergebnisse belegen, dass die revidierten diagnostischen Leitlinien die Qualität des diagnostischen Prozesses günstig beeinflussen, was durch die zeitlichen Leistungsmaße und Nutzerbeurteilungen gestützt wird. Demgegenüber fallen die Kodierleistungen für die ICD-11 noch zurück, was sowohl auf die mögliche höhere Kodierkomplexität (z. B. Komplex-Codes mit sog. „post-coordination“) als auch auf den ungeübten Umgang mit dem neuen Kodiertool für ICD-11 zurückzuführen sein dürfte. Dennoch wird der neue Kodierprozess aufgrund erweiterter und systematischerer Kodieroptionen günstiger beurteilt als für ICD-10. In den Verläufen der zeitlichen Leistungsmaße zeichnen sich überdies Lernerfolge für ICD-11 ab, die darauf hinweisen, dass eingehende Schulungs- und Trainingsmaßnahmen im Rahmen der künftigen Praxisimplementierung von ICD-11 nicht nur erforderlich, sondern auch erfolgreich sein dürften. Die über Diagnosekategorien hinweg variablen Konsistenzergebnisse weisen allerdings auch darauf hin, dass es in der gegenwärtigen Entwurfsfassung der ICD-11 noch Verbesserungspotenziale für Diagnostik und Kodierung gibt, die in abschließenden und kontinuierlichen Revisionsmaßnahmen i. S. eines „living document“ zu berücksichtigen sind.

Publication types

  • Comparative Study
  • Review

MeSH terms

  • Humans
  • International Classification of Diseases / trends*
  • Internet*
  • Mental Disorders / classification*
  • Mental Disorders / diagnosis
  • Mental Disorders / psychology
  • Psychiatry / standards