Inter-Reader Variability Using PI-RADS v2 Versus PI-RADS v2.1: Most New Disagreement Stems from Scores 1 and 2

Rofo. 2022 Aug;194(8):852-861. doi: 10.1055/a-1752-1038. Epub 2022 May 11.

Abstract

Purpose: To analyze possible differences in the inter-reader variability between PI-RADS version 2 (v2) and version 2.1 (v2.1) for the classification of prostate lesions using multiparametric MRI (mpMRI) of the prostate.

Methods: In this retrospective and randomized study, 239 annotated and histopathologically correlated prostate lesions (104 positive and 135 negative for prostate cancer) were rated twice by three experienced uroradiologists using PI-RADS v2 and v2.1 with an interval of at least two months between readings. Results were tabulated across readers and reading timepoints and inter-reader variability was determined using Fleiss' kappa (κ). Thereafter, an additional analysis of the data was performed in which PI-RADS scores 1 and 2 were combined, as they have the same clinical consequences.

Results: PI-PI-RADS v2.1 showed better inter-reader agreement in the peripheral zone (PZ), but poorer inter-reader agreement in the transition zone (TZ) (PZ: κ = 0.63 vs. κ = 0.58; TZ: κ = 0.47 vs. κ = 0.57). When PI-RADS scores 1 and 2 were combined, the use of PI-RADS v2.1 resulted in almost perfect inter-reader agreement in the PZ and substantial agreement in the TZ (PZ: κ = 0.81; TZ: κ = 0.80).

Conclusion: PI-RADS v2.1 improves inter-reader agreement in the PZ. New differences in inter-reader agreement were mainly the result of the assignment of PI-RADS v2.1 scores 1 and 2 to lesions in the TZ. Combining scores 1 and 2 improved inter-reader agreement both in the TZ and in the PZ, indicating that refined definitions may be warranted for these PI-RADS scores.

Key points: · PI-RADSv2.1 improves inter-reader agreement in the PZ but not in the TZ.. · New differences derived from PI-RADSv2.1 scores 1 and 2 in the TZ.. · Combined PI-RADSv2.1 scores of 1 and 2 yielded better inter-reader agreement.. · PI-RADSv2.1 appears to provide more precise description of lesions in the PZ.. · Improved inter-reader agreement in the PZ stresses the importance of appropriate lexicon description..

Citation format: · Beetz N, Haas M, Baur A et al. Inter-Reader Variability Using PI-RADS v2 Versus PI-RADS v2.1: Most New Disagreement Stems from Scores 1 and 2. Fortschr Röntgenstr 2022; 194: 852 - 861.

ZIEL: Analyse der möglichen Differenzen in der Interrater-Reliabilität zwischen PI-RADS Version 2 (v2) und Version 2.1 (v2.1) für die Klassifizierung von Prostata-Läsionen in der multiparametrischen MRT (mpMRT) der Prostata.

Methoden: In dieser retrospektiven und randomisierten Studie wurden 239 bereits annotierte und histopathologisch korrelierte Läsionen der Prostata (104 positiv und 135 negativ für Prostatakrebs) zweimal von radiologisch-fachärztlichen Experten für uroradiologische Bildgebung bewertet: zuerst nach PI-RADS v2 und nach einem zeitlichen Intervall von mindestens 2 Monaten anhand der aktualisierten Version PI-RADS v2.1. Die Ergebnisse der Bewerter und Bewertungszeitpunkte wurden kreuztabelliert und die Interrater-Reliabilität wurde mittels Fleiss’ kappa (κ) berechnet. In einer weiteren Analyse wurden die beiden Wertungen mit derselben klinischen Konsequenz PI-RADS-Score 1 und 2 kombiniert und deren Interrater-Reliabilität erneut getestet.

Ergebnisse: PI-RADS v2.1 zeigte eine bessere Interrater-Reliabilität in der peripheren Zone (PZ), aber eine schlechtere Interrater-Reliabilität in der Transitionszone (TZ) (PZ: κ = 0,63 vs. κ = 0,58; TZ: κ = 0,47 vs. κ = 0,57). Die Kombination der PI-RADS-Bewertungen 1 und 2 bei PI-RADS v2.1 resultierte in einer nahezu perfekten Interrater-Reliabilität in der PZ und in einer substantiellen Interrater-Reliabilität in der TZ (PZ: κ = 0,81; TZ: κ = 0,80).

Schlussfolgerung: PI-RADS v2.1 verbessert die Interrater-Reliabilität in der PZ. Neue Differenzen in der Interrater-Reliabilität bei PI-RADS v2.1 entsprangen hauptsächlich den Läsionen in der TZ, die mit einem Score von 1 oder 2 bewertet wurden. Durch die Kombination der klinisch gleichwertigen PI-RADS-Bewertungen 1 und 2 wird die Interrater-Reliabilität sowohl in der TZ als auch PZ verbessert, sodass eine verbesserte Definition für diese Bewertungen angebracht sein könnte.

Kernaussagen: · PI-RADS v2.1 verbessert Interrater-Reliabilität in der PZ, aber nicht in der TZ.. · Neue Unterschiede entspringen den PI-RADS v2.1-Bewertungen 1 und 2 in der TZ.. · Die Kombination der PI-RADS v2.1-Bewertungen 1 und 2 verbessert die Interrater-Reliabilität.. · PI-RADS v2.1 ermöglicht offenbar eine präzisere Deskription von Läsionen in der PZ.. · Verbesserung der Interrater-Reliabilität in der PZ betont die Bedeutung von geeigneten Deskriptoren..

MeSH terms

  • Humans
  • Magnetic Resonance Imaging / methods
  • Male
  • Prostate / diagnostic imaging
  • Prostate / pathology
  • Prostatic Neoplasms* / diagnostic imaging
  • Prostatic Neoplasms* / pathology
  • Reproducibility of Results
  • Retrospective Studies