Objective: The aim of this article is to review and illustrate the attributes that analyze the performance of a predictive model, suchas discrimination, calibration and clinical utility.
Material and methods: To illustrate a biomarkervalidation process, we analyzed 216 patientsrecruited in the Miguel Servet University Hospital Zaragoza, Spain. The outcome of the study was clinicallysignificant prostate cancer (Gleason ≥ 7). A newbiomarker was built using logistic regression modelfrom age, prostate-specific antigen, prostate volumeand digital rectal exam variables. To analyze the discriminationability, the receiver operating characteristiccurve, its area under the curve (AUC), and Youdenindex were estimated. In addition, the calibration wasanalyzed through calibration curve, intercept and slope;and the clinical utility was studied by means of decisionand clinical utility curves.
Results: The discrimination ability was good:AUC 0.790 (0.127-0.853 95% C.I.), Youden index cutoffpoint 0.431 (specificity 0.811, sensitivity 0.697).The Intercept was 0 and Slope 1 showing a perfect calibration.Decision curve showed good net benefit in athreshold probability range 25%-80%. Clinical utilitycurve showed that for a 18% cutoff point, a minimum4.5% of CsPCa patients are wrongly classified belowthe cutoff point, saving 18.5% biopsies.
Conclusions: A complete validation process isnecessary to analyze the performance of a biomarkerin oncology, based on their discrimination ability, theconcordance between predicted and actual occurrenceof the outcome, and its applicability in clinical practice.
Objetivo: El objetivo principal de esteartículo es revisar e ilustrar las propiedades para analizarel desempeño de un modelo predictivo, que sonla discriminación, calibración y utilidad clínica.MATERIAL Y MÉTODOS: Para ilustrar un procesode validación de biomarcadores, analizamos 216 pacientesreclutados en el Hospital Universitario MiguelServet, Zaragoza, España. El objetivo a predecir en elestudio fue un cáncer de próstata clínicamente significativo(Gleason ≥ 7). Se construyó un nuevo biomarcadorutilizando un modelo de regresión logísticausando la edad, el antígeno prostático específico, elvolumen de la próstata y el tacto rectal como variablespredictoras. Para analizar la capacidad de discriminaciónse estimó la curva característica de funcionamientodel receptor, su área bajo la curva (AUC) y elíndice de Youden. Además, la calibración se analizómediante curva de calibración, intersección y pendiente;y la utilidad clínica se estudió mediante curvasde decisión y utilidad clínica.
Resultados: La capacidad de discriminación fuebuena: AUC 0,790 (0,127-0,853 IC del 95%), punto decorte del índice de Youden 0,431 (especificidad 0,811,sensibilidad 0,697). La intersección fue 0 y la pendiente1, mostrando una calibración perfecta. La curva dedecisión muestra un buen beneficio neto en un rangode probabilidad del 25% al 80%. La curva de utilidadclínica mostró que para un punto de corte del 18%, seproduce un mínimo del 4,5% de los pacientes con CsPCaclasificados incorrectamente por debajo del puntode corte, ahorrando un 18,5% de biopsias.
Conclusiones: Es necesario un proceso de validacióncompleto para analizar el desempeño de un biomarcadoren oncología, en función de su capacidad dediscriminación, la concordancia entre las prediccionesque proporciona el marcador y la ocurrencia real delevento, y su aplicabilidad en la práctica clínica.
Keywords: Biomarcador; Calibración; Calibration; Clinical utility; Discriminación; Discrimination; Utilidad clínica; Validación; Validation.