Background: Outcome selection, measurement and reporting for the evaluation of new surgical procedures and devices is inconsistent and lacks standardization. A core outcome set may promote the safe and transparent evaluation of surgical innovations. This systematic review examined outcome selection, measurement and reporting in studies conducted within the IDEAL (Idea, Development, Exploration, Assessment and Long-term monitoring) framework to examine current practice and inform the development of a core outcome set for early-phase studies of surgical procedures/devices.
Methods: Web of Science and Scopus citation searches were performed to identify author-reported IDEAL/IDEAL-D studies for any surgical procedure/device. Outcomes were extracted verbatim, including contextual information regarding outcome selection and measurement. Outcomes were categorized to inform a conceptual framework of outcome domains relevant to evaluating innovation.
Results: Some 48 studies were identified. Outcome selection, measurement and reporting varied widely across studies in different IDEAL stages. From 1737 outcomes extracted, 22 domains specific to evaluating innovation were conceptualized under seven broad categories: procedure completion success/failure; modifications; unanticipated events; surgeons' experiences; patients' experiences; resource use specific to the innovative procedure/device; and other innovation-specific outcomes. Most innovation-specific outcomes were measured and reported in only a small number of studies.
Conclusion: This review highlighted the need for guidance and standardization in outcome selection and reporting in the evaluation of new surgical procedures/devices. Novel outcome domains specific to innovation have been identified to establish a core outcome set for future evaluations of surgical innovations.
Antecedentes: La selección de resultados, mediciones y redacción de los informes para la evaluación de nuevos procedimientos y dispositivos quirúrgicos es inconsistente y carece de estandarización. Determinar un conjunto de resultados básicos (core outcome set, COS) podría contribuir a la transparencia y seguridad de las evaluaciones de las innovaciones quirúrgicas. Esta revisión sistemática analizó la selección de resultados, medición de los mismos e informes de estudios efectuados en el marco metodológico IDEAL, a fin de valorar la práctica actual y presentar el desarrollo de un COS para estudios en fase inicial de procedimientos/dispositivos quirúrgicos. MÉTODOS: Se realizaron búsquedas en las bases de datos Web of Science y Scopus para identificar estudios efectuados por los autores en el marco IDEAL/IDEAL-D referentes a cualquier procedimiento/dispositivo quirúrgico. Los resultados se extrajeron literalmente, incluida la información contextualizada referente a la selección y medición de los resultados. Los resultados se categorizaron para presentar información en un marco conceptual de dominios de resultados que fueran relevantes para poder evaluar la innovación.
Resultados: Se identificaron 48 estudios. Los estudios mostraban una amplia variedad en la selección de resultados, mediciones e información correspondientes a diferentes estadios IDEAL. A partir de 1.737 resultados extraídos, se conceptualizaron 22 dominios específicos para evaluar la innovación agrupados en 7 amplias categorías: éxito/fracaso para completar el procedimiento; modificaciones; eventos imprevistos; experiencias de los cirujanos; experiencias de los pacientes; uso de recursos específicos del procedimiento/dispositivo innovador y otros resultados específicos de la innovación. La mayoría de los resultados específicos de la innovación se midieron y notificaron solo en un pequeño número de estudios. CONCLUSIÓN: Esta revisión ha puesto de manifiesto la necesidad de orientación y estandarización en la selección de resultados y la notificación en la evaluación de nuevos procedimientos/dispositivos quirúrgicos. Se han identificado nuevos dominios de resultados específicos de innovación para establecer un COS para futuras evaluaciones de innovaciones quirúrgicas.
© 2020 The Authors. BJS Open published by John Wiley & Sons Ltd on behalf of British Journal of Surgery Society.