[Validity studies in laparoscopic simulation. Methodology and design considerations]

Arch Esp Urol. 2019 Nov;72(9):904-914.
[Article in Spanish]

Abstract

Objectives: To describe a roadmap of the most representative milestones and considerations in the validation of surgical simulators, especially those of laparoscopic surgery. And additionally, help determine when in this process a simulator can be considered as validated.

Methods: A non-systematic review was carried out searching terms like simulation, validation, training, assessment, skills and learning curve, as well as providing the experience accumulated by our center.

Results: An ideal classical validation process should consist of the following steps: fidelity, verification/calibration/ reliability, subjective and objective strategies. Baseline tests of fidelity and verification/calibration/ technological reliability are not always detailed in the simulation literature. A simulator can be considered validated if, at least, satisfactorily completed any of the two main objective strategies, that is, constructive and/or criterion validity.

Conclusions: The methodologies to validate simulators as useful and reliable for the improvement of psychomotor/ technical skills are widely analyzed, although there is a variety of approaches depending on the scientific reference consulted, not being implemented equally in all works. This apparent arbitrariness should be considered in advance because it can lead the researcher to misunderstandings, especially when the simulator will be regarded as valid.

Objetivos: Describir una hoja de ruta de los hitos y consideraciones más representativos en la validación de simuladores quirúrgicos, especialmente los de cirugía laparoscópica. Y adicionalmente contribuir a determinar en qué momento de este proceso puede considerarse un simulador como validado.MÉTODOS: Se realizó una revisión no sistemática con los términos simulación, validación, formación, entrenamiento, evaluación, habilidades y curva de aprendizaje, además de aportar la experiencia acumulada por nuestro centro.

Resultados: Un proceso ideal clásico de validación debería constar de los siguientes pasos: Fidelidad, Verificación/ Calibración/Fiabilidad, estrategias subjetivas y objetivas. Las pruebas de inicio tanto de Fidelidad como de Verificación/Calibración/Fiabilidad tecnológica no siempre están descritas de manera explícita en los trabajos de validación de simuladores. Un simulador puede considerarse validado si al menos ha completado satisfactoriamente una validación de cualquiera de los dos grandes bloques de tipo objetivo, es decir, constructiva y/o de criterio.

Conclusiones: Los métodos que permiten validar simuladores como útiles y fiables para la mejora de habilidades de tipo psicomotor/técnico están ampliamente documentados aunque existe cierta variedad de enfoques en función de la referencia científica que se consulte, no aplicándose por igual en todos los trabajos. Esta aparente arbitrariedad debería ser conocida de antemano porque puede llevar al investigador a ciertos equívocos, especialmente a la hora de afirmar cuándo el simulador se considera plenamente validado.

Keywords: Curva de aprendizaje; Habilidades técnicas; Laparoscopia; Laparoscopy; Learning curve; Metodología; Research methodology; Simulación; Simulation; Technical skills; Validación; Validity.

Publication types

  • Review

MeSH terms

  • Clinical Competence
  • Computer Simulation
  • Humans
  • Laparoscopy* / methods
  • Learning Curve
  • Reproducibility of Results
  • Simulation Training*