Evaluation of clinical information modeling tools

Abstract

Objective: Clinical information models are formal specifications for representing the structure and semantics of the clinical content within electronic health record systems. This research aims to define, test, and validate evaluation metrics for software tools designed to support the processes associated with the definition, management, and implementation of these models.

Methodology: The proposed framework builds on previous research that focused on obtaining agreement on the essential requirements in this area. A set of 50 conformance criteria were defined based on the 20 functional requirements agreed by that consensus and applied to evaluate the currently available tools.

Results: Of the 11 initiative developing tools for clinical information modeling identified, 9 were evaluated according to their performance on the evaluation metrics. Results show that functionalities related to management of data types, specifications, metadata, and terminology or ontology bindings have a good level of adoption. Improvements can be made in other areas focused on information modeling and associated processes. Other criteria related to displaying semantic relationships between concepts and communication with terminology servers had low levels of adoption.

Conclusions: The proposed evaluation metrics were successfully tested and validated against a representative sample of existing tools. The results identify the need to improve tool support for information modeling and software development processes, especially in those areas related to governance, clinician involvement, and optimizing the technical validation of testing processes. This research confirmed the potential of these evaluation metrics to support decision makers in identifying the most appropriate tool for their organization.

Objectivo: Los Modelos de Información Clínica son especificaciones para representar la estructura y características semánticas del contenido clínico en los sistemas de Historia Clínica Electrónica. Esta investigación define, prueba y valida un marco para la evaluación de herramientas informáticas diseñadas para dar soporte en la en los procesos de definición, gestión e implementación de estos modelos.

Metodologia: El marco de evaluación propuesto se basa en una investigación previa para obtener consenso en la definición de requisitos esenciales en esta área. A partir de los 20 requisitos funcionales acordados, un conjunto de 50 criterios de conformidad fueron definidos y aplicados en la evaluación de las herramientas existentes.

Resultados: Un total de 9 de las 11 iniciativas identificadas desarrollando herramientas para el modelado de información clínica fueron evaluadas. Los resultados muestran que las funcionalidades relacionadas con la gestión de tipos de datos, especificaciones, metadatos y mapeo con terminologías u ontologías tienen un buen nivel de adopción. Se identifican posibles mejoras en áreas relacionadas con los procesos de modelado de información. Otros criterios relacionados con presentar las relaciones semánticas entre conceptos y la comunicación con servidores de terminología tienen un bajo nivel de adopción.

Conclusiones: El marco de evaluación propuesto fue probado y validado satisfactoriamente contra un conjunto representativo de las herramientas existentes. Los resultados identifican la necesidad de mejorar el soporte de herramientas a los procesos de modelado de información y desarrollo de software, especialmente en las áreas relacionadas con gobernanza, participación de profesionales clínicos y la optimización de la validación técnica en los procesos de pruebas técnicas. Esta investigación ha confirmado el potencial de este marco de evaluación para dar soporte a los usuarios en la toma de decisiones sobre que herramienta es más apropiadas para su organización.

Keywords: archetypes; clinical information modeling tools; delphi study; detailed clinical models; electronic health record; qualitative research; semantic interoperability.