Objective: The goal of this review was to identify decision-analytic modeling studies in early health technology assessments (HTA) of high-risk medical devices, published over the last three years, and to provide a systematic overview of model purposes and characteristics. Additionally, the aim was to describe recent developments in modeling techniques.
Methods: For this scoping review, we performed a systematic literature search in PubMed and Embase including studies published in English or German. The search code consisted of terms describing early health technology assessment and terms for decision-analytic models. In abstract and full-text screening, studies were excluded that were not modeling studies for a high-risk medical device or an in-vitro diagnostic test. The Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) flow diagram was used to report on the search and exclusion of studies. For all included studies, study purpose, framework and model characteristics were extracted and reported in systematic evidence tables and a narrative summary.
Results: Out of 206 identified studies, 19 studies were included in the review. Studies were either conducted for hypothetical devices or for existing devices after they were already available on the market. No study extrapolated technical data from early development stages to estimate potential value of devices in development. All studies except one included cost as an outcome. Two studies were budget impact analyses. Most studies aimed at adoption and reimbursement decisions. The majority of studies were on in-vitro diagnostic tests for personalized and targeted medicine. A timed automata model, to our knowledge a model type new to HTA, was tested by one study. It describes the agents in a clinical pathway in separate models and, by allowing for interaction between the models, can reflect complex individual clinical pathways and dynamic system interactions. Not all sources of uncertainty for in-vitro tests were explicitly modeled. Elicitation of expert knowledge and judgement was used for substitution of missing empirical data. Analysis of uncertainty was the most valuable strength of decision-analytic models in early HTA, but no model applied sensitivity analysis to optimize the test positivity cutoff with regard to the benefit-harm balance or cost-effectiveness. Value-of-information analysis was rarely performed. No information was found on the use of causal inference methods for estimation of effect parameters from observational data.
Conclusion: Our review provides an overview of the purposes and model characteristics of nineteen recent early evaluation studies on medical devices. The review shows the growing importance of personalized interventions and confirms previously published recommendations for careful modeling of uncertainties surrounding diagnostic devices and for increased use of value-of-information analysis. Timed automata may be a model type worth exploring further in HTA. In addition, we recommend to extend the application of sensitivity analysis to optimize positivity criteria for in-vitro tests with regard to benefit-harm or cost-effectiveness. We emphasize the importance of causal inference methods when estimating effect parameters from observational data.
Zielsetzung: Unser Ziel war es, entscheidungsanalytische Studien zur frühen Technologiebewertung von Medizinprodukten aus den letzten drei Jahren zu identifizieren und einen systematischen Überblick über den Zweck der Modelle und die Modellcharakteristika sowie über aktuelle Entwicklungen in der Modellierungstechnik zu geben.
Methoden: Für diesen Scoping Review wurde eine systematische Literatursuche in den Datenbanken PubMed und Embase nach Studien in englischer und deutscher Sprache durchgeführt. Der Suchcode setzte sich aus Begriffen für die frühe Technologiebewertung und Begriffen für ein entscheidungsanalytisches Modell zusammen. Im Screening von Zusammenfassung und Volltext wurden Studien ausgeschlossen, bei denen es sich nicht um ein Modell für Hochrisiko-Medizinprodukte oder diagnostische Tests handelte. Für alle eingeschlossenen Studien wurden Zweck und Rahmen der Studie sowie Modellcharakteristika extrahiert und zusammenfassend in sytematischen Evidenztabellen sowie in narrativer Form dargestellt.
Ergebnisse: Aus 206 Studien wurden neunzehn Studien in den Review eingeschlossen. Die Studien betrafen entweder hypothetische Medizinprodukte oder existierende Produkte, nachdem sie bereits auf dem Markt erhältlich waren. Keine Studie nutzte die Extrapolation technischer Daten aus frühen Entwicklungsstufen, um den potentiellen Wert für die Gesellschaft zu evaluieren. Mit Ausnahme einer Studie schlossen alle Studien Kosten in die Evaluation ein. Zwei Studien waren Budget-Impakt-Analysen. Die meisten Studien zielten auf die Aufnahme in den Leistungskatalog und die Kostenerstattung der Medizinprodukte ab. Die Mehrheit der Studien betraf In-Vitro-Diagnostika für personalisierte und zielgerichtete Interventionen. Zeitgesteuerte Zustandsautomaten, ein Modelltyp, der bisher nicht im HTA genutzt wurde, wurden zur Beschreibung von komplexen, individuellen klinischen Pfaden und von Interaktionen dynamischer Systeme eingesetzt. Nicht alle Unsicherheitsquellen bei In-vitro-Tests wurden explizit modelliert. Das Einholen von Expertenwissen und Expertenbeurteilungen wurde als Ersatz für fehlende empirische Daten verwendet. Die Analyse der Unsicherheiten stellte den größten Vorteil der entscheidungsanalytischen Modellierung im frühen HTA dar, aber kein Modell wandte Sensitivitätsanalysen an, um den Schwellenwert für Testpositivität hinsichtlich der Nutzen-Schaden-Abwägung oder der Kosteneffektivität zu optimieren. Die Value-of-Information-Analyse wurde selten eingesetzt. Die Anwendung von Methoden der kausalen Inferenz zur Schätzung von Effektparametern aus Beobachtungsstudien wurde in keiner Studie erwähnt.
Schlussfolgerung: Unser Review gibt einen Überblick über Ziele und Modelleigenschaften von neunzehn Studien zur frühen Bewertung von Medizinprodukten. Der Review zeigt die wachsende Bedeutung der personalisierten Medizin und bestätigt frühere Empfehlungen der sorgfältigen Modellierung der mit diagnostischen Tests verbundenen Unsicherheiten und eines vermehrten Einsatzes der Value-of-Information-Analyse. Zeitgesteuerte Zustandsautomaten könnten eine lohnenswerte Erweiterung der Modelltypen im Rahmen der Technologiebewertung sein. Zusätzlich empfehlen wir die Anwendung von Sensitivitätsanalysen zur Optimierung des Schwellenwerts für Testpositivität hinsichtlich der Nutzen-Schaden-Relation oder der Kosteneffektivität. Wir betonen die Wichtigkeit der Anwendung von Methoden der kausalen Inferenz für die Schätzung von Effektparametern aus Beobachtungsdaten.
Keywords: cost-effectiveness analysis; decision-analytic modeling; early health technology assessment; medical devices.
Copyright © 2022 Conrads-Frank et al.