Ethical, legal and social aspects are gaining increasingly more attention in the development and during the initial clinical application of medical devices. The introduction of elements of artificial intelligence (AI) and systems which are using AI makes this already complex topic even more challenging. The introduction of so-called dynamic AI or dynamic machine learning (ML) algorithms in this respect represents a turning point. Unlike conventional medical devices, the development of systems using dynamic AI is not yet complete at the beginning of the clinical application. The aim of a dynamic AI system is to continuously improve through practical use and by the processing of usage data. This continuous evolution, along with the lack of transparency regarding internal work processes, could make it difficult to understand the underlying rationale for the assessments made by the algorithms. This aspect affects the acceptance of the technology both by clinicians and patients and furthermore questions the autonomy of patients and clinicians in the course of the treatment process. A way out of this ethical and regulatory dilemma must urgently be found and will require extreme efforts from all stakeholders. At present, no consensual solution is apparent. What is quite certain, however, is that users, i.e. in concrete terms surgeons, must play a much more active role than they have done in the past when dealing with AI-based medical devices and should prepare themselves to actively accompany the software life cycle of AI technologies.
Ethische, legale und soziale Aspekte gewinnen bei der Entwicklung und dem klinischen Ersteinsatz von Produkten der Medizintechnik immer mehr Beachtung. Die an sich bereits schon komplexe Thematik wird durch die Einführung von Elementen der künstlichen Intelligenz (KI) noch herausfordernder. Eine Zäsur stellt die Einführung der sog. „dynamischen“ KI bzw. des „dynamischen“ maschinellen Lernens (ML) dar. Im Gegensatz zu konventionellen Medizinprodukten ist bei dynamischen KI-Systemen die Entwicklung zu Beginn des klinischen Einsatzes noch nicht abgeschlossen. Das Ziel des dynamischen KI-Systems ist es, sich durch den praktischen Einsatz und die Verarbeitung von Nutzungsdaten ständig weiter zu verbessern. Diese kontinuierliche Weiterentwicklung zusammen mit der mangelnden Transparenz in Bezug auf die internen Arbeitsprozesse können es schwierig machen, die Gründe für die von den Algorithmen vorgenommenen Bewertungen zu verstehen. Dieser Umstand beeinflusst die Technologieakzeptanz der Kliniker und Patienten und stellt nicht zuletzt die Autonomie von Patienten und Klinikern im Behandlungsablauf infrage. Ein Ausweg aus diesem ethischen und regulatorischen Dilemma muss dringend gefunden werden und wird von allen Beteiligten äußerste Anstrengungen erfordern. Derzeit zeichnet sich noch keine konsensuale Lösung ab. Ganz sicher aber ist, dass die Anwender – d. h. konkret Chirurgen – beim Umgang mit KI-gestützten Medizinprodukten eine viel aktivere Rolle als bisher einnehmen müssen und sich auf eine intensivere Rolle im Softwarelebenszyklus von KI-Technologien vorbereiten sollten.
Keywords: Assistance system; Ethical aspects; Machine learning; Medical devices; Software life cycle.
© 2022. The Author(s), under exclusive licence to Springer Medizin Verlag GmbH, ein Teil von Springer Nature.