Artificial intelligence (AI) is becoming increasingly important in healthcare. This development triggers serious concerns that can be summarized by six major "worst-case scenarios". From AI spreading disinformation and propaganda, to a potential new arms race between major powers, to a possible rule of algorithms ("algocracy") based on biased gatekeeper intelligence, the real dangers of an uncontrolled development of AI are by no means to be underestimated, especially in the health sector. However, fear of AI could cause humanity to miss the opportunity to positively shape the development of our society together with an AI that is friendly to us.Use cases in healthcare play a primary role in this discussion, as both the risks and the opportunities of new AI-based systems become particularly clear here. For example, would older people with dementia (PWD) be allowed to entrust aspects of their autonomy to AI-based assistance systems so that they may continue to independently manage other aspects of their daily lives? In this paper, we argue that the classic balancing act between the dangers and opportunities of AI in healthcare can be at least partially overcome by taking a long-term ethical approach toward a symbiotic relationship between humans and AI. We exemplify this approach by showcasing our I‑CARE system, an AI-based recommendation system for tertiary prevention of dementia. This system has been in development since 2015 as the I‑CARE Project at the University of Bremen, where it is still being researched today.
Künstliche Intelligenz (KI) gewinnt auch im Gesundheitswesen immer mehr an Bedeutung. Diese Entwicklung löst ernst zu nehmende Sorgen aus, die sich anhand von sechs großen „Worst-Case-Szenarien“ zusammenfassen lassen. Von einer KI-basierten Verbreitung von Desinformationen und Propaganda über einen möglichen militärischen Wettlauf zwischen den Großmächten bis hin zu einer möglichen Herrschaft der Algorithmen („Algokratie“) auf Basis einer voreingenommenen Torwächterintelligenz: Die realen Gefahren einer unkontrollierten weiteren Entwicklung von KI sind insbesondere im Gesundheitsbereich keinesfalls zu unterschätzen. Allerdings könnte der Menschheit aus Angst vor KI jedoch die Möglichkeit entgehen, die Entwicklung unserer Gesellschaft gemeinsam mit uns freundlich gesinnter KI positiv zu gestalten.Anwendungsfälle im Gesundheitswesen spielen in diesem Diskussionsbeitrag eine vorrangige Rolle, da hier sowohl die Risiken als auch die Chancen neuer KI-basierter Systeme besonders deutlich werden. Dürfen z. B. ältere Menschen mit Demenz (MmD) Teile ihrer Autonomie KI-basierten Assistenzsystemen anvertrauen, damit sie andere Aspekte ihres Alltagslebens weiterhin selbstständig meistern können? In diesem Beitrag argumentieren wir, dass sich der Spagat zwischen Ethik und KI sowie den Gefahren und Chancen von KI im Gesundheitswesen zumindest teilweise durch einen langfristig angelegten ethischen Ansatz in Richtung einer Symbiose zwischen Mensch und KI überwinden lässt. Wir illustrieren diesen Ansatz beispielhaft anhand unseres „I-CARE“-Systems, eines KI-basierten Empfehlungssystems zur tertiären Prävention von Demenz. Dieses System wurde seit 2015 im gleichnamigen Projekt „I-CARE“ an der Universität Bremen entwickelt und wird dort bis heute erforscht..
Keywords: Assistance systems; Autonomy; Dementia; Lifespan; Worst-case scenarios.
© 2023. The Author(s).