Künstlich intelligente SystemeFootnote 1 und Robotik sind schon lange keine „Science Fiction“ mehr. In Medizin und Pflege gehören sie punktuell bereits zum Behandlungsalltag: In der Diagnostik – speziell der Radiologie – werden KI-gestützte Diagnosesysteme eingesetzt, um CT-Bilder auszuwerten oder Wachstumsdynamiken von Tumoren zu berechnen (Lohmann und Schömig 2020, S. 362f.). In der Chirurgie sollen KI-Systeme mit dem Arzt bei minimalinvasiven Eingriffen interagieren (Kowalewski et al. 2019, S. 925). Im Bereich der Pflege ermöglichen intelligente Betten eine Frühmobilisierung der Patienten bei geringerem Personalaufwand (Steinrötter 2020, § 26 Rn. 3f.). Zukünftig könnten KI-Systeme zudem Verwaltungsaufgaben vereinfachen, Vitalfunktionen der Patienten überwachen und die Einnahme von Medikamenten sowie den Essenstransport übernehmen (Lohmann und Schömig 2020, S. 360ff.). Idealiter erlaubt dies eine Intensivierung des Arzt-Patientenverhältnis bzw. des Verhältnisses zwischen Pflegebedürftigem und Pflegekräften und damit einhergehende Steigerung der Qualität der Behandlung. Ebenso erlaubt eine Entlastung des Personals die quantitative Erweiterung der Kapazitäten des Gesundheitssystems. Der Einsatz von KI und Robotik im Bereich der Medizin und Pflege bietet insofern – nicht nur für den einzelnen Patienten, sondern für das Gesundheitssystem als solches – einen gesamtgesellschaftlichen Nutzen.

Doch ist diese Technologie auch mit Risiken verbunden. So drohen durch die Nutzung von KI und Robotik im medizinischen Bereich Schäden für Patient:innen. In diesen Fällen stellt sich u. a. die Frage, wie derartige Verletzungskonstellationen straf- und haftungsrechtlich erfasst werden. Nicht zuletzt sind durch die Vernetzung die von den Systemen generierten Ergebnisse nicht mehr ohne Weiteres nachvollzieh- und vorhersehbar (zur Technik: Krohn et al. 2020, S. 63). Das führt zu Debatten über die rechtliche Zurechnung der „Entscheidungen“ der Systeme. Zudem ergeben sich Probleme bei der Zulassung von KI Systemen, unter anderem weil die Risiken nicht umfassend bekannt und vorhersehbar sind, aber auch, weil die Systeme als dauerhaft lernend und sich verändernd geplant sind. Dies sind nur einige rechtliche Debatten, die derzeit mit Blick auf KI-Systeme geführt werden, die aber hier exemplarisch erörtert werden, weil sie im Bereich der Medizin und Pflege eine zentrale Rolle spielen.

Der Einsatz von KI und Robotern im Bereich der Medizin und Pflege

Der Einsatz von KI in der Medizin

Bereits heute werden KI-Systeme im Behandlungsalltag in mannigfaltiger Weise eingesetzt. Die Systeme unterstützen die Ärzt:in etwa in Form von bildgestützten Diagnosesystemen (Dettling 2019, S. 636). Eine KI-gestützte Software kann radiologische Befunde ermitteln, Hautkrebs erkennen bzw. generell mittels eines Datenabgleichs Muster entdecken, die für den Menschen schwer zu erkennen sind (Sonntag 2019, S. 344f.). Die besondere Technik des maschinellen Lernens ermöglicht dabei eine Auswertung großer Datenmengen, wie sie ein:e menschliche:r Ärzt:in niemals bewältigen könnte. Derartige Systeme sind also bereits jetzt in der Lage, für spezifische Fragestellungen auf einem der Ärzt:innenschaft vergleichbaren Niveau zu agieren (Helle 2020, S. 993f.). Teilweise übertreffen die Systeme sogar deren Fachwissen. So diagnostizierte eine KI-gestützte Software im Rahmen einer Studie bösartige Tumore zuverlässiger als ihr menschliches Pendant (Wallenfels 2019). Durch sogenannte Health Apps oder Symptomchecker-Apps könnten Patient:innen zukünftig eine erste Einschätzung ihres Gesundheitszustandes erlangen, ohne, dass sie hierfür physisch eine:n Ärzt:in aufsuchen müssen (Katzenmeier 2019, S. 264). In Operationssälen werden vollständig autonome KI-Systeme bisher noch nicht verwendet. Roboter-assistierte Chirurgiesysteme wie das Da-Vinci-System (Kowalewski et al. 2019, S. 925ff.) oder auch teilautonome Operationssysteme (Saeidi et al. 2022) geben aber auch hier eindeutig die Richtung der Entwicklung vor.

Häufig wird zwischen sogenannter schwacher und starker KI unterschieden. Während starke KI noch in ferner Zukunft liegt (Bittner et al. 2021, S. 505f.), dürften die Systeme, die derzeit angewendet werden, zu den sog. schwachen KI-Systemen zählen. Sie können lediglich ein konkret vorgegebenes Problem lösen (Deusch und Eggendorfer 2022, Rn. 232). Die folgenden Überlegungen lassen sich dabei auf unterschiedliche Formen von Systemen mit unterschiedlich ausgeprägten Autonomiegraden übertragen, wobei „Autonomie“ – im Gegensatz zur menschlichen Autonomie – das Ausmaß bezeichnet, in dem eine Maschine ihre Funktionen ohne menschliche Intervention ausübt (vgl. hierzu Lob-Hüdepohl 2020, S. 26). Ebenso sind verschiedene Software-Hardware-Kombinationen denkbar. Der Begriff „KI“ wird daher im Folgenden weit verstanden.

Der Einsatz von KI im Bereich der Pflege

In der Pflege können hardwaregestützte Robotersysteme das stark beanspruchte Personal entlasten, indem sie alltägliche Arbeiten wie Essenstransport, Reinigung der Räumlichkeiten oder Medikamentenverteilung übernehmen (Beck 2018, S. 773f.). Auch im Bereich „seelischer“ Unterstützung können KI-Systeme das Pflegepersonal entlasten. So ist etwa das System „PARO“ als künstliches Haustier entwickelt worden. Es lässt sich streicheln und reagiert positiv auf Berührungen. Einsame Patient:innen können sich um PARO kümmern und eine Bindung zu ihm aufbauen (Münch 2017, S. 28ff.). Auch kann PARO zu mehr Partizipation und zur Verbesserung des Sozialverhaltens zwischen Bewohner:innen der Pflegeeinrichtung führen.

Zugleich werden in diesem Bereich zunehmend Bedenken bzgl. der Technisierung geäußert. Wenn auch zweifellos keine wissenschaftliche Quelle, spiegelt das von der Bildzeitung (Piatov 2018) gezeichnete dystopische Szenario einer Übernahme der Pflege durch Roboter bis zum Jahr 2028 möglicherweise die Besorgnis der Bevölkerung und verdeutlicht, dass die Thematik in der breiten Bevölkerung angekommen ist (Münch 2017, S. 31f.; für eine wissenschaftliche Untersuchung vgl. auch Manzeschke 2022, S. 205). Die Sorge bezüglich einer zunehmenden Maschinisierung der Pflege ist insofern zumindest nachvollziehbar, als bereits jetzt Roboter gelegentlich in direkten Kontakt mit Patient:innen treten. Es besteht die Gefahr, dass dies zu einer Reduzierung des zwischenmenschlichen Kontaktes führt, dass durch die Roboter menschliche Emotionen vorgetäuscht werden und dass letztlich ein Zweiklassensystem entsteht, in welchem die persönliche Behandlung wohlhabenden Personengruppen vorbehalten bleibt (Steinrötter 2020, § 26 Rn. 5f.).

Es gilt daher auch in diesem Bereich für Ethik und Recht, die Entwicklung zu begleiten und ungewollten Veränderungen vorzubeugen, ggf. durch Normsetzung. So müssen natürlich auch hier die Risiken minimiert werden. Zudem muss sichergestellt werden, dass das Pflegepersonal durch den Einsatz von KI im Bereich der Pflege auch wirklich entlastet wird und sich dadurch verstärkt der menschlichen Interaktion widmen kann.

Ethische Aspekte als Basis rechtlicher Debatten

Bevor im Detail auf die rechtlichen Debatten eingegangen wird, soll ein Überblick über den Diskussionsstand in der Ethik gegeben werden (für einen allgemeinen Überblick vgl. Mittelstadt et al. 2016; Nida-Rümelin 2021, § 1 Rn. 1ff.). Wie bereits angedeutet, bringt der Einsatz von KI-Systemen sowohl im medizinischen Kontext als auch in der Pflege klare Vorteile mit sich. Ein vollständiges Verbot scheint daher auch aus ethischen Gesichtspunkten unvertretbar. Gleichzeitig ist zu berücksichtigen, dass die Risiken von KI-Systemen in diesen Bereichen besonders vulnerable Personen treffen (Loh 2018, S. 29ff.; Dalton-Brown 2020, S. 119.). Die Gefahr einer Entpersonalisierung der Pflege bzw. Infantilisierung von Menschen mit Pflege- oder Assistenzbedarf, sowie ein möglicher Kontrollverlust und eine Gefahr für das Selbstbestimmungsrecht der Betroffenen, wie sie die Stellungnahme des deutschen Ethikrats zur Robotik in der Pflege anspricht, seien hier für die geäußerten Bedenken beispielhaft genannt (Deutscher Ethikrat 2020, S. 8f., 33, 35). Hinzu treten Sorgen um diskriminierende Algorithmen und die veränderte Verantwortung der involvierten Personen (Dalton-Brown 2020, S. 116). Das beeinflusst auch die rechtlichen Überlegungen, die Rechtsanwendung und die Gesetzgebung. So ist im Rahmen von z. B. Zulassung, Festlegung der Sorgfaltspflichten oder des erlaubten Risikos sowie der Anpassung der Gesetzeslage (etwa zur Haftung) vorab zu diskutieren, in welchen konkreten Bereichen innerhalb dieses Lebensbereichs derartige Systeme überhaupt erwünscht sind, welche Vorteile sie konkret gegenüber herkömmlichen Methoden bieten und welches Risiko noch akzeptabel erscheint (Braun et al. 2021). Mit diesen Fragen beschäftigen sich unter anderem die Datenethikkommission der Bundesregierung (2019), aber auch internationale Organisationen wie bspw. die High Level Expert Group (2019). Die WHO veröffentlichte in einem Leitfaden sechs Grundsätze für den ethisch adäquaten Einsatz von KI in der Medizin. Zentraler Ausgangspunkt der Grundsätze ist die Autonomie der Betroffenen, die durch den Einsatz von KI nicht ausgehöhlt werden dürfe. Zudem sollen die Systeme durch Kontrollinstanzen regelmäßig überprüft werden. Ihre Ergebnisse sollen erklärbar und nachvollziehbar bleiben (Kulzer 2021, S. 805).

Generell wird gefordert, dass der Einsatz der Technik durch Evaluationen, Schulungen und die Orientierung an Leitlinien und Empfehlungen ethisch vertretbar gestaltet werden soll (Groß und Schmidt 2018, S. 349ff.).

Der Befürchtung einer zunehmenden Enthumanisierung, der Problematik des Vortäuschens menschlicher Emotionen und dem schwindenden menschlichen Kontakt sollte durch solche ethischen Standards und ggf. spezifischen Verbote einzelner KI-Anwendungen effektiv entgegengewirkt werden.

Rechtliche Aspekte

Auf die dargestellten Risiken muss, neben der Ethik, auch das Recht reagieren. KI-Systeme sind nur schwer vorhersehbar und ex post rekonstruierbar. Dies führt dazu, dass häufig die Schädigungen, die in Interaktion mit einem KI-System verursacht wurden, nicht ohne Weiteres nachgewiesen werden könnten, oder jedenfalls nicht zweifelsfrei einem Individuum zugeordnet werden können. Dadurch entsteht die Gefahr, dass sich Geschädigte schutzlos gestellt sehen. Neben dieser inhärenten Problematik für die Betroffenen droht dies auch die Akzeptanz dieser Technologie in der Bevölkerung zu untergraben.

Gleichzeitig besteht die berechtigte Sorge, Ärzt:innen und medizinisches Personal könnten als „Bauernopfer“ oder „Haftungsknecht“ in Anspruch genommen werden, bspw. wenn sie in Folge einer Interaktion mit dem System eine Behandlungsentscheidung treffen, die sich im Nachhinein als fehlerhaft erweist. Ähnlich verhält es sich mit der Pflegekraft, die einen Pflege-Roboter einsetzt, der dann wiederum eine:n Patient:in schädigt, indem er die falschen Tabletten zuteilt. Beiden droht eine Verantwortlichkeit, auch wenn dies je nach Ausgestaltung der Interaktion nicht immer angemessen erscheint.

Eine (rechts-)wissenschaftliche Auseinandersetzung über den Einsatz von KI und Robotern in Medizin und Pflege ist schon jetzt, vor dem umfassenden Einsatz, notwendig, nicht zuletzt, um auf Entwicklung und Implementierung einzuwirken. Im Folgenden nehmen wir Herausforderungen und Lösungen für bestehende Haftungs- und Verantwortungsstrukturen in den Blick (vgl. Beck und Faber 2022, Kap. 3.8 Rn. 10ff.).

Status Quo

Sollte unter Einbeziehung von KI-Systemen bzw. Robotern eine Fehldiagnose oder eine unsachgemäße Behandlung erfolgen, stellt sich die Frage nach der zivilrechtlichen Haftung und strafrechtlichen Verantwortung. Der Fehler kann z. B. auf eine unzureichende Funktion der Systeme, ein unsachgemäßes Training oder ein „fehlerhaftes“ Selbst-Lernen, aber auch eine Fehlbedienung, eine unzureichende Überwachung und Kontrolle oder Wartung zurückgehen (vgl. Eichelberger 2020, § 5 Rn. 53f.; Leupold und Wiesner 2021, Teil 9.6.4 Rn. 83f.). Als Verantwortliche kommen, je nach Art des Fehlers, das Pflegepersonal bzw. die Ärzt:innen, aber auch der Hersteller und andere Akteure entlang der „chain of supply“ in Betracht.

Anwender:innen

Eine Behandlung hat gem. § 630a Abs. 2 Bürgerliches Gesetzbuch (BGB) „lege artis“, also nach dem zum Zeitpunkt der Behandlung wissenschaftlichen und bewährten medizinischen Standard zu erfolgen (Dautert und Kunze 2020, § 630a Rn. 33). Derzeit gehört der Einsatz von KI-Systemen in den meisten Fällen (noch) nicht zu diesen Standards (ähnl. Molnár-Gábor 2019, S. 277ff.). Allerdings können Ärzt:innen und Patient:innen gemeinsam eine Abweichung vom medizinischen Standard vereinbaren, vgl. § 630a Abs. 2 Hs. 2 BGB.

Die Ärztin haftet im Falle einer Schädigung, wenn sie diese in kausaler und zurechenbarer Weise hervorgerufen und dabei eine Sorgfaltspflicht verletzt hat (Gless und Weigend 2014, S. 580). Beispielsweise könnte sich der Dermatologe, der sich auf die vom KI-System getroffene Bewertung eines Melanoms als unkritisch verlässt, möglicherweise straf- und haftbar machen, wenn er keine eigenen Untersuchungen anstellt (Fontaine 2021, S. 205). Derzeit steht aber beim Einsatz von KI-Systemen in der Medizin der anzusetzende Sorgfaltsmaßstab noch nicht fest. Es ist zwar möglich, anhand von Standards und einer vorherigen Risikoermittlung im Vorfeld Anhaltspunkte für das sozialadäquate Verhalten zu ermitteln; doch sind diese noch nicht konkret genug für eine klare Orientierung (s. a. Beck 2020, § 7 Rn. 50ff.).

Für die Pflege gilt das Gleiche. So bestehen auch hier nur erste Ansätze bezüglich des Sorgfaltsmaßstabs beim Einsatz der Systeme. Dazu zählt etwa eine regelmäßige Überprüfung der Systeme (Steinrötter 2020, § 26 Rn. 46). Es kann aber auch angezeigt sein, bestimmte Systeme bei bestimmten Personengruppen nicht einzusetzen, bspw. wenn diese auf Grund einer Erkrankung nicht adäquat mit dem System umgehen können (vgl. a. Rulands 2021, S. 816). Aber auch hier sind diese Maßstäbe noch im Entstehen und unterliegen permanentem Wandel.

Der Hersteller und die „chain of supply“

Auch Hersteller, Programmierer und Trainer der Systeme könnten für Schäden haften. Die zivilrechtliche Haftung ergibt sich dabei zum einen aus den allgemeinen Normen des BGBs, zum anderen unter Umständen aus dem Produkthaftungsgesetz. Zudem können sich die Beteiligten nach den Grundsätzen der strafrechtlichen Produkthaftung (Gless 2013, S. 63) verantwortlich machen. Insoweit können Hersteller wegen (zumeist fahrlässiger) Körperverletzung sowie wegen (zumeist fahrlässigem) Totschlags strafbar sein, etwa wenn ein Produkt fehlerhaft trainiert wurde und dadurch ein Mensch verstirbt (zur zivilrechtlichen Haftung s. Zech 2022, S. 502). Der Sorgfaltsmaßstab orientiert sich am Verhalten eines sorgfältigen Herstellers unter Abwägung der Risiken, Kosten und des Nutzens des Produktes (Schuster 2019, S. 8). Eine Sorgfaltspflichtverletzung kommt insbesondere bei der Verletzung von Konstruktions‑, Fabrikations‑, Instruktions- oder, im Falle der Produzentenhaftung, der Produktbeobachtungspflichten in Betracht (s. a. Sander und Hollering 2017, S. 198).

Dabei gelten für eine Produktbeobachtungspflicht des Herstellers besonders hohe Anforderungen, deren Folge von einer Warnung bis hin zu einem Rückruf reicht (so bereits BGH 1990, S. 2560 ff.). Allerdings dürfte die bloße Kenntnis von der grundsätzlich potenziellen Fehlerhaftigkeit der Systeme noch nicht ausreichend für solche Maßnahmen sein, denn diese ist fast nie auszuschließen. Sinn und Zweck der Beobachtungspflicht ist, die Verantwortung des Herstellers über den Zeitpunkt der Inverkehrgabe hinaus sicherzustellen (Wagner 2020, Rn. 989).

Als weitere Haftungsadressaten kommen Trainer und Programmierer des KI-Systems in Betracht. Sowohl für den Programmierer als auch für den Trainer gelten dabei insofern erhöhte Sorgfaltsanforderungen, soweit sie über besondere Fachkenntnisse verfügen (allg. Sander und Hollering 2017, S. 198).

Dies scheint zumindest insoweit gerecht, als dass Hersteller, Programmierer und Trainer den größten Einfluss auf die Entwicklung der Systeme haben. Im Zuge dessen lässt sich über eine verschuldensabhängige gesamtschuldnerische Haftung der Beteiligten ergänzt durch eine Vermutung der Haftungsvorrausetzungen, wie sie Steinrötter (2020, § 26 Rn. 49) vorschlägt, nachdenken.

Durch eine entsprechende Haftung könnten bei Herstellern oder den anderen Beteiligten ggf. auch Anreize zur Implementierung von MHC Mechanismen (vgl. dazu später) gesetzt.

Verantwortungsdiffusion und diskutierte Lösungen de lege ferenda

In der Praxis fehlt es häufig an der Möglichkeit, die Schädigung einem spezifischen Fehler bei der Herstellung, dem Training oder der Nutzung eines KI-Systems zuzuordnen. Die Systeme werden gerade deshalb als „Black-Box“ bezeichnet (Dettling 2019, S. 635). Eine Abgrenzung nach Verantwortungsbereichen ist deshalb oft nicht mehr möglich (Katzenmeier 2019, S. 265). Dass sich bei der Nutzung von KI-Systemen regelmäßig kollektive Entscheidungen realisieren, erschwert die Zurechnung zusätzlich.

Auch Beweiserleichterungen, wie sie der Behandlungsvertrag in § 630h Abs. 1 BGB oder die Produkthaftung in § 1 Abs. 4 Produkthaftungsgesetz vorsehen, helfen hier nicht, da schon die Kausalität zwischen Fehler und Schaden nur schwer beweisbar sein wird (ähnl. auch Rammos et al. 2020, § 28 Rn. 24; Katzenmeier 2021, S. 863). Die klassischen Zurechnungsstrukturen im Strafrecht sind ebenfalls auf derartige kollektive Entscheidungen und „Black Box“ Situationen nicht ausgelegt, wie vergleichbare Diskurse aus den Bereichen Unternehmenshaftung und Gremienentscheidungen zeigen (Entscheidungen des Bundesgerichtshofes in Strafsachen 2, 194 (200 f.)).

In der Rechtswissenschaft werden verschiedene Ansätze diskutiert, wie diese Probleme durch (neue) Gesetze zu lösen sind. Die analoge Anwendung der Tierhalter‑, Erfüllungsgehilfen- oder Verrichtungsgehilfenhaftung soll hier den Problemen bzgl. Kausalität, Zurechnung und der erschwerten Nachweisbarkeit der Schädigungen bei Interaktionen mit KI-Systemen Abhilfe schaffen (siehe für einen Überblick Katzenmeier 2021, 859). Reformfreudigere Vorschläge setzen auf die Einführung einer „e-Person“ oder einer Pflichtversicherung für KI, wie sie bei Kfz bereits üblich ist (Zech 2019, S. 216). All diese Lösungen bringen bestimmte Vorteile und spezifische Nachteile mit sich, die hier im Einzelnen nicht diskutiert werden können. Aber es ist sicher denkbar, im Zivilrecht einige der mit KI entstehenden Schwierigkeiten durch solche Konstruktionen abzumildern. Dies wird jedoch schon dort nicht alle Probleme lösen können, da so von der Grundannahme der Verschuldenshaftung Abstand genommen wird und diese ihre verhaltenssteuernde Wirkung nicht mehr entfalten kann (Steinrötter 2020, § 26 Rn. 35ff.). Insbesondere aber im Strafrecht verbieten sich jegliche Versuche, Kausalitätserfordernisse, Zurechnungsnachweise oder Beweisschwierigkeiten zu umgehen. Das deutsche Strafrecht basiert auf klar zurechenbarer individueller Verantwortung, die im Kontext der KI jedenfalls nicht ohne Weiteres hergestellt werden kann.

Der „Human in the Loop“

Zugleich erscheint es problematisch, völlig auf Haftungsadressaten oder individuell (strafrechtlich) Verantwortliche zu verzichten. Es entsteht eine Verantwortungslücke, die nicht nur den Geschädigten ggf. mit seinem Schaden alleine lässt. Es ist zudem zu befürchten, dass es das Verhalten der Beteiligten beeinflusst, wenn ihnen keine Sanktionen drohen. Das könnte dazu führen, dass sich niemand mehr verantwortlich fühlt. Eine technologische Entwicklung wie die der lernenden Systeme, die grundlegende Veränderungen der Gesellschaft begründen könnte und erhebliche Risiken birgt, wird durch Verantwortungsdiffusionen noch herausfordernder. Bei massiven Schädigungen, für die niemand verantwortlich gemacht wird, kann Unruhe in der Gesellschaft entstehen. Das Misstrauen gegenüber der Technologie könnte hierdurch zunehmen.

Das medizinische Personal „in the Loop“?

Zur Lösung dieser Problematik wird daher versucht, einen menschlichen „Letztentscheider“ zu erhalten, um dadurch einerseits eine Verantwortlichkeit und Kontrolle für bzw. über die Entscheidungen der Systeme zu erhalten (Buchkremer et al. 2020, S. 393; s. a. das Urteil des England and Wales High Court, [2019] EWHC 2341, Rn. 33). Die Hoffnung scheint dabei zu sein, dass diese Einbindung eines „Human in the Loop“ einige faktische Probleme löst, die mit dem Einsatz von lernenden Systemen verbunden sind. So können auf diese Weise möglicherweise Empathie und Menschlichkeit in die Entscheidung eingebracht werden, aber auch spezifische Fähigkeiten des Menschen bei der Verarbeitung vieler unterschiedlicher Informationen zugleich oder nicht rationalisierbare Aspekte wie Intuition etc. Gerade auch im Lebensbereich der Medizin und Pflege findet sich diese Forderung nach einem „Human in the Loop“ nicht selten. Mit Blick darauf sei zunächst dargestellt, welche Bedeutung der „Human in the Loop“ generell für das Recht haben könnte.

Verantwortung und die Gefahr des Haftungsknechts

Der Ruf nach einem „Human in the Loop“ beim Einsatz von KI-Systemen und autonomen Robotern kommt ursprünglich wohl aus dem Bereich der autonomen Waffensysteme (vgl. dazu Sharkey 2016, S. 23ff.). Doch auch beim Einsatz in Medizin und Pflege besteht ein Wunsch nach weiterbestehender Einbeziehung von Menschen. Im Grundsatz der persönlichen Leistungserbringung für Ärzt:innen ist sie in den §§ 630a, 630b i. V. m. § 613 BGB sogar gesetzlich vorgeschrieben. Hierdurch sollen menschliche Aspekte in der Entscheidung erhalten bleiben, das medizinische Personal soll sich selbst für die Entscheidung verantwortlich fühlen und letztlich wird hierdurch gerade auch sichergestellt werden, dass die Patient:innen im Schadensfall einen Ansprechpartner haben.

Doch entsteht hierdurch die Gefahr, dass Menschen für Entscheidungen verantwortlich gemacht werden, die in Interaktion mit dem System getroffenen wurden, auf die sie jedoch nur begrenzten Einfluss hatten. Unvorhersehbarkeit und Unkontrollierbarkeit der Maschinen führen dazu, dass der Vorwurf oft ungerechtfertigt scheint. In vielen dieser Fälle entspricht diese Zurechnung nicht der tatsächlichen Kontrolle, die der Mensch über das Geschehen hatte. Deshalb erschient es zumindest häufig unbillig, den Letztentscheider zum „Haftungsknecht“ für in Interaktion mit der Maschine getroffene Entscheidungen zu machen. Die Fokussierung des Strafrechts auf individuelles Handeln stößt hier an seine Grenzen.

Es spricht daher vieles dafür, die Risiken dieses von der Gesellschaft gewollten Fortschritts durch entsprechende Haftungs- und Verantwortungsmodelle zu regeln (Katzenmeier 2021, S. 863). Entsprechend ist nach Wegen zu suchen, die auftretende Verantwortungsdiffusion durch angemessene Zurechnungsmodelle zu regeln. Neben rechtlicher Gestaltung ist dabei auch die konkrete, technische Ausgestaltung der Interaktion zwischen Mensch und Systemen in den Blick zu nehmen.

Im Folgenden sei deshalb darauf eingegangen, wie eine Interaktion ausgestaltet werden könnte, um eine bedeutsame menschliche Kontrolle und damit auch Verantwortlichkeit zu erhalten.

Meaningful Human Control

Mit Blick auf diese Herausforderungen ist an dieser Stelle auf das Konzept der Meaningful Human Control (MHC) einzugehen. Dabei geht es primär darum, den Menschen bei gemeinsamer Entscheidungen mit einer Maschine nur dann verantwortlich zu machen, wenn dies angesichts der konkreten Umstände tatsächlich angemessen erscheint. Ziel ist es letztlich, die Position des „Human in the Loop“ so auszugestalten, dass er nicht zum Haftungsknecht degradiert wird. MHC ist somit ein positives Konzept, als es zu einer spezifischen Ausgestaltung der Interaktion führen soll, zugleich dient es aber auch der Abgrenzung insofern, als es in bestimmten Situationen die Ablehnung von Zurechnung und Verantwortung begründen kann. So darf vor allem keinesfalls vorschnell auf MHC geschlossen werden, nur weil ein Mensch die letzte Auswahl trifft.

Kontrolle und ihre Gestaltung

Das Konzept der MHC wurde zunächst im Kontext autonomer Waffensysteme diskutiert (Article36 2016, S. 1ff.). Dabei geht es unter anderem um die Überwindung von Beeinflussungen, wie complacency und automation bias, d. h. der festgestellten, typischerweise unzureichenden Überwachung durch Automation und Effekten, die dazu führen, dass Menschen Vorschläge des Systems häufig zu unkritisch berücksichtigen. Diese Probleme sollten durch entsprechende Gestaltung der Interaktion ausgeglichen werden (Ficuciello et al. 2019, S. 39). Wie genau dies zu erfolgen hat, ist derzeit Gegenstand vieler Debatten; u. a. wird hierzu gerade ein Edward Elgar Handbuch zu „Meaningful Human Control of Artificial Intelligence Systems“Footnote 2 erarbeitet. Bisher gibt es keinen festgelegten Kriterienkatalog für die Bestimmung bedeutsamer Kontrolle, aber es findet sich verstärkte Aufmerksamkeit für das Konzept und schon das ist insofern sehr bedeutsam, als auf diese Weise die jeweilige Situation gerade daraufhin betrachtet wird. Statt primär auf entweder die Maschine oder den Menschen zu blicken, wird nun gerade die Interaktion in den Blick genommen. Das hilft der Weiterentwicklung der technischen Ausgestaltung der Interaktionen sowie der ethischen und rechtlichen Debatte, da auf die konkreten Voraussetzungen der jeweiligen Entscheidung geblickt werden kann. Hierfür spielen verschiedene Aspekte eine Rolle, etwa die Auswahl des Menschen bzgl. der spezifischen Art der Interaktion, die Erklärbarkeit der Vorschläge durch die Maschine, oder die Möglichkeit für den menschlichen Entscheider, Rückfragen zu stellen. Aber auch die Mitwirkung des Menschen an den Grundlagen der Interaktion wirkt sich auf die Kontrolle und ihre Bedeutsamkeit aus, d. h. an der Auswahl der Daten, der Prämissen der Entscheidung, der zur Verfügung stehenden Auswahlmöglichkeiten, etc. MHC kann also auch bedeuten, die Beteiligten (ggf. durch Interessenvertreter) bereits in den Forschungs- und Produktionsprozess einzubeziehen.

Potenzial von MHC beim Einsatz von KI und Robotik in der Medizin

Ärzt:innen, medizinisches Personal und Pflegekräfte erlangen durch MHC die Hoheit über die Interaktion mit den Systemen. Anwender wären dann nur verantwortlich, wenn ihnen tatsächlich ein Fehlverhalten vorgeworfen werden kann. Zudem kann eine bestmögliche Implementierung erreicht werden, die Stärken von Systemen und Menschen zusammenbringt. Von besserer Performance profitieren auch die Patient:innen. Weiterhin werden deren Rechte und Würde geschützt, wenn ein Mensch mit dem System die bestmögliche Entscheidung findet und zudem indem im Schadensfall die Verantwortlichkeit leichter zu klären ist.

Für den medizinischen Bereich wird sicherlich eine wichtige Rolle spielen, dass die jeweiligen Systeme erklären können, welche Gründe für eine Diagnose oder einen Therapievorschlag gefunden wurden (vgl. hierzu Körner 2020, S. 44). Die konkrete Ausgestaltung der Interaktionen kann ganz unterschiedlich gestaltet werden. Denkbar ist etwa, dass das medizinische Personal aus mehreren Vorschlägen auswählen kann, oder auch, dass das System nur korrigierend eingreift, nachdem die Ärztin ihre Diagnose getroffen hat. An dieser Stelle ist weitere, interdisziplinäre Forschung notwendig, die sich mit der Gestaltung und den Auswirkungen von KI-Systemen auf die Entscheidungsfindung mit Menschen beschäftigt.Footnote 3

Patient:innen und die Aufklärung

Das Verhältnis zwischen Patient:innen zu ihren Ärzt:innen droht durch die zunehmende Komplexität der Behandlungen durch diese Systeme weiter zu verwässern (Eberbach 2019b, S. 1ff.). Eine umfassende Aufklärung über wesentliche Umstände der Behandlung, insbesondere die Diagnose, wird zunehmend schwerer (Eberbach 2019a, S. 113). Dabei ist umfassende Aufklärung von Patient:innen Basis einer wirksamen Einwilligung, vgl. § 630d und § 630e BGB. KI-Systeme drohen diese Entwicklung voranzutreiben, wenn selbst Mediziner:innen nicht in jedem Fall bedeutsame Kontrolle über die Systeme ausüben können. Um dem entgegenzuwirken, sind unterschiedliche Maßnahmen denkbar. Einen Beitrag dazu kann aber gerade auch die Forderung nach MHC in einem weit verstandenen Sinne leisten. So können Erklärungsmodelle der Systeme als Unterstützung bei Diagnose und Therapieauswahl herangezogen werden. Hierdurch könnte die Aufklärung der Patient:innen auch in diesen Konstellationen sichergestellt und die Herrschaft über die Behandlung zurückgewonnen werden. Dieses Beispiel zeigt bereits, dass MHC nicht nur für den Letztentscheider, sondern für alle Beteiligten relevant ist.

Zulassungsrecht

Auch wenn es viele Rechtsbereiche gibt, die in diesem Kontext von Interesse sein könnten, blicken wir hier noch auf eine weitere Fragestellung, die zunächst weit von den Verantwortlichkeitsfragen entfernt scheint. Zugleich werden wir sehen, dass auch hier viele Aspekte von MHC von großer Bedeutung sind. KI-Systeme, die im Bereich von Medizin und Pflege eingesetzt werden, werden regelmäßig als Medizinprodukt klassifiziert. Entsprechend gilt das Medizinprodukterecht. Die EU-weite Neuerung des Medizinprodukterechts – die Medical Device Regulation (MDR) hat zu erheblichen Änderungen in diesem Bereich geführt (von Czettritz und Strelow 2017, S. 434). Unmittelbare Bindungswirkung hat die MDR seit dem 26.04.2021.

Besondere Schwierigkeiten bereitet dem Zulassungsrecht das Problem des Weiterlernens (Helle 2020, S. 995). Dies lässt sich plastisch an einem Beispiel zeigen: Ein KI-Diagnosegerät wird im Januar 2022 zertifiziert und zugelassen. In den folgenden Monaten arbeitet das System mit verschiedenen Ärzten zusammen. Das System erhält täglich neue Daten und entwickelt seinen Algorithmus weiter. Nach einigen Monaten hat sich der Algorithmus des Systems stark geändert und entspricht in keiner Weise mehr der ursprünglichen Zulassung.

Für den Hersteller bereitet insbesondere die Verpflichtung nach Art. 27 MDR, Medizinprodukte mit einer einmaligen Produkterkennung, sog. UDI, zu versehen, somit besondere Schwierigkeiten (Frost 2019, S. 120). Denn eine UDI ist zu erneuern, wenn die bestimmungsgemäße Verwendung der Software geändert wird oder wenn geringfügige Änderungen der Software vorgenommen wurden. In unserem geschilderten Beispielsfall hätte der Hersteller die UDI bereits nach dem ersten interaktiven Weiterlernen des Systems erneuern müssen. Den technisch machbaren Umsetzungsmöglichkeiten stehen also die Vorgaben des Zulassungsrechts entgegen. Gleiches gilt auch für die Dokumentations- und Meldepflichten des Herstellers: Bei strenger Auslegung würden die Pflichten sehr weit reichen und ggfs. innovationshemmende Wirkung entfalten. Eine strenge Überwachungspflicht muss zwar gerade für die hier diskutierten selbstlernenden Systeme gelten – zugleich ist aufgrund der Black-Box Problematik und der zahlreichen Anwender nicht einfach feststellbar, wie diese überhaupt aussehen soll.

Um diesen Zertifizierungsproblemen als auch einer möglichen Haftung entgegenzuwirken, müssten die Systeme künftig eigentlich in einem eingefrorenen Zustand zugelassen werden. Dadurch würde eine Weiterentwicklung verhindert (Zech 2019, S. 203). Zugleich fiele jedoch einer der wesentlichen Vorteile solcher Systeme, die Möglichkeit einer laufendenden Optimierung durch den Anwender, weg. Der rechtliche status quo hat an dieser Stelle also eine technologiefeindliche Wirkung.

Eine mögliche Lösung könnte eine spezifische Form des interaktiven Weiterlernens sein (Frost 2019, S. 120). Dabei würden die gesammelten Informationen innerhalb einer vorgegebenen Zeitperiode in einem Bündel zertifiziert, sodass die Systeme in gewissen Abschnitten immer neu zugelassen werden könnten. So würde das System zwar nicht direkt von der Interaktion mit dem Arzt profitieren. Die Lösungen würden allerdings für die nächste Zulassung gespeichert und anschließend übernommen. Ob und wie dies praktisch durchführbar ist, muss letztlich aus technischer Sicht beurteilt werden. Lange Wartezeiten der Zulassungsbehörden könnten der Effizienz einer solchen Vorgehensweise jedoch entgegenstehen. Zugleich würde dieses Vorgehen eine gewisse MHC über die Zulassung gewährleisten, was ein wichtiges Argument für diese Lösung ist.

Ein weiterer, gerade mit Blick auf MHC wichtiger Aspekt der Zulassung ist, dass in den Verfahren sowohl medizinisches Personal, bestimmte Patientenvertretungen sowie Vertretungen von Herstellung und Entwicklung des jeweiligen Produktes eingebunden werden können. So können die Systeme von allen Beteiligten gestaltet werden (Dierks 2019, S. 1114). Ein solches, partizipatives Risikomanagement kann verhindern, dass die potenziellen Risiken von bestimmten Sicherheits- und Leistungsanforderungen einseitig auf den Hersteller abgewälzt werden. Im Rahmen der klinischen Bewertung, der dazugehörigen Risikoklassen und der klinischen Eignung kann die Mitwirkung von Vertretern des medizinischen Personals dazu führen, dass die Risiken, die den Anwender – also das medizinische Personal betreffen – sinnvoll aufgeschlüsselt sowie angemessen reguliert und verteilt werden (Dierks 2019, S. 1114). Schließlich können bei der Verifizierung, Qualifizierung und Validierung sowohl die Interessen der Patienten als auch die des medizinischen Personals und der Herstellung bzw. Entwicklung Berücksichtigung finden.

Zudem wäre denkbar, die Regularien zur Ethik-Kommission im Bereich klinischer Studien auch auf andere Bereiche der MDR zu übertragen. Die Errichtung einer Ethik-Kommission und die Prüfung bestimmter Anträge durch diese nach den Art. 62ff., 82f. MDR ebnet der Möglichkeit zur Partizipation bereits auf der Stufe der klinischen Studien den Weg. Die Einführung einer verpflichtenden Ethik-Kommission bei der Zulassung von KI-Produkten hätte den Vorteil, dass im Zulassungsverfahren interdisziplinäre Sichtweisen berücksichtigt werden könnten und der Prozess, wie oben dargelegt, partizipatorisch gestaltet werden könnte – hier sollten die oben genannten Interessensvertreter eingebunden werden (Budde et al. 2020, S. 32).

Eine andere Möglichkeit bestünde in der quantitativen und qualitativen Aufstockung der benannten Stellen. Die Anforderungen an benannte Stellen sind derzeit in Art. 36 MDR und den Bestimmungen des Anhang VII geregelt. Danach müssen sie den organisatorischen und allgemeinen Anforderungen sowie den Anforderungen an Qualitätssicherung, Ressourcen und Verfahren genügen, die zur Erfüllung der Aufgaben erforderlich sind. Im Anhang VII MDR wird die Zusammensetzung und insbesondere die Unabhängigkeit der Mitarbeitenden der benannten Stellen festgelegt. Wesentliche Bedeutung kommt dabei auch der Personalausstattung zu. Die Spezifizierung der Anforderungen an das Personal unter Hinzuziehung weiterer Fachdisziplinen könnte im Rahmen von KI-Systemen die Interdisziplinarität stärken.

Jedenfalls aber auf der Stufe der Zertifizierung sollten Interessensvertreter der handelnden Akteure im Rahmen der Klärung und Nachfrage beteiligt werden. Hinzutreten könnte ein unabhängiges Prüfkomitee, dass aus interdisziplinären Experten besteht und in regelmäßigen Abständen die Funktionsweisen der zertifizierten KI-Systeme überprüft (Müller-Quade et al. 2020, S. 36).

Die vielgestaltigen Möglichkeiten der Partizipation im Zulassungsverfahren könnten erlauben, die Interessen aller Beteiligten in den Zulassungsprozess zu integrieren (Heesen et al. 2020, S. 39). Das stellt eine weitere Form von MHC auf einer anderen Ebene als der Letztentscheidung dar und ermöglicht somit einen weiteren Blick darauf, was genau es bedeuten kann, dass Menschen bedeutsame Kontrolle über KI-Systeme beibehalten.

Fazit

Der Fortschritt KI-gestützter Systeme in Medizin und Pflege hat, wie wir gesehen haben, erhebliche Konsequenzen für das Recht. Sowohl die ethischen als auch die rechtlichen Herausforderungen basieren auf der Unvorhersehbarkeit und schweren Ex-Post-Nachvollziehbarkeit der Systeme. Diese Schwierigkeiten verdichten sich in dem sensiblen Lebensbereich der Medizin und Pflege. Für diesen Lebensbereich gilt es, die Interessen in angemessenen Ausgleich zu bringen, die Geschädigten vor einer Verantwortungsdiffusion zu schützen aber auch die handelnden Akteure vor einer unzulässigen Inanspruchnahme zu bewahren. Aufgabe des Rechts ist dabei nicht, die Technikanwendung zu verbieten, sondern die Technikentwicklung sinnvoll in das rechtliche Gefüge einzuhegen. Dies kann durch Partizipation der beteiligten Akteure sowie durch die Sicherstellung verschiedener Formen bedeutsamer menschlicher Kontrolle über die Systeme erreicht werden.