Zusammenfassung
Wie sollen sich autonome Fahrzeuge verhalten, wenn ein Unfall nicht mehr abwendbar ist? Die Komplexität spezifischer moralischer Dilemmata, die in diesem Kontext auftreten können, lässt bewährte ethische Denktraditionen an ihre Grenzen stoßen. Dieser Aufsatz versteht sich als Versuch, neue Lösungsperspektiven mithilfe einer risikoethischen Sichtweise auf die Problematik zu eröffnen und auf diese Weise deren Relevanz für die Programmierung von ethischen Unfallalgorithmen aufzuzeigen. Im Zentrum steht dabei die Frage, welche Implikationen sich aus einer Auffassung von Dilemma-Situationen als risikoethische Verteilungsprobleme im Hinblick auf die Zulässigkeit von entsprechenden Risikoübertragungen ergeben. Dabei wird zunächst eine risikoethische Interpretation des zugrundeliegenden Entscheidungsproblems skizziert, welches durch seine dilemmatische Struktur eine besondere Risikokonstellation begründet. Ausgehend von den Positionen von Sven Ove Hansson und Julian Nida-Rümelin wird für einen deontologisch-risikoethischen Ansatz argumentiert, der auf Individualrechten einerseits und einer interpersonell gerechten Verteilung der entstehenden Schadensrisiken anderseits basiert. Diese beiden Kriterien werden für den Anwendungskontext des autonomen Fahrens konkretisiert. Zum einen wird in Bezug auf das erste Kriterium argumentiert, dass individuelle Rechte genau dann als angemessen gewahrt gelten können, wenn die resultierenden Risikoübertragungen auf die Einzelnen in ihrer absoluten Höhe jeweils zumutbar sind (absolutes Prinzip). Zum anderen werden Schwierigkeiten skizziert, die sich hinsichtlich der konkreten Umsetzung des zweiten Kriteriums der Verteilungsgerechtigkeit (relatives Prinzip) ergeben. In diesem Zusammenhang werden beispielsweise ethische Herausforderungen in Bezug auf einen möglichen Vorteilsausgleich, das Prinzip der Schadensminimierung sowie individuell unterschiedliche Ausgangsbedingungen der persönlichen Schadensreduktion kritisch in den Blick genommen.
Abstract
How should self-driving cars react in cases of unavoidable collisions? The complexity of specific dilemma situations that might arise in the context of autonomous driving pushes well-established ethical traditions of thought to their limits. This paper attempts to open up new opportunities for approaching this issue. By reframing the underlying decision problem from the perspective of ethics of risk, it is argued that the latter is highly relevant for the programming of ethical crash algorithms. The paper’s main contribution lies in providing an interpretation of dilemma situations as ethical problems of risk distribution as well as an outline of the resulting implications in terms of the permissibility of imposing these risks. Initially, moral dilemmas are shown to constitute a particularly challenging risk constellation. Drawing upon the positions of Sven Ove Hansson and Julian Nida-Rümelin, the paper makes the case for a deontological approach based on individual rights on the one hand and a fair distribution of the resulting risks of damage on the other hand. These two criteria are applied to and further elaborated in the context of self-driving car dilemmas. With regard to the first criterion, it is argued that individual rights could be considered to be adequately safeguarded if, and only if, the resulting levels of risk imposition on the individual are acceptable (absolute principle). Besides, some difficulties that emerge in the context of the second criterion of distributive justice (relative principle) are outlined. At this point, various ethical challenges such as the compensation of potential benefits, the principle of harm minimisation, and fundamental differences in individuals’ possibilities of reducing personal harm are critically examined.
1 Einführung
Moralische Dilemmata gehören zu den anspruchsvollsten, zeitlos relevanten Problemstrukturen der Ethik und Moralphilosophie. Sie stellen einen spezifischen Typ moralischer Entscheidungsprobleme dar, bei dem sich miteinander inkompatible Handlungsalternativen gegenüberstehen, die alle aus moralischen Gründen jeweils richtig und falsch zugleich sind.Footnote 1 In allen Epochen der Philosophiegeschichte werden Dilemma-Strukturen thematisiert: von Aischylos’ antiker Tragödie des Agamemnon (Aischylos 2018) über Jean-Paul Sartres 1946 erschienenen Essay L’existentialisme est un humanisme (Sartre 2014 [1946]) bis hin zu Gedankenexperimenten in modernen und interdisziplinären Anwendungskontexten, wie beispielsweise das prominente Trolley-Experiment von Philippa Foot (1978) und Judith Jarvis Thomson (1985a). Mögliche Antworten auf dilemmatische Problemlagen hängen dabei in entscheidender Weise von den gesellschaftlich geprägten, normativen Moral- und Wertvorstellungen des jeweiligen gesellschaftlichen Kontextes ab, in dem sie auftreten. In unserer modernen, sich durch die fortschreitende Digitalisierung im Wandel befindenden Gesellschaft treten in den letzten Jahren verstärkt jene bevorstehenden Veränderungen im Bereich der Mobilität in den Vordergrund, welche durch die Einführung autonomer Fahrzeuge in den Straßenverkehr zu erwarten sind. Obwohl die Vision vom selbstfahrenden Auto grundsätzlich mit positiven Assoziationen belegt ist, mahnen seit einigen Jahren vermehrt kritische Stimmen vor einer Überschätzung der gemäß heutigem Stand noch unausgereiften Technik (vgl. z. B. Gogoll und Müller 2017: 685; Mladenovic und McPherson 2016: 1134). Zwei tödliche Unfälle in den letzten vier Jahren, bei denen jeweils Testwagen des Herstellers Tesla mit eingeschaltetem Autopilot-System einen Lastwagen-Anhänger nicht richtig erkannten (vgl. z. B. Levin 2018), ließen selbstfahrende Fahrzeuge zunehmend zum Objekt kontroverser medialer und politischer Aufmerksamkeit werden. Seitdem im März 2018 eine Fußgängerin im amerikanischen Bundesstaat Arizona durch einen autonom fahrenden Testwagen des Fahrdienstvermittlers Uber tödlich verletzt wurde (vgl. z. B. Lee 2019), steht das autonome Fahren endgültig im Zentrum einer kritischen Debatte über die Zukunft dieser Komfort, Effizienz und paradoxerweise auch Sicherheit versprechenden Technologie. Neben anderen ethischen Aspekten sind dabei auch diverse Szenarien moralischer Dilemmata Gegenstand kontroverser Diskussionen in Medien, Politik und Forschung. Wie sollen sich autonome Fahrzeuge im Falle einer unabwendbaren Kollision mit resultierenden Personenschäden verhalten?Footnote 2
In der einschlägigen Forschungsliteratur wird eine große Bandbreite an beispielhaften Szenarien für relevante Dilemma-Situationen diskutiert. Diese unterscheiden sich entlang ihrer Komplexität und den zugrundeliegenden ethischen Fragestellungen. Die meisten Szenarien fokussieren sich auf die Frage, welche Handlung ausgeführt werden soll, wenn der Algorithmus zwischen zwei oder mehr externen Personen wählen muss. Sehr einprägsam ist hier das Beispiel von Lin (2016: 70), welches die Entscheidung zwischen einem 8‑jährigen Mädchen und einer 80-jährigen Großmutter darstellt, die bei entsprechendem Ausweichverhalten des Fahrzeugs jeweils tödlich verletzt würden. Ein etwas komplexeres, aber sehr realitätsnahes Dilemma beschreibt Coca-Vila (2018: 62). In diesem kann ein autonomes Auto nur durch eine abrupte Notbremsung einen Zusammenstoß mit einer plötzlich die Straße überquerenden Person vermeiden. Jedoch würde in diesem Fall ein hinter dem Auto fahrender MotorradfahrerFootnote 3 durch den Aufprall in die Heckscheibe schwer verletzt. Zudem werden auch solche Szenarien intensiv diskutiert, in denen es um eine mögliche Schädigung der Insassen geht. Sollen sich diese selbst opfern, indem sie beispielsweise auf eine Tunnelwand auffahren, um ein unbedacht auf die Straße laufendes Kind zu schützen (vgl. Goodall 2016: 810)? Und wie liegt der Fall, wenn auf einer engen Bergstraße eine Kollision mit einem voll besetzten Schulbus nur umgangen werden kann, wenn das autonome Auto im Zuge eines Ausweichmanövers dem Abhang gefährlich nahe kommt (vgl. Lin 2016: 76)?Footnote 4 Eine weitere Kategorie von Szenarien veranschaulicht, wie unter dem Postulat der Schadensminimierung möglicherweise Fehlanreize gesetzt werden. Das prominenteste Beispiel schildert eine Situation, in der eine Kollision mit einem Motorradfahrer, der ohne Helm unterwegs ist, nur dann vermieden werden kann, wenn stattdessen auf einen anderen Motorradfahrer aufgefahren wird, welcher einen Helm trägt und daher im Falle einer Kollision einen geringeren Schaden zu erwarten hat (vgl. Coca-Vila 2018: 62 f.; Lin 2016: 73). Dies würde in der Konsequenz einen Anreiz für Motorradfahrer setzen, sich gegen das Tragen eines Helmes zu entscheiden.
Im Hinblick auf die Programmierung sogenannter Unfallalgorithmen, die in derartigen Szenarien zur Anwendung kommen sollen, werden in der bisherigen Forschungsliteratur vor allem konsequentialistische und deontologische Ethiksysteme eingehend diskutiert. Als zentrale Erkenntnis einer strukturierten Literaturanalyse lässt sich festhalten, dass beide traditionellen Denkschulen sowohl aus theoretischer als auch praktischer Sicht an ihre Grenzen stoßen. So scheitert beispielsweise ein utilitaristisch-konsequentialistischer Ansatz am Aufrechnungs- bzw. Instrumentalisierungsverbot im Sinne Kants (GMS, 1968, AA 429), das als absolutes Verbot der Qualifizierung nach persönlichen Merkmalen und Postulat der Achtung der Menschenwürde Einzug in den Grundrechtskatalog gehalten hat (vgl. z. B. BMVI 2017: 8; Luetge 2017: 552 f.). Dagegen wirft die Unvollständigkeit deontologischer Regelsysteme insofern Schwierigkeiten für deterministische Automaten auf, welche sich stets in einem definierten Zustand befinden müssen, als sie nicht für alle denkbaren Fälle eine klare Handlungsvorgabe liefert (vgl. z. B. Goodall 2014a: 62).
Weitgehend vernachlässigt wurde in der Forschungsliteratur bislang eine Perspektive, die der spezifischen Komplexität von Dilemma-Situationen des autonomen Fahrens gerecht zu werden versucht, indem sie diese als risikoethische Problemstellungen auffasst. Einige Autoren setzen moralische Dilemmata des autonomen Fahrens zwar in Zusammenhang mit Risikomanagement, Risiken und Unsicherheit (vgl. z. B. Contissa et al. 2017: 371; Goodall 2016: 813 ff.; Keeling et al. 2019: 50 f.; Liu 2017: 204), betrachten diese Aspekte jedoch bisher nicht differenziert moralphilosophisch. In diesem Aufsatz wird daher der Frage nachgegangen, inwiefern eine Auffassung von Dilemma-Situationen als risikoethische Verteilungsprobleme geeignet ist, neuen Lösungsideen den Boden zu bereiten. Die skizzierten risikoethischen Argumentationen sollen dabei jedoch nicht als Alternative zu den in der Literatur bisher vertieften konsequentialistischen und deontologischen Ansätzen verstanden werden. Vielmehr stellen sie einen integrativen ethischen Rahmen dar, in den sich traditionelle Moraltheorien einbetten lassen, um aus risikoethischer Perspektive entsprechende Fragestellungen zielführend zu diskutieren.Footnote 5 Im Anschluss an risikoethische Literatur wird für einen Ansatz deontologischer Risikoethik argumentiert, der die Zulässigkeit von Risikoübertragungen an die Wahrung von Individualrechten einerseits und Gerechtigkeitsvorstellungen andererseits knüpft. Der vorliegende Aufsatz geht dabei von den deontologischen Positionen von Sven Ove Hansson und Julian Nida-Rümelin aus, die diese beiden Kriterien als notwendige Bedingungen einer zulässigen Risikoübertragung beschreiben, und konkretisiert sie für den Anwendungskontext ethischer Unfallalgorithmen.
Die Argumentation vollzieht sich in den folgenden Schritten: Zuerst werden die Relevanz einer risikoethischen Sichtweise auf moralische Dilemmata im Kontext autonomer Fahrzeuge begründet und die Risikokonstellation der Problemstellung anhand einiger grundlegende Konzepte strukturiert (Abschnitt 2). Im Anschluss werden verschiedene risikoethische Positionen hinsichtlich der Akzeptabilität von Risikoübertragungen vorgestellt, wobei der deontologische Zugang als derjenige identifiziert wird, der für den Kontext der spezifischen moralischen Dilemmata am besten geeignet erscheint (Abschnitt 3). Darauf aufbauend wird in Bezug auf das erste Kriterium der unbedingten Pflicht zur Wahrung individueller Rechte argumentiert, dass diese genau dann als angemessen gewahrt gelten können, wenn die resultierende Risikoübertragung auf den Einzelnen in ihrer absoluten Höhe zumutbar ist (absolutes Prinzip) (Abschnitt 4). Zudem werden Schwierigkeiten diskutiert, die sich hinsichtlich der konkreten Umsetzung des zweiten Kriteriums einer interpersonell gerechten Verteilung der entstehenden Schadensrisiken (relatives Prinzip) ergeben (Abschnitt 5). Einige abschließende Bemerkungen zu offenen Fragen und daraus resultierende Anregungen für weiterführende Forschung runden schließlich die Thematik ab (Abschnitt 6).
2 Unfallalgorithmen und moralische Dilemmata: Ein risikoethischer Problemaufriss
2.1 Ethische Aspekte bei Entscheidungen unter Risiko
Während ethisch umstritten ist, wie ein autonomes Fahrzeug in Dilemma-Situationen reagieren soll, handeln menschliche Fahrzeugführende hier stets instinktiv. Aufgrund des hohen Zeitdrucks sind sie weder in der Lage Alternativen zu prüfen noch überlegte Entscheidungen zu treffen (vgl. z. B. Dilich et al. 2002: 239 ff.). Im Rahmen des technisch ausgereiften Systems eines autonomen Fahrzeuges stehen jedoch umfangreiche, von Sensoren und Kameras erfasste Informationen vor allem über Umgebungsparameter zur Verfügung. Eine Programmierung von autonomen Fahrzeugen, die sich rein am intuitiven Reaktionsverhalten eines Menschen orientiert, wäre deshalb ethisch nur schwer zu rechtfertigen: „But the programmer and OEM do not operate under the sanctuary of reasonable instincts; they make potentially life-and-death decisions under no truly urgent time-constraint and therefore incur the responsibility of making better decisions than human drivers reacting reflexively in surprise situations.“ (Lin 2016: 75)
Die Entscheidung darüber, welche Handlung ein autonomes Fahrzeug im jeweiligen Dilemma-Fall ausführen soll, wird dabei lange vor dem Zeitpunkt getroffen und einprogrammiert, in dem die entsprechende reale Situation tatsächlich auftritt. In der Design- und Implementierungsphase sind die tatsächlichen Konsequenzen zumindest teilweise unsicher. Es handelt sich daher nicht um eine definitive Handlungsauswahl im engeren Sinne, sondern vielmehr um eine Entscheidung mit unsicheren Folgen, deren Wahrscheinlichkeiten und Schadenshöhen im besten Fall grob abschätzbar sind. Dies wird durch diverse Faktoren erschwert, wie beispielsweise die Fehleranfälligkeit des technischen Systems des Fahrzeuges, extreme Witterungsbedingungen oder unberechenbares Verhalten anderer Verkehrsbeteiligten (vgl. z. B. Nyholm und Smids 2016: 1277 f.). Wir wissen also zum Zeitpunkt der Programmierung nicht ganz genau, ob eine Person bei einem Unfall wirklich tödlich verletzt werden oder ihn möglicherweise durch glückliche Umstände überleben wird. In risikoethischen Betrachtungen wird deshalb stets von dem ausgegangen, was ex ante gegeben ist, ohne die tatsächlichen Folgen zu berücksichtigen. Es kann bei der Frage nach ethischen Unfallalgorithmen also gar nicht darum gehen, wer welchen Schaden in welcher Höhe tatsächlich erleidet, sondern vielmehr darum, wie hoch das jeweils entsprechende Risiko für eine Schädigung ist. Vor diesem Hintergrund erscheint es plausibel, Entscheidungssituationen im Kontext moralischer Dilemma-Situationen des autonomen Fahrens als risikoethische Problemstellungen aufzufassen.
Die Tatsache, dass die tatsächlichen Handlungsfolgen zum Zeitpunkt der Entscheidung über Unfallalgorithmen unsicher sind, ist aus moralphilosophischer Sicht von zentraler Bedeutung. Da traditionelle Moraltheorien primär unter einer deterministischen Weltsicht konzipiert sind, müssen sie für Anwendungskontexte mit unsicheren Folgen dahingehend erweitert werden, sodass sie diese Unsicherheiten angemessen berücksichtigen können (vgl. z. B. Hansson 2003: 291 f.). Die Risikoethik stellt eine solche Erweiterungsmöglichkeit dar. Grundlage jeder risikoethischen Betrachtung ist die Annahme, dass auch wenn es moralisch unzulässig ist einem Individuum eine bestimmte Konsequenz direkt zuzufügen, dennoch Umstände vorliegen können, die es erlauben, das Individuum einem entsprechenden Risiko auszusetzen, infolgedessen die Konsequenz möglicherweise eintreten kann. Auch wenn Dilemmata im autonomen Fahren tendenziell eher selten auftreten, so können sie doch niemals vollkommen zuverlässig ausgeschlossen werden (vgl. z. B. Coca-Vila 2018: 60; Goodall 2014a: 58). Ausgehend von dieser Annahme stellt sich unweigerlich die Frage, wie mit den resultierenden Schäden umgegangen werden soll. Awad et al. (2018: 59) erweitern den Bereich des risikoethischen Handlungsbedarfes gar auf jene Fälle, wo Schaden zwar möglich, aber nicht notwendigerweise unvermeidbar ist. In diesem Sinne stellt Goodall (2017: 496) fest: „The ethics of automated vehicles may be better framed as the fair distribution of risks, both during and before forced-choice situations.“Footnote 6
Am Straßenverkehr teilnehmende Personen sind zum einen jenen Risiken ausgesetzt, die durch andere Verkehrsbeteiligte entstehen, und zum anderen verursachen sie selbst Risiken für andere.Footnote 7 Während es weitgehend sozial akzeptiert ist, im Straßenverkehr grundsätzlich ein gewisses Risiko tolerieren zu müssen, wird dies im Kontext des autonomen Fahrens zu einer ethisch brisanten Problemstellung. Diese lässt sich im Wesentlichen darauf zurückführen, dass sich durch die Programmierung von Unfallalgorithmen das Wesen der Entscheidung verändert, die im Dilemma-Fall die Reaktion autonomer Fahrzeuge bestimmt: Aus einer intuitiv-situativen Reaktion wird eine überlegte, bewusste Entscheidung (vgl. z. B. Lin 2016: 74; Nyholm und Smids 2016: 1278 f.). Hinzu kommt, dass Technik an sich nicht wertneutral ist, sondern vielmehr geeignet wesentliche Aspekte des menschlichen Lebens zu konditionieren (vgl. z. B. Mladenovic und McPherson 2016: 1132 f.). Technikinduzierten Risiken haftet daher eine gewisse Systematik an, die die Verletzung individueller Rechte, welche in Dilemma-Situationen auf dem Spiel stehen, zu einer spezifisch ethischen Problematik macht. Liu (2017: 201) spricht in diesem Zusammenhang von einem Allokationsproblem von Risiken:
[…] yet the centralised and coordinated nature of algorithmic risk transforms this process to one of risk allocation rather than mere risk distribution. This is because allocation infers direction, edging towards intentionality, and emphasises the perspective of the patient-victim in the accident relationship by connoting the imposition of risk.
2.2 Grundlegungen einer Risikoethik für Dilemma-Situationen
Aufgrund der Vielfalt an Szenarien, in denen moralische Dilemmata des autonomen Fahrens auftreten können, sind unterschiedliche Risikokonstellationen denkbar. Ist ein Individuum oder gar eine ganze Gruppe von einem Risiko betroffen, das nicht selbst verursacht ist, spricht man von einem übertragenen Risiko bzw. einer sozialen Risikosituation; das Risiko geht vom Verursachenden auf die Betroffenen über (vgl. Rath 2011: 30). Während umstritten ist, wer als Urhebende der im Kontext von Unfallalgorithmen entstehenden Risiken gelten sollen – Hersteller, Programmierer, Fahrzeughalter? – so sind in jedem Fall auch an der Entscheidung Unbeteiligte einem Risiko ausgesetzt (vgl. Grunwald 2015: 667). Streng genommen sind hierbei zwei Situationstypen aus dem Gegenstandsbereich der Risikoethik relevant: zum einen Situationen der Risikoübertragung, in denen einer Person durch eine andere ein Risiko auferlegt wird, und zum anderen Situationen, in denen sich Personen selbst einem (privaten) Risiko aussetzen. Letzteres trifft in gewissem Sinne auf die Halter bzw. Insassen eines autonomen Fahrzeugs zu. Indem sie sich in einem solchen Fahrzeug befördern lassen, nehmen sie bewusst Risiken in eigener Verantwortung in Kauf. Dies interpretiert Rippe (2013: 523 f.) als implizite Zustimmung, welche die Risikoexposition in ein privates Risiko verwandelt. Da der Fokus dieses Aufsatzes auf Risikoübertragungen im Sinne systematischer staatlicher Handlungsregulierung liegt, wird auf derartige Fälle mit individualmoralischen Zustimmungsentscheidungen im Sinne privater Risiken in der Folge nicht näher eingegangen.
Um die anwendungsorientierte risikoethische Betrachtung moralischer Dilemmata für das autonome Fahren zu strukturieren, sind an dieser Stelle drei grundlegende Vorbemerkungen nötig. Erstens muss konkretisiert werden, um welche praktischen Risiken es geht. Zu diesem Zweck bietet sich eine heuristische Unterscheidung zweier Risikoformen an: zum einen das Risiko, überhaupt in eine solche Situation zu geraten (im Folgenden ‚mittelbares Schadensrisiko‘), und zum anderen das Risiko, in diesem Fall dann tatsächlich in einer bestimmten Weise geschädigt zu werden (im Folgenden ‚unmittelbares Schadensrisiko‘). Diese Unterscheidung ist notwendig, weil aufgrund der Struktur moralischer Dilemmata nicht jede Partei, die in ein solches gerät, auch notwendigerweise geschädigt wird; nämlich genau dann nicht, wenn das autonome System eine Handlungsalternative ausführt, von der sie nicht betroffen ist. So kommt beispielsweise ein über die Straße laufendes Kind zumindest ohne körperliche Schäden davon, wenn das betroffene Fahrzeug in den Gegenverkehr ausweicht. Während die Eintrittswahrscheinlichkeit eines Dilemmas – und damit auch das mittelbare Risiko – noch relativ gut abschätzbar ist, lässt sich das unmittelbare Schadensrisiko nur sehr vage bestimmen. Der Fokus dieses Aufsatzes liegt daher auf der ethischen Betrachtung des unmittelbaren Schadensrisikos.
Zweitens ist anzumerken, dass eine ethische Beurteilung von Risiken notwendigerweise über ein rein quantitatives Kalkül von Wahrscheinlichkeiten und Folgen in Form numerischer Erwartungswerte hinausgehen muss: „Risks do not just ‚exist‘ as free-floating entities; they are taken, run or imposed. Risk-taking and risk imposition involve problems of agency and interpersonal relationships […].“ (Hansson 2007a: 27) Risiken sind stets an Handlungen gebunden und lassen ein Beziehungsgefüge zwischen Entscheidenden (decision-makers), Betroffenen (risk-exposed) und potenziellen Begünstigten (beneficiaries) entstehen (vgl. Hansson 2007a: 28). Für eine risikoethische Bewertung ist es entscheidend, wie diese drei Rollen zueinander stehen: Wer trifft die Entscheidung über eine Risikoexposition und mit welcher Absicht? Profitieren Entscheidende oder andere Personen davon, Dritte einem Risiko auszusetzen? Beispielhafte Fragestellungen im Kontext des autonomen Fahrens wären hier, ob das Risiko, welches ein Individuum anderen Verkehrsbeteiligten durch die Entscheidung überträgt, ein autonomes Fahrzeug zur eigenen Fortbewegung zu nutzen, anders zu bewerten wäre als jenes, das es sich dabei selbst auferlegt. Oder inwiefern es ethisch gerechtfertigt werden kann, dass ein Algorithmus tendenziell leichtere Kollisionsobjekte bevorzugt, um die Schädigung der eigenen Insassen möglichst gering zu halten. In diesem Sinne fordert Hansson (2007a: 27), dass quantitative Methoden der Risikoanalyse mit spezifischen ethischen Aspekten ergänzt werden, wie z. B. Freiwilligkeit, Zustimmung, Absicht, sowie gerechtigkeitstheoretische Überlegungen.
Drittens begründen Dilemma-Strukturen unter der risikoethischen Perspektive eine besondere Konstellation. Es liegt gerade in der Natur eines Dilemmas, dass mindestens eine der involvierten Parteien geschädigt wird und eine Verletzung der entsprechenden Individualrechte damit unumgänglich ist. Nida-Rümelin et al. (2012: 159) sprechen in diesem Zusammenhang von einer aporetischen Situation, die durch das absolute Abwägungsverbot im Rahmen einer strikt deontologischen Ethik zweiter Ordnung hervorgerufen wird. Um eine solche Situation vollständig aufzulösen wäre es nötig, den Geltungsanspruch von individuellen Rechten zu relativieren, indem dieser an das Vorliegen gewisser Bedingungen geknüpft wird. Individuelle Rechte könnten nur dann geltend gemacht werden, wenn eine Handlungsoption existiert, bei der keine anderen deontologisch begründeten Pflichten verletzt würden. Besteht keine solche Option, werden die entsprechenden Rechtsansprüche ungültig und damit das Dilemma aufgelöst (vgl. Nida-Rümelin et al. 2012: 160). Ist eine solche Lösung im Fall des autonomen Fahrens denkbar? Die den inkompatiblen Handlungsalternativen hier zugrundeliegenden moralischen Gründe lassen sich auf die (moralisch begründeten) individuellen Rechte auf Leben und körperliche Unversehrtheit zurückführen. Eine Verletzung dieser Rechte ist nicht zuletzt deshalb moralisch unzulässig, weil Personen individuell autonom sind und daher Träger eigenständiger Entscheidungskompetenz, welche ein Paternalismusverbot in Kraft setzt (vgl. Nida-Rümelin 2005: 875 f.; Nida-Rümelin et al. 2012: 57). Es existiert also kein moralischer Grund, der es rechtfertigen würde, das Leben einer bestimmten Person – und damit eine der Optionen eines Dilemmas – zu bevorzugen.Footnote 8 Daher liegt es nahe, der zweiten von Nida-Rümelin et al. (2012: 160) genannten Lösungsmöglichkeit für die durch konfligierende deontologische Pflichten entstehende Aporie zuzusprechen. Wenn Individualrechte nicht-eliminierbare ethische Gründe darstellen, bleibt das Dilemma bestehen und Entscheidende müssen zwangsläufig moralisch scheitern. Übertragen auf das autonome Fahrens bedeutet das risikoethisch betrachtet: Alle Verkehrsbeteiligten sind individuell autonom und verfügen über absolut gültige individuelle Rechte auf Leben und Unversehrtheit, sind aber zugleich dem (unmittelbaren) Risiko ausgesetzt, dass ihre Ansprüche in einer auftretenden Dilemma-Situation verletzt werden könnten.
3 Kriterien der Risikoakzeptabilität
Welche Lösungsansätze bietet nun die Risikoethik an? Auch wenn sie derartige Aporien nicht grundsätzlich auflösen kann, so stellt sie doch eine Möglichkeit dar, die Problemstellung einmal aus einem anderen Blickwinkel zu betrachten. Auf diese Weise ist sie geeignet, neuen Lösungsideen den Weg zu bereiten, die für den Kontext des autonomen Fahrens fruchtbar gemacht werden können. Moralische Dilemmata lassen sich aus risikoethischer Sicht als die Frage interpretieren, wie ethische Unfallalgorithmen ausgestaltet sein müssen, damit die mit dem autonomen Fahren verbundenen (unmittelbaren) Risikoübertragungen als ethisch zulässig gelten können. In der Risikoethik existieren verschiedene Ansätze in Bezug auf derartige Problemstellungen. Einige ausgewählte werden im Folgenden skizzenhaft vorgestellt.
3.1 Konsequentialistische und kontraktualistische Positionen
Eng verwandt mit modernen Risikoanalysemethoden, wie sie beispielweise in ökonomischen Kontexten angewandt werden, ist ein konsequentialistisch orientierter Ansatz der Risikoethik. Dieser beantwortet die Frage nach der Zulässigkeit von Risikoübertragungen mithilfe einer Quantifizierung von Eintrittswahrscheinlichkeiten und Schadenshöhen in Form eines Erwartungswertes, welcher über alle möglichen Folgen einer Handlungsoption aggregiert (vgl. Nida-Rümelin et al. 2012: 36 f.). Bezogen auf Dilemmata des autonomen Fahrens würde dies implizieren, dass diejenige Handlungsalternative mit dem geringsten zu erwartenden Gesamtschaden gewählt werden sollte. Im Sinne der in Abschnitt 2.2 beschriebenen Argumentation von Hansson, die sich gegen eine reine Quantifizierung von Risikowerten als Basis ethischer Bewertungen wendet, weist auch das konsequentialistisch-risikoethische Paradigma erhebliche Schwachstellen auf. Um an dieser Stelle lediglich die zwei eingängigsten zu nennen: Erstens werden durch die Aggregation im Sinne der Optimierung des gesamten Risiko-Erwartungswertes individuelle Rechte und Risikopräferenzen systematisch missachtet. Zweitens bleiben dabei auch Verteilungsaspekte und Gerechtigkeitsabwägungen unberücksichtigt. Dabei erscheint insbesondere ethisch problematisch, dass unter dem konsequentialistischen Ansatz der Nachteil des einen stets durch einen genügend großen Vorteil eines anderen gerechtfertigt werden kann (vgl. Hansson 2003: 295).Footnote 9
Einen vertragstheoretischen Ansatz, der sich auf die Problematik des autonomen Fahrens bezieht und sich ausdrücklich als Alternative zu einer utilitaristischen Sichtweise versteht, entwickelt Derek Leben (2017). Das zentrale Element stellt dabei das Maximin-Prinzip dar, welches zwar auf konsequentialistischer Grundlage argumentiert, von John Rawls aber im Rahmen seiner Gerechtigkeitstheorie (2019[1971]) vertragstheoretisch begründet wird. Rawls zufolge würden rationale Personen in einem Urzustand, welcher durch einen Schleier des Nichtwissens geprägt ist, diese Regel als Grundlage ihrer zukünftigen Gesellschaft wählen: „Die Maximin-Regel ordnet die Alternativen nach ihren schlechtesten möglichen Ergebnissen: man soll diejenige wählen, deren schlechtestmögliches Ergebnis besser ist als das jeder anderen.“ (Rawls 2019: 178) Auf dieser Basis entwirft Leben einen von Rawls inspirierten Algorithmus für autonome Fahrzeuge. Die zentrale Idee basiert auf einer maschinellen Schätzung der Überlebenswahrscheinlichkeit jeder betroffenen Person bei jeder möglichen Handlung der Maschine (vgl. Leben 2017: 110 ff.). Davon ausgehend wird mittels des Maximin-Prinzips berechnet, welche Option jede einzelne Person wählen würde, wenn sie sich in einer „original bargaining position of fairness“ (Leben 2017: 108) befände.
Indem er anmerkt, dass es nicht plausibel scheint, wenn sich das Maximin-Verfahren nur auf das schlechtestmögliche Resultat bezieht, erweitert Leben schließlich das Konzept von Rawls. Weil die Individuen im Rawls’schen Urzustand eine ebenso große Wahrscheinlichkeit für das zweitschlechteste Ergebnis aufweisen, haben sie das gleiche Interesse, auch dieses zu vermeiden (vgl. Leben 2017: 110). Ein in diesem Sinne iteriertes Maximin-Prinzip führt letztendlich zu einem Pareto-optimalen Zustand, welchen Rawls (2019: 100) als Endziel der Gerechtigkeit formuliert. In diesem ist es nicht mehr möglich, eine Partei hinsichtlich eines Gutes besser zu stellen, ohne gleichzeitig eine andere schlechter zu stellen. Obwohl Lebens Argumentation auf Rawls’ vertragstheoretischer Interpretation des Maximin-Prinzip basiert, betont sie damit letztlich die Bedeutung von Verteilungseffekten. Indem der Algorithmus stets auf die Vermeidung des schlechtestmöglichen Resultats ausgerichtet ist, weigert er sich, die Interessen einer Person für die anderer zu opfern (vgl. Leben 2017: 114). Dies lässt sich als Ausdruck gleichen Respekts für ein jedes Individuum interpretieren, welcher letztlich auf unauflösliche deontologische Pflichten verweist. Der Versuch, ein ethisch begründetes Abwägungsverbot menschlicher Leben zu implementieren, scheint daher in letzter Konsequenz nicht ohne Konzepte deontologischer Ethik auszukommen.
3.2 Deontologische Positionen
Einen deontologisch-risikoethischen Ansatz, der auf der Grundlage individueller Ansprüche, Rechte und Pflichten fußt, vertritt Sven Ove Hansson. Er entwickelt sein Kriterium der Risikoakzeptabilität ausgehend von der Prämisse, dass jedes Individuum über ein prima facie Recht verfügt, keinem Schadensrisiko ausgesetzt zu werden. Aus pragmatischen Gründen kann dieses jedoch nicht immer gewahrt werden, was Hansson (2003: 303) als das sogenannte „exemption problem“ beschreibt:
It is a prima facie moral right not to be exposed to risk of negative impact, such as damage to one’s health or one’s property, through the actions of others. What are the conditions under which this right is overridden, so that someone is allowed to expose other persons to risk?
Dabei merkt er an, dass es für die Problemstellung zwar unerheblich ist, ob ein überschriebenes Recht dabei vollständig eliminiert wird, nicht aber für die praktischen Konsequenzen, die sich daraus ergeben. Bleiben alle Rechte in ihrer Geltungskraft bestehen, so verbleiben wiederum Pflichten für Handelnde, die z. B. in Form von Kompensationen oder verstärkten Maßnahmen zur Risikoreduzierung bestehen können (vgl. Hansson 2003: 303). Unter welchen Bedingungen darf ein Recht nun überschrieben und eine Person einem Risiko ausgesetzt werden? Für Hansson (2003: 305) ist hier die Reziprozität der Verteilung von Vor- und Nachteilen einer Risikoexposition entscheidend: „Exposure of a person to a risk is acceptable if and only if this exposure is part of an equitable social system of risk-taking that works to her advantage.“ Er betont, dass bei der Frage nach der Zulässigkeit einer Risikoübertragung zwei zentrale Komponenten zusammenwirken: auf der einen Seite deontologisch begründete Individualrechte, auf der anderen eine reziproke soziale Praxis der Verteilung von Risiken. Letztere kann beispielsweise dadurch gewährleistet sein, dass Vor- und Nachteile wechselseitig zwischen den Betroffenen ausgetauscht werden, sofern diese Verteilung insgesamt betrachtet für alle vorteilhaft ist.Footnote 10 Diese beiden Aspekte spielen auch im deontologischen Ansatz von Julian Nida-Rümelin eine zentrale Rolle. Im Gegensatz zu Hansson schließt dieser eine konsequentialistische Optimierung jedoch explizit nicht vollständig aus, sondern erklärt sie im Rahmen einer „kohärente[n] Risikopraxis“ innerhalb vorrangiger deontologischer Grenzen für zulässig. Letztere sind durch individuelle Autonomie (in Form von Rechten) einerseits und etablierte Gerechtigkeitsvorstellungen (in Form von Verteilungsgerechtigkeit) andererseits gegeben (vgl. Nida-Rümelin 2005: 874; Nida-Rümelin et al. 2012: 175).
Aufgrund der deontologischen Natur von Dilemmata des autonomen Fahrens, die sich aus der Argumentation in Abschnitt 2 ergibt, erscheint eine deontologische Risikoethik im Sinne Nida-Rümelins und Hanssons für Unfallalgorithmen autonomer Fahrzeuge sinnvoll. Wie lassen sich nun aber die beschriebenen deontologischen Kriterien für diesen Anwendungskontext konkretisieren? Da Dilemmata gerade dadurch charakterisiert sind, dass unausweichlich mindestens eine Person zu Schaden kommt, beträgt die Schadenswahrscheinlichkeit in der Gesamtsituation 100 %. Wird nun die Programmierung von Unfallalgorithmen als eine Frage der Risikoallokation interpretiert, muss jeder einzelnen involvierten Partei ein Anteil daran zugewiesen werden. Moralische Dilemmata können daher als Risiko-Verteilungsprobleme interpretiert werden. Sie zeichnen sich gerade durch nicht-eliminierbare Individualrechte aus, wie in Abschnitt 2.2 beschrieben wurde. Aus pragmatischer Sicht erscheint es jedoch durchaus plausibel zu fordern, dass gewisse Risiken in Kauf genommen werden sollten, ohne dass dies aus ethischer Sicht als Rechtsverletzung zu werten wäre. Dieses Postulat beruht auf der Einsicht, dass als Bedingung der Zulässigkeit einer Risikoexposition plausiblerweise kein Nullrisiko verlangt wird. Ein solches würde ein kategorisches Verbot jeglicher Risikoexpositionen implizieren und somit eine zu starke und absurde Einschränkung des Raumes erlaubter Handlungen darstellen. Dies wiederum stünde dem Zweck der Moral als Ermöglichung guten Handelns zuwider (vgl. z. B. Hansson 2003: 297 ff.; Hayenhjelm und Wolff 2012: e37; Rippe 2013: 534 f.).
Der originäre Beitrag des Aufsatzes liegt nun in der Konkretisierung der beiden Ansätze, die sich am Anwendungskontext des autonomen Fahrens vollzieht. In diesem Sinne schlage ich vor, die deontologische Pflicht zur Wahrung individueller Rechte mithilfe des risikoethischen Konzeptes der Zumutbarkeit abzubilden, welches das Maß bestimmt, in dem ein Risiko aus ethischer Sicht als akzeptabel gelten kann. Grundzüge dieses Gedankens lassen sich bereits bei Hansson (2007b: 149 ff.) finden, der zwar einen solchen möglichen Zusammenhang anhand der drei Prinzipien des Strahlenschutzes („justification, optimisation and individual dose limits“) untersucht, jedoch das Zustandekommen des entsprechenden Dosisgrenzwertes nicht weiter beleuchtet. Er nimmt diesen vielmehr als gegebene deontologische Größe an. In diesem Aufsatz soll nun gerade aus risikoethischer Sicht für die These argumentiert werden, dass Zumutbarkeit ein geeignetes Konzept darstellt, der Problematik konfligierende Geltungsansprüche von Individualrechten in Dilemma-Situationen zu begegnen. Als erstes Kriterium für eine deontologisch-risikoethische Annäherung an moralische Dilemmata lässt sich in diesem Sinne Folgendes formulieren:
(1)
Individualrechte gelten dann als angemessen gewahrt, wenn die entstehenden Risikoübertragungen auf die Einzelnen in ihrer absoluten Höhe jeweils zumutbar sind (absolutes Prinzip).
Aus der Erkenntnis, dass Risiken ethisch betrachtet beziehungskonstituierend sind, folgt zudem die Notwendigkeit, dass neben der individuellen Zumutbarkeit auch gelten sollte, dass die Risiken gerecht auf alle Beteiligten verteilt werden. Als zweites Kriterium, das im Folgenden näher zu konkretisieren ist, erscheint deshalb Folgendes plausibel:
(2)
Die betreffenden (unmittelbaren) Schadensrisiken, denen die Einzelnen ausgesetzt sind, sollen interpersonell fair verteilt werden (relatives Prinzip).
4 Die (absolute) Frage der Zumutbarkeit: Eine moralische Gratwanderung im Kontext von Unfallalgorithmen
Die Vision des autonomen Fahrens ist eng mit dem Versprechen verbunden, die Zahl schwerer Unfälle signifikant zu reduzieren und unsere Straßen auf diese Weise sicherer zu machen (vgl. zB. Mladenovic und McPherson 2016: 1135). Doch wie sicher ist ‚sicher genug‘? Gemäß Birnbacher (1996: 197) ist Sicherheit „eher eine Zuschreibung als eine Beschreibung. Was sicher in diesem Sinne ist, gilt als sicher - und deswegen als akzeptabel und zumutbar.“ Welches Maß an verbleibendem Risiko kann aus ethischer Sicht als zumutbar gelten?Footnote 11 Auch wenn autonome Fahrzeuge idealerweise auf eine vorausschauende Vermeidung von Unfällen hin programmiert werden, lassen sich letztere nicht vollständig ausschließen (vgl. z. B. Goodall 2014b: 94 ff.; Lin 2016: 71 f.). Zur Veranschaulichung risikoethischer Verteilungsfragen bietet sich ein einfaches Wahrscheinlichkeitsmodell an. Stellen wir uns Dilemma-Szenarien doch einmal als eine Menge von Wahrscheinlichkeitsexperimenten vor. Ein einzelnes Experiment repräsentiere dabei den Ausgang eines Szenarios für ein bestimmtes, betroffenes Individuum. Jedes mögliche Szenario entspräche dann einem einzelnen Wahrscheinlichkeitsexperiment mit je zwei möglichen Ereignissen: Im Sinne mathematischer Urnenmodelle, bei denen aus einem fiktiven Gefäß Zufallsstichproben gezogen werden, tritt in einem konkreten Szenario entweder ein individueller Schaden ein oder nicht. Während der erste Fall ethisch problematisch ist, ist es der zweite nicht. Angenommen, einige konkrete Schäden würden nun für zumutbar befunden. Diese würden fortan dem (neu definierten) Ereignis „kein bzw. zumutbarer Schaden“ zugeordnet werden und daher in die risikoethisch unproblematische Kategorie fallen. Dies würde sich auf die Zusammensetzung der Grundgesamtheit möglicher Resultate auswirken, aus der gezogen wird. Wenn die Menge der möglichen Ausgänge insgesamt gleich bleibt, verringert sich die Wahrscheinlichkeit, dass ein unzumutbarer Schaden gezogen wird – und damit verschieben sich auch die Skalen des Experimentes.
Rippe (2013: 532) konstatiert zwei grundsätzliche Ansätze zur Bestimmung eines zumutbaren Risikos. Der eine stützt sich ausschließlich auf die Eintrittswahrscheinlichkeit als relevantes Kriterium und definiert damit Ereignisse, die mit hoher Wahrscheinlichkeit eintreten, als unzulässig. Der andere berücksichtigt dagegen zusätzlich die Schadenshöhen. Für den Kontext des autonomen Fahrens schlagen Bhargava und Kim (2017: 9) das Konzept eines moralischen Erwartungswertes vor (expected moral value approach): „One cannot simply compare 0.2 and 0.8. One must consider the value of the outcomes. Of course, car designs cannot be perfect, but a 20 % probability of a life-threatening malfunction is obviously too high.“
Das Prinzip der Zumutbarkeit bestimmt eine zumutbare Risikoexposition zudem im Hinblick auf ein Individuum. Das lässt sich zum einen auf das Bestehen individueller Abwehrrechte zurückführen (vgl. Rippe 2013: 532). Zum anderen ist es für eine ethische Beurteilung von hoher Relevanz, ob diejenigen, die von einem Gut profitieren, auch die entsprechenden Risiken tragen. Diese Individualperspektive geht jedoch nicht mit der Folgerung einher, dass eine subjektive Risikowahrnehmung zugrunde gelegt werden sollte. Vielmehr argumentiert Rippe (2013: 530), dass das ethische Problem der Zumutbarkeit von Risiken „nur dann zu klaren moralischen Antworten führen [kann], wenn es um sogenannte objektive, nicht um subjektive Risikoeinschätzungen geht.“ Die Verwendung objektiver Risiken bezieht sich jedoch nur darauf, wie die Risiken in ihrer Höhe zu bestimmen sind und nicht auf die Einstellungen, die einzelne Individuen diesen gegenüber haben. Dass individuelle Risikopräferenzen entscheidend für die Frage nach der Zumutbarkeit von Risiken sind, ist neben Eintrittswahrscheinlichkeit und Schadenshöhe zentrales Element des rezipientenorientierten Ansatzes, den Birnbacher (1996) vertritt. Ihm zufolge liegt der entscheidende Unterschied hinsichtlich der ethischen Frage, unter welchen Umständen wir anderen Personen Risiken anstelle sicherer Schäden zumuten dürfen, gerade darin, dass bei ersterem die individuellen Risikoeinstellungen der potenziell Betroffenen berücksichtigt werden (vgl. Birnbacher 1996: 204). Birnbachers Position stehen Ansätze gegenüber, „die von einem situations- und einstellungsinvarianten Zumutbarkeitsmaß ausgehen und entweder eine durchgängig risikoscheue oder durchgängig risikoneutrale Risikostrategie postulieren.“ (Birnbacher 1996: 205)
Welcher Schaden kann nun als Folge einer Kollision mit einem autonomen Fahrzeug als akzeptabel gelten – eine Prellung, ein gebrochenes Bein? Rippe (2013: 530) fordert, dass Personen diejenigen Risiken, welche sie anderen zumuten, auch selbst hinnehmen müssen. Der Umkehrschluss gilt hier allerdings nicht: Ein Risiko, das man bereit ist für sich selbst zu akzeptieren, darf deshalb noch nicht anderen zugemutet werden (vgl. Rippe 2013: 531). Luhmann (1997: 330) führt als Begründung hierfür mögliche Unterschiede in der persönlichen Risikopräferenz an. Bei eigenen Entscheidungen ist man tendenziell risikobereiter, darf aber gleichzeitig anderen nicht das zumuten, was man für sich selbst akzeptiert. Analog lässt sich im Sinne des rezipientenorientierten Ansatzes argumentieren, dass von der eigenen Risikoeinstellung keine Rückschlüsse dahingehend gezogen werden dürfen, ob eine Risikoexposition für ein anderes Individuum zumutbar ist (vgl. Birnbacher 1996: 204 f.).
Zu den am häufigsten rezipierten Prinzipien im Kontext ethischer Zumutbarkeit gehören Schwellenwert-Konzeptionen. Diese definieren eine Handlung genau dann als zumutbar, wenn der Risikoerwartungswert aller Betroffenen einen bestimmten Grenzwert nicht überschreitet und dabei unabhängig von jeglicher Form der Zustimmung ist. So spricht beispielsweise Hansson (2003: 298 f.) im Kontext deontologischer Theorien von einem „probability limit“, aufgrund dessen Rechte und Verbote ihre Geltungskraft verlieren, wenn die Eintrittswahrscheinlichkeit eines Schadens gering genug ist. Überdies diskutiert Thomson (1985b: 125) eine Subklasse risikoethisch relevanter Handlungen, welche sich durch „threshold effects“ auszeichnen. Dabei werden zunächst triviale oder auch gar keine Risiken übertragen, jedoch entsteht durch die wiederholte Ausführung der Handlung (Handeln in Serie derselben bzw. paralleles Handeln einer anderen Person) letztlich ein non-triviales Risiko. Dies veranschaulicht Thomson am Beispiel eines Fischteiches: Während das erste Hineinschütten einer giftigen Substanz nur zu einer Trübung des Wassers führt, wird mit dem zweiten Mal eine für die Fische tödliche Gesamtdosis erreicht. Aus praktischer Sicht stellen beispielsweise Dosisgrenzwerte im Zusammenhang mit Fragen des Strahlenschutzes einen Schwellenwert dar, welcher die gerade noch zulässige Dosis festlegt (vgl. Hansson 2007b: 152 ff.). Schwellenwerte bestimmt sich dabei stets auf Basis dessen, was rational betrachtet als zumutbar angesehen werden kann, nicht was sozial akzeptiert ist (vgl. Rippe 2013: 531). Eine Möglichkeit, wie ein solcher Grenzwert definiert werden kann, beschreibt das Prinzip der Sorgfaltspflichten. Dieses stellt bestimmte Anforderungen an sorgfältiges Handeln im Zusammenhang mit Risikoexpositionen. Die im Rahmen der Sorgfaltspflichten postulierten Vorsichtsmaßnahmen erfordern analog insbesondere die Minimierung der Wahrscheinlichkeit, dass ein Schaden eintritt, sowie des eintretenden Schadensausmaßes.
Welche Sorgfaltsmaßnahmen sollten im Fall von Dilemma-Situationen als erforderlich gelten, sodass das entsprechende unmittelbare Risiko zumutbar wird? Während bei mittelbaren Risiken Präventionsmaßnahmen angebracht erscheinen, sind diese für unmittelbare Risiken wirkungslos. Da Unfallalgorithmen auf direktem Wege zu Schäden für die Betroffenen führen, müssen sie ex ante mit äußerster Sorgfalt durchdacht werden. Deshalb schlage ich vor, einen moralischen Sorgfaltsbegriff zugrunde zu legen. Wie beispielsweise Lin (2014, unpaginiert) beschreibt, zeichnen sich ethische Entscheidungen dadurch aus, dass sie sorgfältig unter Berücksichtigung moralischer Aspekte zu begründen und argumentativ zu verteidigen sind:
[…] what’s important isn’t just about arriving at the ‚right‘ answers to difficult ethical dilemmas, as nice as that would be. But it’s also about being thoughtful about your decisions and able to defend them – it’s about showing your moral math.
Zugleich entsteht bei moralischen Entscheidungen immer auch eine Verantwortung, der man sich nur stellen kann, indem man sich der Pflicht zur sorgfältigen Berücksichtigung sämtlicher relevanter moralischer Gründe annimmt. Als moralfähige Wesen schulden wir einander eine gewisse Sorgfalt in der Begründung unserer moralischen Entscheidungen, die sich in einen gesellschaftlichen Kontext setzen lassen (vgl. z. B. Nyholm und Smids 2016: 1278 f.). Im Kontext autonomer Maschinen stellt sich die Frage nach moralischer Entscheidungs- und Handlungsfähigkeit allerdings ganz neu. In der Maschinenethik herrscht derzeit weitgehend Einigkeit darüber, dass autonome Maschinen nicht in einem Sinne als moralische Akteure (moral agents) gelten können, die menschlicher Moralität ebenbürtig ist (vgl. z. B. Misselhorn 2018: 70 ff; Moor 2006: 20). Daher bleibt die Entscheidung, welche ethischen Prinzipien der Programmierung von Unfallalgorithmen zugrunde gelegt werden sollen, letztlich eine menschliche Aufgabe. Deren erfolgreiche Bewältigung hängt in entscheidender Weise davon ab, wie der Entscheidungsprozess für spezifische Dilemma-Situationen auf der Programmierebene abgebildet wird. Welche Entscheidungsabläufe werden maschinell durchlaufen und welche stellen unmittelbare moralische Urteile menschlicher Entscheidender dar? Wird es Maschinenethik und Ingenieurswissenschaften gelingen, Methoden zu entwickeln, um moralische Argumentationsprozesse adäquat zu implementieren? Inwiefern sich Sorgfaltskriterien im Kontext algorithmisierter Entscheidungsprozesse bewahren lassen, ist vor dem Hintergrund des Standes gegenwärtiger Forschung offen.
5 Die (relative) Frage der Gerechtigkeit: Zwischen Vorteilsausgleich und Verwundbarkeit
Neben der Forderung eines individuell zumutbaren Risikos stellt die Unvermeidbarkeit von Schäden, die charakteristisch für ethische Dilemmata ist, darüber hinaus Verteilungsfragen hinsichtlich Vor- und Nachteilen von Risikoübertragungen in den Vordergrund. Wie können unmittelbare Schadensrisiken unter moralischen Gesichtspunkten fair verteilt werden? Der Rahmen dieses Aufsatzes kann einer umfassenden philosophischen Auseinandersetzung mit dieser komplexen Frage nur unzureichend gerecht werden. Deshalb sollen hier lediglich einige grundlegende gerechtigkeitstheoretische Überlegungen im Hinblick auf problematische Aspekte skizziert werden.
Personen, die sich in einem autonomen Fahrzeug transportieren lassen, verfügen über gewisse Vorteile, die u. a. in erhöhtem Komfort und Zeitersparnis durch Paralleltätigkeiten bestehen. Wären nun zusätzlich die Unfallalgorithmen in einer Weise programmiert, die eine direkte Schädigung der Insassen als Folge einer gewählten Handlungsoption ausschließtFootnote 12, würden die Nachteile, die sich aus der Beteiligung des autonomen Fahrzeugs am Verkehrsgeschehen ergeben, automatisch anderen Verkehrsbeteiligten auferlegt. Eine solche Verteilung von Vor- und Nachteilen erscheint intuitiv unfair. Anders läge der Fall, wenn der Unfallalgorithmus so gestaltet wäre, dass die Option einer direkten Insassenschädigung bestünde und die Insassen dadurch ebenfalls ihren Anteil am Gesamtrisiko zu tragen hätten. In dieser Beispielkonstellation beträfen sowohl Vor- als auch Nachteile dieselben Personen. Die Komfortvorteile können dabei in gewisser Weise als Kompensation für die Nachteile aufgefasst werden, die durch die Risikoexposition entstehen.Footnote 13 Eine ähnliche Problematik ergibt sich aus dem Prinzip der Schadensminimierung. Soll sich der Unfallalgorithmus an der Maßgabe orientieren, möglichst geringe persönliche Schäden zu verursachen, bestünde die Gefahr, dass Personen geopfert werden, „um die eigentlichen Verursacher des Unfalles vor den Konsequenzen ihres Fehverhaltens zu schützen.“ (Hevelke und Nida-Rümelin 2015: 19) Dies wäre beispielsweise im Szenario des ohne Helm fahrenden Motorradfahrers der Fall. Auch hinsichtlich bestimmter Fahrzeugtypen käme es zu diskriminierenden Effekten, wenn leichtere Fahrzeuge mit geringeren Sicherheitsstandards möglichst als Kollisionsobjekte vermieden und in diesem Sinne ‚sicherer‘ für ihre Insassen werden. Derartige Mechanismen setzen systematisch Fehlanreize, sich durch nicht regelkonformes Verhalten einen Vorteil zu verschaffen. Angesichts dieser praktischen Schwierigkeiten erscheint es angemessen, im Sinne der in Abschnitt 3.2 dargestellten deontologischen Ansätze von Hansson und Nida-Rümelin eine Verteilungsgerechtigkeit für Schadensrisiken im Kontext des autonomen Fahrens zu fordern.
Ein wesentlicher Grund, der Verteilungsfragen im Kontext autonomer Fahrzeuge zu einer komplexen gerechtigkeitstheoretischen Herausforderung macht, besteht direkt in der dilemmatischen Struktur der Risikosituation. Nach John Broome (1984: 43) beinhaltet jedes Verteilungsproblem von Gütern eine moralische Pflicht zur FairnessFootnote 14: „when a good is to be distributed, a duty is owed to each candidate to treat him fairly.“ Wird die Betrachtung einer moralischen Dilemma-Situation aus risikoethischer Perspektive mit dieser normativen Forderung nach Fairness zusammengebracht, erweitert sich der Geltungsbereich der relevanten individuellen Ansprüche. Sie beziehen sich nicht länger ausschließlich auf den Schutz von Leben und Gesundheit, sondern auch auf eine faire Berücksichtigung hinsichtlich dieser Güter und werden auf diese Weise zu sogenannten Fairnessansprüchen (fairness claims). Der relative Charakter des Fairnessgedankens impliziert, dass etwas immer in Bezug auf etwas anderes fair ist. Die Idee der Fairness vollzieht sich quasi erst im interpersonellen Vergleich (vgl. Broome 1984: 43). Die Fairnessperspektive auf moralische Ansprüche hat den entscheidenden Vorteil, dass sich damit die Problematik der Unerfüllbarkeit aller individuellen Ansprüche, die moralischen Dilemmata anhaftet, strukturell abbilden lässt. Wird Fairness im Sinne von Chancengleichheit interpretiert, so impliziert diese bereits, dass trotz gleicher Ansprüche ex ante nicht zwangsläufig eine gleiche Güter- bzw. Lastenverteilung ex post resultieren muss.
Darüber hinaus gilt für das Verteilungsproblem, welches sich im Kontext von Unfallalgorithmen ergibt, dass die Identität der betroffenen Parteien zum Zeitpunkt der Implementierung unbekannt ist. Hieraus ergeben sich wichtige ethische Implikationen. Für Hevelke und Nida-Rümelin folgt gerade aus dieser fehlenden Determiniertheit der Identität potenzieller Opfer, dass eine auf Schadensminderung ausgerichtete Programmierung nicht grundsätzlich unvereinbar mit einer deontologischen Ethik sein muss. Denn auch wenn Schadensminimierung letztlich immer ein Abwägen erfordert, muss dieses nicht zwangsläufig ethisch problematisch sein. Wenn die konkreten Vor- und Nachteile einer Person nicht bestimmbar sind, weil schon ihre Identität nicht bestimmbar ist, so lässt sich lediglich untersuchen, welche Handlung im Sinne aller wäre. Hevelke und Nida-Rümelin (2015: 11) folgern daher, „dass eine auf die Minimierung der Opfer ausgelegte Programmierung durchaus im Interesse jedes Einzelnen sein kann – nämlich genau dann, wenn diese Programmierung das Risiko eines jeden Einzelnen reduziert bzw. minimiert.“ Dadurch, dass es grundsätzlich jeden treffen könnte, würde eine Programmierung auf Schadensminimierung niemanden im kantischen Sinne bloß als Mittel gebrauchen (vgl. Hevelke und Nida-Rümelin 2015: 12). Analog konstatiert die Ethik-Kommission des BMVI (2017: 18) in ihrem Bericht, dass eine solche Programmierung keinen Verstoß gegen Art. 1 Abs. 1 GG darstellen würde, sofern die Voraussetzung erfüllt ist, dass „die Programmierung das Risiko eines jeden einzelnen Verkehrsteilnehmers in gleichem Maße reduziert. Solange nämlich die vorherige Programmierung für alle die Risiken in gleicher Weise minimiert, war sie auch im Interesse der Geopferten, bevor sie situativ als solche identifizierbar waren.“
Es existieren jedoch gute Gründe dafür anzunehmen, dass Schadensminimierung nicht immer im Interesse aller ist; nämlich genau dann nicht, wenn dadurch die Sicherheit einer Gruppe von Personen systematisch priorisiert würde, z. B. ältere Menschen vor jüngeren, Menschengruppen vor Einzelpersonen (vgl. Hevelke und Nida-Rümelin 2015: 13 f.). Bei dem Versuch festzustellen, ob eine solche Bevorzugung erfolgt, ergeben sich erhebliche Schwierigkeiten. Diese kommen insbesondere dadurch zum Ausdruck, dass eine grundliegende Asymmetrie hinsichtlich der individuellen Bedingungen zu bestehen scheint, unter denen drohender Schaden abgewehrt bzw. reduziert werden kann. Verschiedene Faktoren wie beispielsweise Witterungsbedingungen, Eigenschaften des Fahrzeuges oder die Wahl der Fortbewegungsform können für eine solche Ungleichheit ursächlich sein. So hat eine Fußgängerin offensichtlich kaum Möglichkeiten, im Falle einer Kollision körperlichen Schaden abzuwenden. Der Grund dafür sind nicht individuelle persönliche Merkmale, sondern einfach die Tatsache, dass sie physisch weniger gut geschützt ist als beispielsweise die Insassen eines autonomen Fahrzeuges durch dessen Karosserie. Wird sie von einem autonomen Fahrzeug erfasst, so ist ihre höhere körperliche Verwundbarkeit (vulnerability) ursächlich dafür, dass die Wahrscheinlichkeit, einen höheren Schaden zu erleiden, größer ist als die der Insassen. Je höher die Verwundbarkeit einer Person ist, desto schlechter kann sie mit einem drohenden Schaden umgehen.Footnote 15 Dies stellt ein zentrales Kriterium für die moralische Beurteilung der Umstände dar, mit denen die betroffenen Individuen eines Dilemmas konfrontiert sind. Es erscheint also durchaus plausibel anzunehmen, dass zwischen Personengruppen ungleiche Ausgangsbedingungen hinsichtlich der Möglichkeiten herrschen, ihre Ansprüche auf Schutz von Leben und Gesundheit zu verwirklichen (vgl. z. B. Luetge 2017: 552 f.).
Die ex ante bestehende Gleichwertigkeit der individualrechtlichen Ansprüche begründet, wieso es moralisch notwendig ist, eine entstehende soziale Benachteiligung auszugleichen. Aber ist ein solches Vorgehen auch moralisch zulässig? Um beurteilen zu können, ob eine solche Allokation von Risiken im Interesse aller ist, schlagen Hevelke und Nida-Rümelin vor, als Referenzpunkt diejenige Situation zu betrachten, welche vor dem Ausgleich besteht. Hierbei wird deutlich, dass gewisse Gruppen über Sicherheitsvorteile verfügen, die sie im Falle eines Benachteiligungsausgleiches aufgeben müssten. Der Verlust dieser Vorteile ist jedoch genau dann unproblematisch im Sinne einer Instrumentalisierung der entsprechenden Individuen, wenn auf diese Vorteile gar kein moralisch begründbarer Anspruch besteht. Ein solcher ist insbesondere dann nicht vorhanden, wenn diese Vorteile im Gegenzug mit Nachteilen für andere verbunden sind (vgl. Hevelke und Nida-Rümelin 2015: 17). Dieser Gedankengang lässt sich anhand eines einfachen Beispiels verdeutlichen: Wenn eine Person mit dem Auto zum Supermarkt fährt anstatt zu Fuß zu gehen, verfügt sie persönlich über erhebliche, physikalisch begründete Sicherheitsvorteile. Jedoch setzt sie durch ihre Autofahrt andere Verkehrsbeteiligte einem wesentlich höheren Risiko aus, als wenn sie zu Fuß gegangen wäre. Ihr entsteht also auf Kosten anderer ein Vorteil. So würde es möglicherweise gar nicht erst zu einer Dilemma-Situation kommen, wenn sie sich für eine andere Fortbewegungsart entscheiden würde; das mittelbare Schadensrisiko wäre also für alle Beteiligten geringer. Ein Ausgleich in diesem Sinne ungerechtfertigter Vorteile kann daher mindestens als zulässig, möglicherweise sogar als wünschenswert angesehen werden.
6 Offene Fragen und (risikoethische) Forschungsdesiderate
Moralische Dilemmata fordern zu allen Zeiten die gesellschaftlich geprägten, normativen Moral- und Wertvorstellungen des jeweiligen gesellschaftlichen Kontextes heraus, in dem sie auftreten. Als potenziell revolutionäre Technologien stellen autonome Fahrzeuge jene dabei neu zur Diskussion. Ziel des Aufsatzes war es aufzuzeigen, inwiefern die Risikoethik einen Beitrag zur Annäherung an ethisch vertretbare Unfallalgorithmen leisten kann. Indem sie moralische Dilemma-Situationen als risikoethische Verteilungsprobleme interpretiert, bereichert sie die philosophische Literatur durch eine Perspektive, die neue Lösungsideen in den Vordergrund rückt. Im Kontext der spezifischen Herausforderungen des autonomen Fahrens stellte sich insbesondere ein deontologisch-risikoethischer Ansatz als geeignet heraus, um individualrechtliche Ansprüche und Gerechtigkeitsvorstellungen angemessen zu berücksichtigen. Vor diesem Hintergrund wurden zwei deontologische Prinzipien diskutiert, die entscheidend für die Zulässigkeit von Risikoübertragungen sind. Erstens wurde dabei für die These argumentiert, dass individuelle Rechte auf Leben und Gesundheit gewahrt werden können, wenn die den Einzelnen übertragenen Risiken in absoluter Höhe zumutbar sind. Angesichts der zunehmenden Omnipräsenz und Komplexität technischer Systeme wird hier – insbesondere in Bezug auf eine zugrunde gelegte Schwellenwert-Konzeption – zukünftig zu diskutieren sein, auf welche Weise es im Rahmen von Unfallalgorithmen möglich ist der Forderung nach moralischen Sorgfaltspflichten nachzukommen. Dieser Auftrag richtet sich einerseits an die (Risiko‑)Ethik, welche die Voraussetzungen spezifizieren muss, unter denen eine Entscheidung als ethisch sorgfältig gelten kann. Andererseits stellt er auch einen Appell an die Ingenieurswissenschaften dar, die diese letztlich in implementierbare Algorithmen übersetzen müssen. Nicht zuletzt erscheinen auch Überlegungen zu möglichen alternativen Ansätzen zur Bestimmung eines zumutbaren Risikomaßes sinnvoll.
Zweitens müssen bestehende Risiken auch in relativer Hinsicht in einer Art und Weise auf die Einzelnen verteilt werden, die etablierten Gerechtigkeitsprinzipien entspricht. In diesem Aufsatz wurde ein Ansatz skizziert, der bestehende Benachteiligungen hinsichtlich individueller Ausgangsbedingungen auszugleichen versucht, welche durch moralisch relevante Unterschiede hinsichtlich physischer Verwundbarkeit hervorgerufen werden. Damit sind jedoch Schwierigkeiten bei der praktischen Realisierung verbunden, die im Rahmen der risikoethischen Skizze nur angedeutet wurden. Allem voran stellt sich deshalb die Frage, welche Kriterien für einen Benachteiligungsausgleich zugrunde gelegt werden können und bis zu welchem Grad ein solcher erfolgen sollte. Denkbar erscheint, beide deontologischen Grenzkriterien in dem Sinne zu kombinieren, dass eine Benachteiligung dann als ausreichend ausgeglichen gelten kann, wenn sie auf ein zumutbares Maß reduziert wurde. Oder ist numerische Gleichheit der Risiken aller Betroffenen notwendig, um von einer fairen Verteilung sprechen zu können? Sowohl Hansson (2007b: 152 ff.) als auch Nida-Rümelin et al. (2012: 161 ff.) betonen, dass unter dem Prinzip der Verteilungsgerechtigkeit utilitaristische und deontologische Aspekte vereint werden können. Dieses Potential ließe sich möglicherweise fruchtbar machen für weiterführende Forschung mit dem Ziel, faire Verteilungsmechanismen für Vor- und Nachteile von Risikoübertragungen im Zusammenhang mit ethischen Unfallalgorithmen zu entwerfen.
Notes
Richtig in dem Sinne, dass ein moralischer Grund die Handlung einfordert, und zugleich falsch in dem Sinne, dass durch die Wahl einer Option zwangsläufig diejenigen moralischen Gebote vernachlässigt werden, die den Alternativen zugrunde liegen.
Die Ethik-Kommission „Automatisiertes und vernetztes Fahren“ des Bundesministeriums für Verkehr und digitale Infrastruktur (BMVI) legt in ihrem Bericht vom Juni 2017 bereits fest, dass Sachschäden aus moralischer Sicht Personenschäden vorzuziehen sind (vgl. 2017: 17). In der einschlägigen ethischen Debatte geht es deshalb insbesondere um Szenarien, in denen bei jedem möglichen Ausgang Personenschäden resultieren.
Aus Gründen der besseren Lesbarkeit wird hier und im folgenden Text zwar nur die männliche Form genannt, stets aber die weibliche und andere Formen gleichermaßen mitgemeint.
Im Kontext von Selbstopferungs-Szenarien wird auch die Frage diskutiert, ob die dem Fahrzeugverhalten im Dilemma-Fall zugrundeliegenden ethischen Prinzipien für alle verbindlich sein sollten, oder ob Fahrzeughalter in einem gewissen vorgegebenen Rahmen selbst Anpassungen daran vornehmen dürfen, die ihren persönlichen moralischen Präferenzen entsprechen (vgl. z. B. Contissa et al. 2017; Gogoll und Müller 2017).
Dieser Aufsatz hat nicht den Anspruch, finale ethische Argumente zu liefern, sondern versteht sich vielmehr als Versuch, zu einer intensiven risikoethischen Diskussion über Unfallalgorithmen für spezifische moralische Dilemmata im Kontext des autonomen Fahrens anzuregen.
Ethische Herausforderungen als eine Frage fairer Risikoverteilungen anzusehen, ist in anderen Anwendungskontexten bereits etabliert. Goodall (2017: 496) nennt als beispielhafte Problemstellungen Organspenden im Gesundheitswesen, Zulässigkeit von Strahlungsbelastungen, Beibehaltung der Wehrpflicht oder Vorgaben für industrielle Sicherheitsstandards.
Wie Nida-Rümelin et al. (2012: 154) anmerken, trägt das Konzept der allgemeinen Gefährdungshaftung dem Umstand Rechnung, dass allein durch die „Beteiligung am Straßenverkehr auch bei korrektem Verhalten ein gewisses Risiko für andere Personen“ besteht.
Diese Problematik tangiert metaethische Grundlagen moralischer Dilemma-Strukturen, die im Kontext der Frage nach der prinzipiellen Möglichkeit und Existenz echter moralischer Dilemmata (genuine moral dilemmas) erörtert werden (vgl. z. B. Sinnott-Armstrong 1988; Statman 1995). Befürworter argumentieren u. a. dafür, dass im Fall von Individualrechten eine grundsätzliche Nicht-Verrechenbarkeit deontologischer Pflichten besteht, die auf der Nicht-Eliminierbarkeit entsprechender moralischer Gründe basiert (vgl. z. B. Gowans 1994: 117 ff.; Tessman 2015: 11 ff.).
An diesem Punkt liegt es nahe anzunehmen, dass man die Gerechtigkeitsprinzipien von John Rawls (2019[1971]) auf die risikoethische Problematik abbilden könnte. Dies würde allerdings den Rahmen dieses Aufsatzes sprengen und kann daher lediglich Gegenstand weiterführender Forschung sein.
Die Frage nach der moralischen Zumutbarkeit bezieht sich prinzipiell sowohl auf mittelbare wie auch unmittelbare Schadensrisiken im Kontext des autonomen Fahrens. Wenn Dilemmata zwar als sehr selten, jedoch nicht gänzlich unvermeidbar gelten, sind entsprechend mittelbare Schadensrisiken, überhaupt jemals in eine solche Situation hinein zu geraten, ebenfalls sehr gering, aber nicht gleich null. Würde es aufgrund dieser sehr kleinen Wahrscheinlichkeit für unzumutbar erklärt werden, Personen einem mittelbaren Risiko auszusetzen, so würde das eine Unzulässigkeit autonomer Fahrzeuge an sich implizieren. Mit der grundsätzlichen Befürwortung und Akzeptanz des autonomen Fahrens als Mobilitätsform der Zukunft wird jedoch praktisch gesehen gleichzeitig ein gewisses Risiko akzeptiert. Die Zumutbarkeit einer Risikoexposition im Sinne eines mittelbaren Schadensrisikos kann daher als Prämisse angenommen werden, welche notwendig ist, um sinnvoll über die Zulässigkeit unmittelbarer Schadensrisiken diskutieren zu können.
Selbstverständlich können auch indirekte Schäden für die Insassen auftreten, wenn der Unfallalgorithmus ein anderes Kollisionsobjekt ansteuert.
An dieser Stelle ist Hanssons Unterscheidung in kollektives und individuelles Abwägen hilfreich. Letzteres ist dann geboten, wenn interpersonelle Kompensation von Vor- und Nachteilen nicht möglich oder nicht gerechtfertigt ist (vgl. Hansson 2007b: 150). Freilich bliebe hier ethisch zu diskutieren, wie konkrete Vor- und Nachteile jeweils individuell zu gewichten sind.
Fairness wird hier im moralphilosophischen Sinne als ein bestimmtes Verständnis von akzeptierter Gerechtigkeit aufgefasst.
Problematisch ist hierbei, dass sich die einzelnen Verwundbarkeitsausmaße nicht kardinal anordnen lassen. Eine Lösungsmöglichkeit schlägt beispielsweise Rippe (2013: 533 ff.) vor, indem er eintretende Schäden aus der Perspektive der Verletzung zugrundeliegender moralischer Rechte betrachtet.
Literatur
Aischylos. 2018. Die Orestie. Hrsg. Kurt Steinmann. Stuttgart: Reclam Verlag.
Awad, Edmond, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon und Iyad Rahwan. 2018. The Moral Machine experiment. In Nature 563: 59–64.
Bhargava, Vikram und Tae W. Kim. 2017. Autonomous Vehicles and Moral Uncertainty. In Robot Ethics 2.0: From Autonomous Cars to Artificial Intelligence. Hrsg. Patrick Lin, Ryan Jenkins und Keith Abney. Oxford: Oxford University Press, S. 5–19.
Birnbacher, Dieter. 1996. Risiko und Sicherheit – philosophische Aspekte. In Risikoforschung zwischen Disziplinarität und Interdisziplinarität. Von der Illusion der Sicherheit zum Umgang mit Unsicherheit. Hrsg. Gerhard Banse. Berlin: edition sigma, S. 193–210.
BMVI Ethik-Kommission „Automatisiertes und vernetztes Fahren“. 2017. Bericht Juni 2017. URL: https://www.bmvi.de/SharedDocs/DE/Publikationen/DG/bericht-der-ethik-kommission.pdf?__blob=publicationFile (letzter Zugriff: 20.12.2019).
Broome, John. 1984. Selecting People Randomly. In Ethics 95: 38–55.
Coca-Vila, Ivó. 2018. Self-driving Cars in Dilemmatic Situations: An Approach Based on the Theory of Justification in Criminal Law. In Criminal Law and Philosophy 12: 59–82.
Contissa, Giuseppe, Francesca Lagioia und Giovanni Sartor. 2017. The Ethical Knob: ethically-customisable automated vehicles and the law. In Artificial Intelligence and Law 25: 365–378.
Dilich, Michael A., Dror Kopernik und John Goebelbecker. 2002. Evaluating Driver Response to a Sudden Emergency: Issues of Expectancy, Emotional Arousal and Uncertainty. SAE Transactions 111: 238–248.
Foot, Philippa. 1978. The Problem of Abortion and the Doctrine of the Double Effect. In Virtues and Vices and Other Essays in Moral Philosophy. Berkeley und Los Angeles: University of California Press, S. 19–32.
Gogoll, Jan und Julian F. Müller. 2017. Autonomous Cars: In Favor of a Mandatory Ethics Setting. In Science and Engineering Ethics 23: 681–700.
Goodall, Noah J. (2014a). Ethical Decision Making During Automated Vehicle Crashes. In Transportation Research Record: Journal of the Transportation Research Board 2424: 58–65.
Goodall, Noah J. (2014b). Machine Ethics and Automated Vehicles. In Road Vehicle Automation: Lecture Notes in Mobility. Hrsg. Gereon Meyer und Sven Beiker. Cham: Springer International Publishing, S. 93–102.
Goodall, Noah J. 2016. Away from Trolley Problems and Toward Risk Management. In Applied Artificial Intelligence 30: 810–821.
Goodall, Noah J. 2017. From Trolleys to Risk: Models for Ethical Autonomous Driving. In American Journal of Public Health 107: 496.
Gowans, Christopher W. 1994. Innocence Lost: An Examination of Inescapable Moral Wrongdoing. New York: Oxford University Press.
Grunwald, Armin. 2015. Gesellschaftliche Risikokonstellation für autonomes Fahren – Analyse, Einordnung und Bewertung. In Autonomes Fahren. Technische, rechtliche und gesellschaftlich Aspekte. Hrsg. Markus Maurer, J. Christian Gerdes, Barbara Lenz und Hermann Winner. Berlin, Heidelberg: Springer Vieweg, S. 661–685.
Hansson, Sven Ove. 2003. Ethical Criteria of Risk Acceptance. In Erkenntnis 59: 291–309.
Hansson, Sven Ove. (2007a). Risk and Ethics: Three Approaches. In Risk: Philosophical Perspectives. Hrsg. Tim Lewens. London: Routledge, S. 21–35.
Hansson, Sven Ove. (2007b). Ethics and radiation protection. In Journal of Radiological Protection 27: 147–156.
Hayenhjelm, Madeleine und Jonathan Wolff. 2012. The Moral Problem of Risk Impositions: A Survey of the Literature. In European Journal of Philosophy 20: e26–e51.
Hevelke, Alexander und Julian Nida-Rümelin. (2015). Selbstfahrende Autos und Trolley-Probleme: Zum Aufrechnen von Menschenleben im Falle unausweichlicher Unfälle. In Jahrbuch für Wissenschaft und Ethik 19: 5–24.
Kant, Immanuel. 1968. Grundlegung zur Metaphysik der Sitten. Akademie Textausgabe Bd. 4. Berlin: de Gruyter.
Keeling, Geoff, Katherine Evans, Sarah M. Thornton, Giulio Mecacci und Filippo Santoni de Sio. 2019. Four Perspectives on What Matters for the Ethics of Automated Vehicles. In Road Vehicle Automation 6: Lecture Notes in Mobility. Hrsg. Gereon Meyer und Sven Beiker. Cham: Springer International Publishing, S. 49–60.
Leben, Derek. 2017. A Rawlsian algorithm for autonomous vehicles. In Ethics and Information Technology 19: 107–115.
Lee, Dave. 2019. Uber self-driving crash ‘mostly caused by human error’. BBC News Online. URL: https://www.bbc.com/news/technology-50484172 (letzter Zugriff: 09.12.2019).
Levin, Sam. 2018. Tesla fatal crash: ‘autopilot’ mode sped up car before driver killed, report finds. The Guardian. URL: https://www.theguardian.com/technology/2018/jun/07/tesla-fatal-crash-silicon-valley-autopilot-mode-report (letzter Zugriff: 09.12.2019).
Lin, Patrick. 2016. Why Ethics Matters for Autonomous Cars. In Autonomous Driving: Technical, Legal and Social Aspects. Hrsg. Markus Maurer, J. Christian Gerdes, Barbara Lenz und Hermann Winner. Berlin, Heidelberg: Springer Vieweg, S. 69–85.
Lin, Patrick. 2014. The Robot Car of Tomorrow May Just Be Programmed to Hit You. WIRED. URL: https://www.wired.com/2014/05/the-robot-car-of-tomorrow-might-just-be-programmed-to-hit-you/ (letzter Zugriff: 29.08.2019).
Liu, Hin-Yan. 2017. Irresponsibilities, inequalities and injustice for autonomous vehicles. In Ethics and Information Technology 19: 193–207.
Luetge, Christoph. 2017. The German Ethics Code for Automated and Connected Driving. In Philosophy & Technology 30: 547–558.
Luhmann, Niklas. 1997. Die Moral des Risikos und das Risiko der Moral. In Risiko und Gesellschaft. Grundlagen und Ergebnisse interdisziplinärer Risikoforschung. Hrsg. Gotthard Bechmann. Opladen: Westdeutscher Verlag, S. 327–338.
Misselhorn, Catrin. 2018. Grundfragen der Maschinenethik. Stuttgart: Reclam.
Mladenovic, Milos N. und Tristram McPherson. 2016. Engineering Social Justice into Traffic Control for Self-Driving Vehicles? In Science and Engineering Ethics 22: 1131–1149.
Moor, James H. 2006. The Nature, Importance, and Difficulty of Machine Ethics. In IEEE Intelligent Systems 21: 18–21.
Nida-Rümelin, Julian. 2005. Ethik des Risikos. In Angewandte Ethik. Die Bereichsethiken und ihre theoretische Fundierung: Ein Handbuch. Stuttgart: Kröner Verlag, S. 862–885.
Nida-Rümelin, Julian, Johann Schulenburg und Benjamin Rath. 2012. Risikoethik. Berlin: de Gruyter.
Nyholm, Sven und Jilles Smids. 2016. The Ethics of Accident-Algorithms for Self-Driving Cars: an Applied Trolley Problem? In Ethical Theory and Moral Practice 19: 1275–1289.
Rath, Benjamin. Entscheidungstheorien der Risikoethik. Eine Diskussion etablierter Entscheidungstheorien und Grundzüge eines prozeduralen libertären Risikoethischen Kontraktualismus. 2011. Marburg: Tectum Wissenschaftsverlag.
Rawls, John. 212019. Eine Theorie der Gerechtigkeit. Frankfurt/Main: Suhrkamp.
Rippe, Klaus-Peter. 2013. Risiko, Ethik und die Frage des Zumutbaren. In Zeitschrift für philosophische Forschung 4: 517–537.
Sartre, Jean-Paul. 72014. Der Existentialismus ist ein Humanismus und andere philosophische Essays (1946). Reinbek bei Hamburg: Rowohlt Taschenbuch Verlag.
Sinnott-Armstrong, Walter. 1988. Moral Dilemmas. Oxford: Basil Blackwell.
Statman, Daniel. 1995. Moral Dilemmas. Volume Inquiry Book Series 32. Amsterdam: Editions Rodopi B.V.
Tessman, Lisa. 2015. Moral Failure: On the Impossible Demands of Morality. New York: Oxford University Press.
Thomson, Judith Jarvis. (1985a). The Trolley Problem. In The Yale Law Journal 94: 1395–1415.
Thomson, Judith Jarvis. (1985b). Imposing Risks. In To Breathe Freely. Hrsg. Mary Gibson. Totowa: Rowman & Littlefield, S. 124–140.
Danksagung
Ich danke zwei anonymen Gutachter/innen für wertvolle Anmerkungen und Hinweise zu einer früheren Version dieses Aufsatzes.
Funding
Dieser Text entstand in Verbindung mit einem Dissertationsprojekt, das ich im Rahmen des interdisziplinären, kooperativen Promotionskollegs „Ethik, Kultur und Bildung für das 21. Jahrhundert“ (gefördert von der Hanns-Seidel-Stiftung) durchführe. Dieses Projekt ist Teil des „AI- and Digital-Ethics Lab“ meines Betreuers Alexander Filipović (zem::dg, Hochschule für Philosophie München). Open Access funding provided by Projekt DEAL.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://creativecommons.org/licenses/by/4.0/deed.de.
About this article
Cite this article
Schäffner, V. Wenn Ethik zum Programm wird: Eine risikoethische Analyse moralischer Dilemmata des autonomen Fahrens. ZEMO 3, 27–49 (2020). https://doi.org/10.1007/s42048-020-00061-9
Published:
Issue Date:
DOI: https://doi.org/10.1007/s42048-020-00061-9