Künstliche Intelligenz: Chancen und Risiken Diskussionspapier Künstliche Intelligenz (KI) und immer komplexer werdende Algorithmen beeinflussen unser Leben und unsere Zivilisation stärker denn je. Die KI-Anwendungsbereiche sind vielfältig und die Möglichkeiten weitreichend: Insbesondere aufgrund von Verbesserungen in der Computerhardware übertreen gewisse KI-Algorithmen bereits heute die Leistungen menschlicher Experten/innen. Ihr Anwendungsgebiet wird künig weiter wachsen und die KI-Leistungen werden sich verbessern. Konkret ist zu erwarten, dass sich die entsprechendenAlgorithmen in immer stärkeremAusmassselbst optimieren-aufübermenschlichesNiveau. Dieser technologische Fortschritt stellt uns wahrscheinlich vor historisch beispiellose ethische Herausforderungen. Nicht wenige Experten/innen sind der Meinung, dass von der KI neben globalen Chancen auch globale Risiken ausgehen, welche diejenigen etwa der Nukleartechnologie-diehistorischebenfalls langeunterschätztwurde-übertreenwerden. Einewissenschaliche Risikoanalyse legt zudemnahe, dass hohe potenzielle Schadensausmasse auch dann sehr ernst zu nehmen sind, wenn die Eintretenswahrscheinlichkeiten tief wären. 12. November 2015 Diskussionspapier der Stiung für Eektiven Altruismus. Bevorzugte Zitation: Mannino, A., Althaus, D., Erhardt, J., Gloor, L., Hutter, A. und Metzinger, T. (2015). Künstliche Intelligenz: Chancen undRisiken. Diskussionspapiere der Stiung für Eektiven Altruismus (2): 1-17. Erstveröentlichung, 12. November 2015. www.ea-stiung.org Inhaltsverzeichnis Executive Summary . . . . . . . . . . . . . . . . . . . . . . . 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Vorteile und Risiken gängiger KIs . . . . . . . . . . . . . . 3 Automatisierung und Arbeitslosigkeit . . . . . . . . . . . 5 Generelle Intelligenz und Superintelligenz . . . . . . . . 7 Künstliches Bewusstsein . . . . . . . . . . . . . . . . . . . 10 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . 11 Danksagung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Unterstützer/innen . . . . . . . . . . . . . . . . . . . . . . . 12 Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 ADRIANOMANNINO, Philosoph & Co-Präsident, Stiung für Eektiven Altruismus DAVID ALTHAUS, Wissenschalicher Mitarbeiter, Stiung für Eektiven Altruismus DR. JONATHAN ERHARDT, Wissenschalicher Mitarbeiter, Stiung für Eektiven Altruismus LUKAS GLOOR, Wissenschalicher Mitarbeiter, Stiung für Eektiven Altruismus DR. ADRIAN HUTTER, Departement Physik, Universität Basel PROF. THOMAS METZINGER, Professor für Philosophie, Universität Mainz

Künstliche Intelligenz: Chancen und Risiken Executive Summary Künstliche Intelligenz (KI) und immer komplexerwerdende Algorithmenbeeinflussen unser Leben und unsere Zivilisation stärker denn je. Die KI-Anwendungsbereiche sind vielfältig und die Möglichkeiten weitreichend: Insbesondere aufgrund von Verbesserungen in der Computerhardware übertreen gewisse KI-Algorithmen bereits heute die Leistungenmenschlicher Experten/innen. Ihr Anwendungsgebiet wird künigweiter wachsen und die KI-Leistungenwerden sich verbessern. Konkret ist zu erwarten, dass sich die entsprechenden Algorithmen in immer stärkerem Ausmass selbst optimieren - auf übermenschliches Niveau. Dieser technologische Fortschritt stellt unswahrscheinlich vor historisch beispiellose ethische Herausforderungen. Nichtwenige Experten/innen sind derMeinung, dass vonder KI neben globalen Chancen auch globale Risiken ausgehen, welche diejenigen etwa der Nukleartechnologie - die historisch ebenfalls lange unterschätzt wurde - übertreen werden. Eine wissenschaliche Risikoanalyse legt zudem nahe, dass hohe potenzielle Schadensausmasse auch dann sehr ernst zu nehmen sind, wenn die Eintretenswahrscheinlichkeiten tief wären. Aktuell In engen, gut erprobten Anwendungsbereichen (z.B. bei selbstfahrenden Autos und in Teilbereichen der medizinischen Diagnostik) konnte die Überlegenheit von KIs gegenüberMenschen bereits nachgewiesenwerden. Ein vermehrter Einsatz dieser Technologienbirgt grosses Potenzial (z.B. bedeutendwenigerUnfälle imStrassenverkehr undweniger Fehler bei der medizinischen Behandlung von Patienten/innen bzw. Erfindung vieler neuartiger Therapien). In komplexeren Systemen, womehrere Algorithmenmit hoher Geschwindigkeit interagieren (z.B. im Finanzmarkt oder bei absehbarenmilitärischen Anwendungen) besteht ein erhöhtes Risiko, dass die neuen KI-Technologien unerwartet systemisch fehlschlagen oder missbraucht werden. Es droht ein KI-Wettrüsten, das die Sicherheit der Technologieentwicklung ihrem Tempo opfert. In jedem Fall relevant ist die Frage, welche Ziele bzw. ethischen Werte einem KI-Algorithmus einprogrammiert werden sollen und wie technisch garantiert werden kann, dass die Ziele stabil bleiben und nicht manipuliert werden können. Bei selbstfahrenden Autos stellt sich etwa die Frage, wie der Algorithmus entscheiden soll, falls ein Zusammenstoss mit mehreren Fussgängern nur so vermiedenwerden kann, dass die eine Autoinsassin gefährdet wird-undwie sichergestellt werden kann, dass die Algorithmen der selbstfahrenden Autos nicht systemisch versagen. Massnahme 1 Die Förderung eines sachlich-rationalen Diskurses zum KI-Thema ist vonnöten, damit Vorurteile abgebaut werden können und der Fokus auf die wichtigsten und dringendsten Sicherheitsfragen gelegt werden kann. Massnahme 2 Die gesetzlichen Rahmenbedingungen sollen den neuen Technologien entsprechend angepasst werden. KI-Hersteller sind zu verpflichten, mehr in die Sicherheit und Verlässlichkeit der Technologien zu investieren und PrinzipienwieVorhersagbarkeit, TransparenzundNicht-Manipulierbarkeit zubeachten, damitdasRisikounerwarteter Katastrophenfälle minimiert werden kann. Mittelfristig Die Fortschritte in der KI-Forschung ermöglichen es, mehr undmehr menschliche Arbeit von Maschinen erledigen zu lassen. Viele Ökonomen/innen gehen davon aus, dass die zunehmende Automatisierung bereits innerhalb der nächsten 1020 Jahre zu einermassiven Erhöhung der Arbeitslosigkeit führen könnte. (Sie tun dies durchaus imBewusstsein, dass sich ähnliche Prognosen in der Vergangenheit nicht bewahrheitet haben, denn die aktuellen Entwicklungen sind von neuartigerQualität undeswäreunverantwortlich, die AugenvorderMöglichkeit zu verschliessen, dassdiePrognosen irgendwann Künstliche Intelligenz: Chancen und Risiken zutreen: Selbst tiefe Wahrscheinlichkeiten auf ein sehr hohes Schadensausmass sind im Rahmen einer wissenschalichen Risikoanalyse zu berücksichtigen und für unser Handeln hochrelevant.) Durch die fortschreitende Automatisierung wird der Lebensstandard im statistischen Durchschnitt steigen. Es ist jedoch nicht garantiert, dass alle Menschen - oder auch nur eine Mehrheit der Menschen - davon profitieren werden. Massnahme 3 Können wir gesellschalich sinnvoll mit den Folgen der KI-Automatisierung umgehen? Sind die aktuellen Sozialsystemedafür geeignet? Diese Fragen sind ausführlich zu klären. Gegebenenfalls sindneuartigeMassnahmen zu ergreifen, umdie negativen Entwicklungen abzufedern bzw. positiv zu wenden. Modelle eines bedingungslosen Grundeinkommens oder einer negativen Einkommenssteuer etwa sind zur gerechteren Verteilung der Produktivitätsgewinne prüfenswert. Langfristig Viele KI-Experten/innen halten es für plausibel, dass noch in diesemJahrhundert KIs erschaenwerden, deren Intelligenz der menschlichen in allen Bereichen weit überlegen ist. Die Ziele solcher KIs, welche prinzipiell alles Mögliche zum Gegenstand haben können (menschliche, ethisch geprägte Ziele stellen eine winzige Teilmenge aller möglichen Ziele dar), würden die Zukun unseres Planetenmassgeblich beeinflussen-was für dieMenschheit ein existenzielles Risiko darstellen könnte. Unsere Spezies hat deshalb eine dominante Stellung inne, weil sie (aktuell) über die amhöchsten entwickelte Intelligenz verfügt. Es ist aber wahrscheinlich, dass bis zum Ende des Jahrhunderts KIs entwickelt werden, deren Intelligenz sich zu der unseren so verhält wie die unsere zu derjenigen etwa der Schimpansen. Zudem ist die Möglichkeit nicht auszuschliessen, dass KIs in Zukun auch phänomenale Zustände entwickeln, d.h. (Selbst-)Bewusstsein und besonders auch subjektive Präferenzen und Leidensfähigkeit, was uns mit neuartigen ethischen Herausforderungen konfrontiert. Angesichts der unmittelbaren Relevanz der Thematik und dessen, was längerfristig auf dem Spiel steht, sind Überlegungen zur KI-Sicherheit sowohl in der Politik als auch in der Forschung aktuell stark unterrepräsentiert. Massnahme 4 Es gilt, institutionell sicherheitsfördernde Massnahmen auszuarbeiten, beispielsweise die Vergabe von Forschungsgeldern für Projekte, die sich auf die Analyse und Prävention von Risiken der KI-Entwicklungen konzentrieren. Die Politikmuss insgesamtmehr Ressourcen für die kritische, wissenschalich-ethische Begleitung folgenschwerer Technologieentwicklungen bereitstellen. Massnahme5 Bestrebungen zur internationalenForschungskollaboration (analogetwa zumCERN inder Teilchenphysik) sindvoranzutreiben. InternationaleKoordination ist imKI-Bereichbesondersdeshalbessenziell,weil siedasRisiko eines technologischen Wettrüstens minimiert. Ein Verbot jeder risikobehaeten KI-Forschung wäre nicht praktikabel undwürde zu einer schnellen undgefährlichen Verlagerungder Forschung in Ländermit tieferenSicherheitsstandards führen. Massnahme 6 Forschungsprojekte, die selbstoptimierende neuromorphe, d.h. gehirnanaloge KI-Architekturen entwickeln oder testen, die mit hoher Wahrscheinlichkeit über Leidensfähigkeit verfügen werden, sollten unter die Aufsicht von Ethikkommissionen gestellt werden (in Analogie zu den Tierversuchskommissionen). 2 Künstliche Intelligenz: Chancen und Risiken Einleitung Das Streben nach Wissen zieht sich als roter Faden durch die Menschheitsgeschichte. Wenn sich Gesellschaen in ihrer Struktur und ihrer Dynamik stark änderten, beruhte dies in den meisten Fällen auch auf neuen technologischen Erfindungen. Zwischen der ersten Verwendung von Steinwerkzeugen bis zum entwicklungsgeschichtlichen "Grossen Schritt nach Vorne", als Homo sapiens die Kunst erfand und anfing, Höhlenwände zu bemalen, lagen rund zwei Millionen Jahre. Bis zum Ackerbau und zur Sesshaigkeit dauerte es einige zehntausend Jahre. Die ersten Symbole erschienenwenige tausend Jahre danach, später entwickelten sich die ersten Schrien. Im 17. JahrhundertwurdedasMikroskoperfunden.Die Industrialisierung im 19. Jahrhundert ermöglichte die ersten Millionenstädte. Nur ein Jahrhundert später wurde das Atom gespalten und Menschen flogen zum Mond. Der Computer wurdeerfunden,undseither verdoppeltensichMasszahlen zurRechenleistungundEnergieeizienzvonComputern in regelmässigen Zeitabständen [1]. Der technologische Fortschritt entwickelt sich o exponentiell. Für die geistigen Fähigkeiten des Menschen gilt dies nicht. Im Verlauf des letzten Jahres betonten zahlreiche renommierte Wissenschaler/innen und Unternehmer/innen die dringliche Bedeutung der KI-Thematik, und wie wichtig es sei, dass sich Entscheidungsträger mit den Prognosen der KI-Forschung auseinandersetzen [2]. Zu den Exponenten dieser Bewegung zur KI-Sicherheit gehören beispielsweise Stuart Russell [3], Nick Bostrom [4], Stephen Hawking [5], Sam Harris [6], Max Tegmark [7], Elon Musk [8], Jann Tallinn [9] und Bill Gates [10]. In spezifischen Gegenstandsbereichen (d.h. domänenspezifisch) haben künstliche Intelligenzen schon wiederholt das menschliche Niveau erreicht oder gar übertroffen. 1997 besiegte der Computer Deep Blue den amtierenden Weltmeister Garry Kasparov im Schach [11], 2011 besiegteWatsondie zwei bestenmenschlichenSpieler/innen der auf Sprachverständnis beruhenden Spielshow Jeopardy! [12], und 2015 wurde mit Cepheus die erste Pokervariante - Fixed Limit Holdem heads-up - spieltheoretisch komplett gelöst [13]. Künstliche neuronale Netzwerke können inzwischen mit menschlichen Experten/innen bei der Diagnose von Krebszellen konkurrieren [14] und nähern sich etwa auch beim Erkennen handgeschriebener chinesischer Schrizeichen dem menschlichen Niveau an [15]. Schon 1994 erreichte ein selbstlernendes Backgammon-Programm die Spielstärke der weltbesten Spieler/innen, indemesStrategien fand,dievonMenschen zuvor noch nie angewandt wurden [16]. Mittlerweile existieren sogar Algorithmen, die verschiedenste Computerspiele von Grund auf selbstständig erlernen können und dabei (über)menschliches Niveau erreichen [17, 18]. Damit kommen wir langsam einer generellen Intelligenz näher, die zumindest prinzipiell Probleme jeglicher Art selbständig lösen kann. Grössere Macht verleiht grössere Verantwortung. Technologie ist bloss ein Mittel; entscheidend ist, wie wir sie verwenden. Schon die Anwendung existierender KIs stellt uns vor erhebliche ethische Herausforderungen, die im nächsten Teil dieses Diskussionspapiers erläutert werden. Im Kapitel danach werden Entwicklungen besprochen, die erwarten lassen, dass Fortschritte in der KI-Forschung mittelfristig die wirtschaliche Automatisierung so weit vorantreiben werden, dass es auf dem Arbeitsmarkt zu grossen Umstrukturierungen kommen wird. In den beiden letzten Kapiteln geht es dann um langfristige und existenzielle Risiken der KI-Forschung im Zusammenhangmit dermöglichenErschaung (über)menschlicher Intelligenz und künstlichen Bewusstseins. Vorteile und Risiken gängiger KIs Unser Leben und unsere Zivilisationwerden in immer grösserem Masse von Algorithmen und domänenspezifischen künstlichen Intelligenzen (KIs) beeinflusst und beherrscht [19]:Mandenkenur anSmartphones, den Flugverkehr [20] oder Internetsuchmaschinen [21]. Auch die Finanzmärkte sind auf immer komplexer werdende Algorithmen angewiesen, die wir immer weniger verstehen [22, 23]. Meist verläu der Einsatz solcher Algorithmen ohne Zwischenfälle, doch es besteht immer die Möglichkeit, dass ein unwahrscheinliches Black-Swan-Ereignis [24] eintritt, welches das ganze System ins Chaos zu stürzen droht. So kam es beispielsweise 2010 in den USA zu einem für die Finanzwelt schockierenden Börsencrash [25], weil ComputerAlgorithmenaufunvorhergeseheneArtundWeisemitdem Finanzmarkt interagierten [26]. Innerhalb von Minuten verloren bedeutsame Aktien mehr als 90% ihres Wertes und schnellten dann wieder auf den Ausgangswert hoch. Bei militärischen Anwendungen wäre die Wahrscheinlich3 Künstliche Intelligenz: Chancen und Risiken keit höher, dass eine solche "Rückkehr zur Ausgangssituation" ausbleibt[27]. Um verheerende Fehlfunktionen dieser Art zu verhindern, scheint es generell ratsam, wesentlich mehr in die Sicherheit und Verlässlichkeit von KIs zu investieren. Leider bestehen zurzeit wirtschaliche Anreize, KI-Leistungssteigerungen gegenüber der KI-Sicherheit zu priorisieren. Vier Kriterien zur Konstruktion von KIs Sicherheit ist bei jeder Art von Maschine essenziell, doch die Konstruktion domänenspezifischer KIs geht mit neuartigen ethischenHerausforderungen einher, sobald diese ehemals von Menschen ausgeführte kognitive Arbeit mit sozialerDimensionübernehmen.Mandenkebeispielsweise an einen Algorithmus, der die Kreditwürdigkeit von Bankkunden beurteilt und dabei (ohne dass dies explizit einprogrammiert war) gewissen Bevölkerungsgruppen gegenüber diskriminierende Entscheidungen fällt. Sogar Technologien, die im Grunde genommen nur bestehende Tätigkeiten ersetzen, können die Maschinenethik [28] vor interessanteHerausforderungen stellen: Selbstgesteuerte Fahrzeuge beispielsweise werfen die Frage auf, nach welchen Kriterien bei einem drohenden Unfall entschieden werden soll. Sollten die Fahrzeuge beispielsweise das Überleben der Insassen/innen am höchsten priorisieren oder sollte es bei einem unausweichlichen Unfall darum gehen, dieOpferzahl insgesamtmöglichst gering zuhalten [29]? Deshalb haben der KI-Theoretiker Eliezer Yudkowsky und der Philosoph Nick Bostrom vier Prinzipien vorgeschlagen, welche die Konstruktion neuer KIs leiten sollten [30]: Die Funktionsweise einer KI sollte 1) nachvollziehbar und 2) ihre Handlungen prinzipiell vorhersagbar sein; beides in einem Zeitfenster, das den verantwortlichen Experten/innen im Falle einermöglichen Fehlfunktion genügendRaumzurReaktionundVeto-Kontrolle bietet. Zudem sollten KIs 3) sich nicht einfach manipulieren lassen, und falls doch ein Unfall geschieht, sollte 4) die Verantwortlichkeit klar bestimmt sein. Vorteile (domänenspezifischer) künstlicher Intelligenz Algorithmen und domänenspezifische KIs bringen grundsätzlich sehr viele Vorteile mit sich. Sie haben unser Leben zumPositiven beeinflusst undwerden dies, sofern die nötigen Vorkehrungen getroen werden, in Zukun auch weiterhin tun. Im Folgenden werden zwei instruktive Beispiele diskutiert. Selbstfahrende Autos sind schon lange keine ScienceFiction mehr [31, 32] und werden in absehbarer Zeit auch kommerziell erhältlich sein: Das von Google entwickelte Auto Google Driverless Car, das von KI-Algorithmen vollständig autonom gesteuert wird, unternahm die ersten Testfahrten in den USA schon 2011 [33, 34]. Neben der für Arbeit oder Entspannung gewonnenen Zeit besteht ein zweiter Vorteil selbstfahrender Autos in ihrer erhöhten Sicherheit. 2010 beispielsweise starben weltweit 1,24 Millionen Menschen in Verkehrsunfällen, beinahe ausschliesslich aufgrund menschlichen Versagens [35]. Zahlreiche Menschenleben könnten also jedes Jahr gerettet werden, denn selbstfahrende Autos sind bereits jetzt nachweislich sicherer als von Menschen gesteuerte Fahrzeuge [36, 37]. Allerdings stehen übermässig viele Menschen selbstgesteuerten Autos immer noch skeptisch gegenüber, wohl weil sie deren Risiken sowie die eigenen Fahrfähigkeiten überschätzen. Eine Studie kam beispielsweise zum Schluss, dass 93% aller amerikanischen Autofahrer/innen glauben, dass sie generell bessere Fahrfähigkeiten besitzen als der Median [38] - was statistisch unmöglich ist. Unrealistischer Optimismus [39] und die Kontrollillusion [40] veranlassen Menschen vermutlich auch dazu, die Risiken zu unterschätzen, wenn sie selbst am Steuer sitzen [41, 42]. Auch Ärzte überschätzen ihre Fähigkeiten [43], was zu tödlichen Irrtümern führenkann. Allein indenUSA sterben jährlich schätzungsweise zwischen 44'000 und 98'000 Menschen in Krankenhäusern aufgrund vonBehandlungsfehlern [44]. In diesemZusammenhang ist die von IBMentwickelte KI Watson [45] zu begrüssen, die 2011 die besten menschlichen Spieler/innen in der Quiz-Show Jeopardy! besiegte und dadurch Berühmtheit erlangte [12]. Watson ist Menschen nicht nur in Quiz-Shows überlegen: Seit 2013 können Krankenhäuser Watson mieten, um beispielsweise Krebsdiagnosen zu tätigen. Da "Doktor Watson" innert kürzester Zeit enormeMengen an Information aufnehmen und kombinieren kann, ist er menschlichen Kollegen diagnostisch teilweise überlegen [46, 47]. Dass eine aktuelle KI akkuratere Krankheitsdiagnosen als menschliche Ärzte tätigen kann, mag erstaunen. Doch seit Langem ist bekannt, dass statistisches Schlussfolgern klinischemSchlussfolgern, d.h. denUrteilenmenschlicher Experten/innen,meist überlegen ist [48, 49].Undnatürlich sind KIs wie Watson geradezu gemacht für statistisches Schlussfolgern. Computer bei Diagnosen (nicht) zuRate zu ziehen, kann folglich über Menschenleben entscheiden. 4 Künstliche Intelligenz: Chancen und Risiken Kognitive Verzerrungen- Irren ist menschlich Ein Grund, weshalb menschliche Experten/innen im statistischen Urteilen weniger kompetent sind als KIs, besteht in der oben erwähnten, allzumenschlichenTendenz, die eigenen Fähigkeiten zu überschätzen. Diese Tendenz wird als overconfidence bias bezeichnet [50]. Der overconfidence bias ist nur einer von etlichen kognitiven Verzerrungen [51, 52], die dasmenschliche Denken systematisch in die Irre führen können. KIs hingegen können so konstruiert werden, dass sie keine kognitiven Verzerrungen aufweisen. Prinzipiell könnte gesteigertes Vertrauen in die Prognosen von KIs, sofern diese sicher und nach nachvollziehbaren Kriterien konstruiert sind, auch zu einer deutlichen Rationalitätssteigerung bei vielen gesellschalichen und politischen Herausforderungen führen. Das Problem bestünde hier darin, die Stärken der KI zu nutzen, ohne menschliche Handlungsautonomie an die entsprechenden Systeme abzugeben. Zusammenfassung und Ausblick Irrationale Ängste vor neuartigen, im Grunde vorteilhaften Technologien sind nach wie vor weit verbreitet [53]. Derartige Technophobie mag auch ein Grund dafür sein, dassWatsonoder selbstfahrendeAutos skeptisch betrachtet werden. Bedenken hinsichtlich neuartiger Technologien sind aber nicht immer irrational. Die meisten Technologien lassen sich zum Wohle der Menschheit einsetzen, können jedoch auch zur Gefahr werden, wenn sie in die falschenHändegelangenoderwennnichtgenügendRücksicht auf Sicherheit und unbeabsichtigte Nebeneekte genommen wird. Ähnlich verhält es sich auchmit künstlicher Intelligenz: Selbstgesteuerte Autos könnten unser Leben erleichtern und Menschenleben retten, aber komplexe Computeralgorithmen können auch die Börse abstürzen lassen. Obwohl die meisten domänenspezifischen KIs der nahen Zukun relativ einfach sicher gestaltet werden können, gilt es langfristige Entwicklungen zu beachten: In nicht allzu ferner Zukun könnte die künstliche Intelligenz prinzipiell sogar, ähnlich wie die Biotechnologie (etwa durch die mögliche Synthetisierung neuartiger Viren), eine existenzielle Bedrohung darstellen [54, 55, 4]. Empfehlung 1- Verantwortungsvoller Umgang: Wie bei allen anderen Technologien sollte auch bei der Erforschung der KI genau darauf geachtet werden, dass die (potenziellen) Vorteile die (potenziellen) Nachteile klar überwiegen. Die Förderung eines sachlich-rationalen Diskurses ist vonnöten, damit irrationale Vorurteile und Ängste abgebaut und veraltete gesetzliche Rahmenwerke den neuen Technologien entsprechend reformiert werden können. Bei jeder grossflächigen Anwendung von KIs sollten die oben erläuterten vier Prinzipien eingehalten werden [30].  Automatisierung und Arbeitslosigkeit Angesichts der Erfolge im Bereich des maschinellen Lernens undder Robotik in den letzten Jahren scheint es bloss eine Frage der Zeit zu sein, bis auch komplexe Arbeiten, die hohe Intelligenz erfordern, umfassend von Maschinen übernommen werden können [56]. WennMaschinen in vielenAufgabenbereichenArbeiten schneller, zuverlässiger und billiger erledigen werden als menschliche Arbeiter, dann hätte dies weitreichende Auswirkungen auf den Arbeitsmarkt. Ökonomen/innen wie Cowen [57], McAfee und Brynjolfsson [58] sagen vorher, dass der technologische Fortschritt die Einkommensschere noch viel stärker önen wird und dass es zu grossflächigen Lohnsenkungen sowie massiv erhöhter Arbeitslosigkeit kommen könnte. Eine 2013 erschienene Analyse kommt zum Schluss, dass 47% aller Jobs in den USA in 10-20 Jahren mit hoher Wahrscheinlichkeit automatisierbar sein werden [59]. Am schwierigsten zu automatisieren sind Tätigkeiten, die hohe soziale Intelligenz (z.B. PR-Beratung), Kreativität (z.B. Mode-Design) oder Feingefühl und Flexibilität bei den Bewegungen (z.B. Chirurgie) erfordern. In diesen Bereichen ist der Stand der KI-Forschung noch weit vom Niveau menschlicher Experten/innen entfernt. VorundNachteile der AutomatisierungdurchComputer Insbesondere diejenigen Menschen und Länder werden vom technologischen Fortschritt profitieren, die es verstehen, von den neuen technologischen Möglichkeiten und der damit verbundenen Datenflut (Big Data) Gebrauch zu machen [60]. Dies sind insbesondere Länder mit gut ausgebildeten Computerspezialisten. Ausserdem wird es in Zukun immer wichtiger werden, dass Menschen ein treffendes Bild der Vorund Nachteile verschiedener Computeralgorithmen im Vergleich mit rein menschlicher Ent5 Künstliche Intelligenz: Chancen und Risiken scheidungsfindung und Arbeitsleistung haben,wofür gute Bildung zentral ist [61]. Auch in der Unterhaltungsindustrie wird es zu weitreichenden Neuerungen kommen: Mit verbesserter Graphik, neuen Unterhaltungstechnologien und neuen Funktionen für mobile Geräte, die alle zunehmend billiger werden, erhöht sich auch der Suchtfaktor von Videospielen und von Internetzugang [62]. Die sozialen und psychologischen Auswirkungen dieser Entwicklung sind noch wenig erforscht, aber es deutet einiges darauf hin, dass diese Trends unser Sozialverhalten [63], unsere Aufmerksamkeitsspannen und die Art, wie Kinder aufwachsen, nachhaltig verändern [64]. In absehbarer Zukun, wenn ausgeklügelte virtuelle Realitäten auch für NichtWissenschaler/innen erlebbar sein werden und immer tiefer in unsere Lebenswelt eindringen werden, könnte dieser Eekt noch viel stärker zum Tragen kommen. Die Auswirkungen häufiger Immersionen in virtuelle Realitäten, oder von VerfahrenwieGanzkörper-Illusionen, bei denen das subjektive Selbstgefühl zeitweise auf einen virtuellen Avatar projiziert wird [65], düren erheblich sein. Für den Bereich der Bildung schliesslich bietet die Unterhaltungsindustrie über die Gamifizierung von Lerninhalten grosse Chancen [66]; gleichzeitig besteht das Risiko, dass sich der Anteil der Jugendlichen erhöht, die wegen pathologischen Videospieloder Internetkonsums [67] Mühe beim Abschliessen einer Ausbildung haben. Utopien und Dystopien Der technologische Fortschritt steigert die Produktivität einer Gesellscha [68], was den durchschnittlichen Lebensstandard erhöht [69]. Wenn mehr Arbeit von Maschinenerledigtwird, schadiesRaumfür Freizeit undSelbstverwirklichung der Menschen - zumindest für diejenigen Menschen, welche in der Lage sind, davon zu profitieren. Eine Schattenseite der zunehmenden Automatisierung könnte jedoch darin bestehen, dass der gewonnene Produktivitätszuwachs mit zunehmender sozialer Ungleichheit einher geht, so dass ein Anstieg desdurchschnittlichen Lebensstandards nicht mit einem Anstieg der Lebensqualität des Medians zusammenfällt. Experten/innen wie der MIT-Wirtschasprofessor Erik Brynjolfsson befürchten aus diversen Gründen [70] gar, dass der technologische Fortschritt dieSituation füreineMehrheitderMenschenzuverschlechtern droht. In einer kompetitiven Weltwirtscha, in der die KITechnologie so weit fortgeschritten ist, dass viele Tätigkeiten von Maschinen ausgeführt werden können, wird der Lohn für automatisierbare menschliche Arbeit zunehmend sinken [58]. Ohne Regulierung könnte das Lohnniveau für viele Menschen unter das Existenzminimum sinken. Die soziale Ungleichheit könnte stark zunehmen, wenn der wirtschaliche Output sich zwar erhöht, es aber ohne Lohnzahlungen keine Umverteilung mehr gäbe. Um dieser Entwicklung entgegenzuwirken, schlagen McAfee und Brynjolfsson vor, dass bestimmte von Menschen ausgeführte Tätigkeiten subventioniert werden könnten. Weitere Möglichkeiten, die Vorteile des technologischen Fortschritts auf die Gesamtbevölkerung zu verteilen, sind das bedingungslose Grundeinkommen und die negative Einkommenssteuer [71, 72]. Einige Experten/innen warnen auch vor Zukunsszenarien, in denen die Veränderungen noch gravierender sind. Der ÖkonomRobin Hanson hält es beispielsweise für plausibel, dass es noch in diesem Jahrhundert möglich sein wird, menschliche Gehirnsimulationen, sogenannte whole brain emulations (WBEs) [73], digital in virtueller Realität laufen zu lassen. WBEs wären duplizierbar und könnten, sofern genügend Hardware vorhanden ist, um ein Vielfaches schneller laufen als ein biologisches Gehirn - was einen enormen Eizienzgewinn beim Arbeiten zur Folge hätte [74]. Hanson prognostiziert, dass es in einem solchen Fall eine "Bevölkerungsexplosion" unter WBEs geben würde, weil diese in vielen Bereichen als enorm kosteneektive Arbeiter eingesetzt werden könnten [75]. Hansons Spekulationen sind umstritten [61], und es sollte nicht davon ausgegangen werden, dass sie die wahrscheinlichste Zukun skizzieren. Aktuell ist die Forschung - beispielsweise das Blue Brain Project an der ETH Lausanne - noch weit entfernt von den ersten Gehirnsimulationen, geschweige denn davon, diese auch in Echtzeit (oder gar beschleunigt) mit Inputs einer virtuellen Realität zu versorgen. Es ist dennoch von Bedeutung, die Hardware-Entwicklung in Bezug auf die Möglichkeit vonWBEs im Auge zu behalten. Falls das von Hanson skizzierte Szenario eintri, wäre dies nämlich von hoher ethischer Relevanz: Zum einen könnten viele durch komplexe Simulationen ersetzte Menschen arbeitslos werden. Zum anderen stellt sich die Frage, unter welchen Bedingungen die eingesetzten WBEs phänomenales Bewusstsein und subjektive Präferenzen hätten, d.h. ob sie bei ihrer (möglicherweise forcierten) Arbeitstätigkeit auch Leid empfinden würden. 6 Künstliche Intelligenz: Chancen und Risiken Empfehlung 2 - Vorausschauend handeln: Wie etwa auch bei der Problematik des Klimawandels sollten für Forscher/innen und Entscheidungsträger/innen Anreize geschaen werden, sich mit KI-Zukunsszenarien auseinanderzusetzen. Dadurch können die Grundlagen für vorsorgliche Massnahmen geschaen werden. Insbesondere sollten im Bereich der KI-Folgenabschätzung und -Sicherheit entsprechende Fachtagungen durchgeführt, Expertenkommissionen gebildet und Forschungsprojekte finanziert werden.  Empfehlung 3 - Bildung: Gezielte Anpassungen der Bildungsinhalte könnten helfen, die Menschen besser auf die neuartigenHerausforderungen vorzubereiten. EDVund Programmierkenntnisse beispielsweise gewinnen stark an Relevanz, während auswendig gelerntes Wissen an Wert verliert. Die Gamifizierung von Lerninhalten bietet ein grosses Potenzial, das zu fördern ist. Die sozialen und psychologischen Auswirkungen des Internets sollten weiter untersucht werden und dem pathologischen Konsum von Videospielen und Online-Medien ist vorzubeugen.  Empfehlung 4 - Oenheit gegenüber neuen Massnahmen: Die Subventionierung menschlicher Arbeit, ein bedingungsloses Grundeinkommen sowie eine negative Einkommenssteuer wurden als mögliche Massnahmen vorgeschlagen, um die negativen Auswirkungen der zunehmenden Automatisierung sozial abzufedern. Es gilt zu klären, welche weiterenOptionen existieren undwelchesMassnahmenpaketmaximal zielführend ist. Dazumüssen VorundNachteile systematisch analysiert und auf politischer Ebene diskutiert werden. Fördergelder sollten investiert werden, um die dabei aufgeworfenen empirischen Fragen zu beantworten.  Generelle Intelligenz und Superintelligenz Die "generelle Intelligenz" misst die Fähigkeiten eines Akteurs, seine Ziele in einer umfassenden Menge an unbekannten Umgebungen zu erreichen [76, 77]. Diese Art von Intelligenz kann ein (Katastrophen-)Risiko darstellen, wenn die Ziele des Akteurs nicht mit den unseren übereinstimmen. Wenn eine generelle Intelligenz ein übermenschliches Niveau erreicht, dann ist von Superintelligenz die Rede: Eine Superintelligenz ist der menschlichen Intelligenz in jeder Hinsicht überlegen, einschliesslich wissenschalicher Kreativität, gesundem "Menschenverstand" und Sozialkompetenz. Diese Definition für Superintelligenz lässt oen, ob eine Superintelligenz Bewusstsein hätte oder nicht [78, 79]. Komparative Vorteile genereller künstlicher Intelligenz gegenüber demMenschen Menschen sind intelligente zweibeinige "Bio-Roboter", die ein bewusstes Selbstmodell besitzen und von der Evolution über Jahrmilliarden hervorgebracht wurden. Diese Tatsache wurde als Argument dafür ins Feld geführt [80, 81, 82], dass die Erschaung künstlicher Intelligenz nicht allzu schwer sein düre, da die KI-Forschung im Gegensatz zur Evolution, die nur in langsamen und ungezielt-verschwenderischen Generationenschritten fortschreitet, viel schneller und zielgerichteter verlaufen kann. Neben der Tatsache, dass die Evolution einen KIMachbarkeitsnachweis liefert, ermöglicht sie der gezielten menschlichenForschungnatürlichauch,bei biologischem Design Anleihen zu machen und entsprechend schneller voranzuschreiten. Im Vergleich zum biologischen Gehirn der Menschen bietet die Computerhardware nämlich mehrere Vorteile [4, S. 60]: Die Grundelemente (moderne Mikroprozessoren) "feuern"millionenfach schneller als Neuronen; die Signale werdenmillionenfach schneller übertragen; und ein Computer kann insgesamt über bedeutend mehr Grundelemente verfügen - Supercomputer können die Grösse einer Fabrikhalle annehmen. Auch bezüglich der Sowarekomponenten hätte eine digitale Intelligenz der Zukun einem biologischen Hirn gegenüber grosse Vorteile [4, S. 60–61]: Soware lässt sich beispielsweise leicht editieren oder vervielfachen, damit die Vorzüge einesDesigns gleich in mehrfacher Weise genutzt werden können. Eine künstliche Intelligenz kann mit grossen Datenbanken versorgt werden, so dass potenziell relevante Information jederzeit abgerufen werden kann. In wenigen wichtigen Bereichen, beispielsweise bei der Energieizienz, der Resilienz gegenüber rein physikalischen Beschädigungen und der graceful degradation [83], bleibt die künstliche Hardware nochhinter demmenschlichenGehirn zurück. Insbesondere gibt es noch keinendirekten Zusammenhang zwischen thermodynamischer Eizienz und Komplexitätsreduktion auf der Ebene der Informationsverarbeitung [84, 85]. In den kommenden Jahrzehnten wird die Computerhardware jedoch kontinuierlich weiterentwickelt werden. Angesichts der genannten komparativen Vorteile und 7 Künstliche Intelligenz: Chancen und Risiken der prognostizierten rasanten Verbesserung von Hardware [86] und Soware scheint es wahrscheinlich, dass die menschliche Intelligenz dereinst von Maschinen überflügelt wird. Es gilt, herauszufinden beziehungsweise genauer abzuschätzen, wie und wann das der Fall sein könnte und worin die Implikationen eines solchen Szenarios bestehen. Zeithorizonte Verschiedene Experten/innen auf dem Gebiet der künstlichen Intelligenz haben sich der Frage gewidmet, wann die erste Maschine das menschliche Intelligenzniveau erreichen wird. Eine Umfrage unter den hundert erfolgreichsten KI-Experten/innen, gemessen anhand eines Zitationsindex, ergab, dass eine Mehrheit dieser Experten/innen es fürwahrscheinlichhält, dassdiesbereits indererstenHälfte dieses Jahrhunderts der Fall sein wird [4, S. 19]. Eine Mehrheit der Experten/innen geht weiterhin davon aus, dass Menschen dereinst eine Superintelligenz erschaen werden, falls der technologische Fortschritt (infolge globaler Katastrophen) keine schwerenRückschläge erfahren wird [4, S. 20]. Die Varianz der zeitlichenAbschätzungen ist hoch: Manche Experten/innen sind sich sehr sicher, dass es spätestens 2040 Maschinen mit mindestens menschlichem Intelligenzniveau gebenwird, während (wenige) andere denken, dass dieses Niveau gar nie erreicht werden wird. Selbst wenn man etwas konservativere Annahmen tri, weil man einbeziehenmöchte, dassmenschliche Experten/innen die Tendenz haben, sich bei ihren Schätzungen zu sicher zu sein [87, 88], wäre es immer noch völlig verfehlt, die Superintelligenz-Thematik als "ScienceFiction" einzustufen: Denn auch konservative Annahmen implizieren, dass dieWahrscheinlichkeit nicht vernachlässigbar ist, dass eine KI menschlichen Intelligenzniveaus noch in diesem Jahrhundert entwickelt wird. Ziele einer generellen KI Als rationaler Akteur strebt eine künstliche Intelligenz genau das an, was ihre Ziele/ihre Zielfunktion besagen [89]. Ob eine künstliche Intelligenz ethisch vorgehen wird, d.h. ob sie Ziele habenwird, die nicht imKonfliktmit den Interessen von Menschen und anderen leidensfähigen Wesen stehen, ist völlig oen: Eine künstliche Intelligenz kann alle möglichen Ziele verfolgen [90]. Es wäre ein fehlerhaer Anthropomorphismus, davon auszugehen, dass sich jede Art Superintelligenz wie (typische) Menschen für ethische Fragen interessieren würde. Wenn wir eine künstliche Intelligenz bauen, legen wir explizit oder implizit auch ihr Ziel fest. Manchmal werden diese Forderungen dahingehend kritisiert, dass jeglicheVersuche,dasZiel einerkünstlichen Intelligenz nach menschlichen Wertmassstäben zu richten, einer "Versklavung" gleichkommen, weil der KI unsere menschlichen Werte aufgezwungen würden [91]. Diese Kritik beruht allerdings auf Missverständnissen. Der Ausdruck "aufzwingen" suggeriert, dass schon ein bestimmtes, "wahres" Ziel existiert, das eine KI vor ihrer Erschaffung hätte. Diese Vorstellung ist jedoch unsinnig: Es gibt keinen "Geist in der Maschine", kein Ziel, das von den Prozessen unabhängig ist, die einen Akteur hervorgebracht haben. Der Prozess, der eine Intelligenz hervorbringt, bestimmt unweigerlich die Funktionsweise unddie Ziele dieser Intelligenz. Fallswir eine Superintelligenz zu bauenbeabsichtigen, sindwir, und nichts/niemand sonst, für deren (Haupt-)Ziele verantwortlich. Weiterhin ist es auch nicht der Fall, dass eine KI durch die Ziele, die wir ihr unweigerlich mitgeben, in irgendeiner Weise eine Schädigung erfahren muss. (Die Möglichkeit, in einem ethisch relevanten Sinn geschädigt zu werden, setzt zudem voraus, dass Bewusstsein vorliegt - eine Voraussetzung, die bei einer Superintelligenz auch nicht erfüllt sein muss.) Ganz analog formen wir nolens volens die Werte beziehungsweise Ziele biologischer Kinder - d.h. biologischer Intelligenzen-,diewir hervorbringen. Selbstverständlich impliziert dies nicht, dass Kinder dadurch in unethischerWeise "versklavt" würden. Ganz im Gegenteil: Wir haben die starke ethische Pflicht, unseren biologischen Kindern grundlegende ethische Werthaltungen mitzugeben. Dasselbe gilt für alle künstlichen Intelligenzen, die wir hervorbringen. Der Informatikprofessor Stuart Russell betont [3], dass die Einprogrammierung ethischer Ziele eine grosse Herausforderungdarstellt, sowohl auf technischer Ebene (Wie werden komplexe Ziele in einer Programmiersprache so erfasst, dass keine unbeabsichtigten Ergebnisse resultieren?) als auch auf ethischer, moralphilosophischer Ebene (Welche Ziele eigentlich?). Das erste von Russell erwähnte Problem wird in der Fachliteratur auch als Value-LoadingProblem bezeichnet [92]. Obwohl der Raum möglicher Ziele einer Superintelligenz riesig ist, können wir einige verlässliche Aussagen über ihreHandlungen treen. Esexistiert nämlicheineReihe instrumentell rationaler Zwischenziele, die für Akteure mit unterschiedlichsten Endzielen nützlich sind. Dazu gehören Zielund Selbsterhaltung, Intelligenzerhöhung, Erkenntnisfortschritt und physische Ressourcenakkumulation [93]. Wenn das Ziel einer KI verändert wird, ist das für die Erreichung ihres ursprünglichen Ziels unter Umständen gleich negativ (oder negativer), wie wenn sie zer8 Künstliche Intelligenz: Chancen und Risiken störtwürde. Intelligenzerhöhung istwichtig,weil sienichts anderes bedeutet als die Erhöhung der Fähigkeit, Ziele in variierenden Umgebungen zu erreichen - deshalb besteht die Möglichkeit einer sogenannten Intelligenzexplosion, bei der eine KI in kurzer Zeit durch rekursive Selbstverbesserung stark an Intelligenz gewinnt [94, 95]. (Die Grundidee der rekursiven Selbstverbesserung wurde erstmals von I. J. Goodkonzeptualisiert [96];mittlerweile existieren dazu konkrete Algorithmen [97].) Ressourcenakkumulation und die Erfindung neuer Technologien verleihen der KI mehr Macht, was auch der besseren Zielerreichung dient. FallsdieZielfunktioneinerneuentstandenenSuperintelligenz dem Wohl leidensfähiger Wesen keinen Wert zuschreibt, würde sie, wo immer es für ihre (Zwischen- )Zielerreichung nützlich wäre, rücksichtslos Tod und Leid verursachen. Man könnte zur Annahme geneigt sein, dass eine Superintelligenz keine Gefahr darstellt, weil es sich nur um einen Computer handelt, demman wortwörtlich den Stecker ziehen könnte. Per definitionem wäre eine Superintelligenz jedoch nicht dumm: Wenn die Gefahr besteht, dass ihr der Stecker gezogenwird, dannwürde sie sich vorerst einmal so verhalten, wie dies von den Machern gewünscht wird, bis sie herausgefunden hat, wie sie das Risiko einer unfreiwilligen Deaktivierung minimieren kann [4, S. 117]. Einer Superintelligenz könnte es zudem möglich sein, die Sicherheitssysteme von Grossbanken und nuklearen Waenarsenalen mittels bisher unbekannter Sicherheitslücken (sogenannten zero day exploits) zu umgehenunddieWeltbevölkerungauf dieseWeise zu erpressen und zur Kooperation zu zwingen. Wie bereits zu Beginn erwähnt, könnte auch hier eine "Rückkehr zur Ausgangssituation" nicht mehr möglich sein. Was auf dem Spiel steht ImbestenFall könnteeineSuperintelligenz zahlreicheProbleme der Menschheit lösen, d.h. uns helfen, die grossen wissenschalichen, ethischen, ökologischen und ökonomischen Herausforderungen der Zukun zu bewältigen. Wenn sich die Ziele einer Superintelligenz allerdings nicht mit unseren Präferenzen beziehungsweise den Präferenzen aller empfindungsfähigen Wesen decken, dann wird sie zu einer existenziellenBedrohungundkannmöglicherweise mehr Leid verursachen, als es ohne sie je gegeben hätte [98]. Rationales Risikomanagement In Entscheidsituationen, in denen potenziell sehr viel auf dem Spiel steht, sind die folgenden Prinzipien wichtig: 1. Teure Vorkehrungen zu treen lohnt sich selbst bei geringen Risikowahrscheinlichkeiten, wenn es hinreichend viel zu gewinnen/verlieren gibt [89]. 2. Wenn in einem Gebiet unter Experten/innen wenig Konsens besteht, ist epistemische Bescheidenheit ratsam, d.h. man sollte kein allzu grosses Vertrauen in die Zuverlässigkeit der eigenen Meinung haben. Die Risiken der KI-Forschung sind globaler Natur. Misslingt den KI-Forschenden der erste Versuch, einer Superintelligenz ethische Ziele zu verleihen, so gibt es womöglich keine zweite Chancemehr. Es ist durchaus vertretbar, die längerfristigen Risiken der KI-Forschung als noch grösser einzuschätzen als diejenigen der Klimaerwärmung. Im Vergleich dazu erhielt die Thematik jedoch noch kaum Aufmerksamkeit. Wir weisen mit diesem Diskussionspapier darauf hin, dass es sich deshalb umso mehr lohnt, erhebliche Ressourcen in die Sicherheit der KI-Forschung zu investieren. Wenn die hier erörterten Szenarien (vielleicht geringe, aber) mehr als bloss infinitesimale Eintrittswahrscheinlichkeit haben, dann sollte künstliche Intelligenz und die damit assoziierten Chancen und Risiken zu den globalen Prioritäten gehören. Die Wahrscheinlichkeit eines guten Ausgangs der KI-Forschung kann u.a. durch folgendeMassnahmenmaximiert werden: Empfehlung 5- Information: Einewirksame Verbesserung der Sicherheit künstlicher Intelligenz beginntmit der Aufklärung seitensder sichmitKI beschäigendenExperten/innen, InvestorenundEntscheidungsträger. Informationen zu denmit KI-Fortschritten assoziierten Risikenmüssen einfach zugänglich gemachtwerden. Organisationen, welche dieses Anliegen unterstützen, sind das Future of Humanity Institute (FHI) der Universität Oxford, das Machine Intelligence Research Institute (MIRI) in Berkeley, das Future of Life Institute (FLI) in Boston, sowie im deutschsprachigen Raum die Stiung für Eektiven Altruismus (EAS).  9 Künstliche Intelligenz: Chancen und Risiken Empfehlung 6- KI-Sicherheit: In den vergangenen Jahren war ein eindrücklicher Anstieg der Investitionen in die KIForschung zu beobachten [86]. Die Erforschung der KI-Sicherheit hingegen ist vergleichsweise weit zurückgeblieben. Die weltweit einzige Organisation, die der Erforschung der theoretischen und technischen Probleme der KI-Sicherheit höchste Priorität beimisst, ist das Machine Intelligence Research Institute (MIRI). Bei der Vergabe von Forschungsgeldern im KI-Bereich sollte gefordert werden, dass sicherheitsrelevante Aspekte der Forschungsprojekte ausgewiesen undentsprechendeVorkehrungengetroenwerden. EinVerbot jeder risikoreichenKI-Forschungwärenichtpraktikabel undwürde zu einer schnellen und gefährlichen Verlagerung der Forschung in Ländermit tieferen Sicherheitsstandards führen.  Empfehlung 7 - Globale Kooperation und Koordination: Ökonomische und militärische Anreize schaen ein kompetitives Klima, in demesmit an Sicherheit grenzenderWahrscheinlichkeit zu einemgefährlichenWettrüsten kommen wird. Dabei würde die Sicherheit der KI-Forschung zugunsten von schnelleren Fortschritten und Kostensenkungen reduziert. Verstärkte internationaleKooperationkanndieserDynamikentgegenwirken.Gelingtdie internationaleKoordination, lässt sich auch ein "Race to the Bottom" der Sicherheitsstandards (durch Abwanderung der wissenschalichen und industriellen KI-Forschung oder Androhung derselben) eher vermeiden.  Künstliches Bewusstsein Menschenundviele nichtmenschlicheTierehabenphänomenales Bewusstsein- es fühlt sich subjektiv-innerlich in bestimmter Weise an, ein Mensch oder ein nichtmenschliches Tier zu sein [99]. Sie haben Sinneseindrücke, ein (rudimentäres oder ausgeprägtes) Ich-Gefühl, empfinden Schmerzen bei körperlicher Schädigung, und können psychisches Leidoder Freudeverspüren (vgl. etwadieDepressionsstudien bei Mäusen [100]). Kurzum: Sie sind empfindungsfähige Wesen. Dies hat zur Folge, dass sie in einem für sie selbst relevanten Sinn geschädigt werden können. Im KI-Kontext stellt sich dazu die Frage: Kann es auch Maschinen geben, deren materiell-funktionale Struktur ein leidvolles "Innenleben" realisieren kann? Für den Leidbegri liefert der Philosoph und Kognitionswissenschaler Thomas Metzinger vier Kriterien, die bei Maschinen entsprechend auch erfüllt sein müssten: 1. Bewusstsein. 2. ein phänomenales Selbstmodell. 3. die Fähigkeit zur Darstellung negativer Valenzen (d.h. verletzter subjektiver Präferenzen) innerhalb des Selbstmodells. 4. Transparenz (d.h. Wahrgenommenes fühlt sich unwiderruflich "real" an-das System ist also gezwungen, sich mit dem Inhalt seines bewussten Selbstmodells zu identifizieren) [101, 102]. Etwaspräziser ist zwischen zwei verwandtenFragen zuunterscheiden: Erstens, obMaschinenüberhaupt jeBewusstsein und Leidensfähigkeit entwickeln könnten; und zweitens, falls die erste Frage zu bejahen ist, welche Typen von Maschinen Bewusstsein haben (werden). Diese beiden Fragen werden von Philosophen/innen und KI-Experten/innen gleichermassen untersucht. Ein Blick auf den Stand der Forschung zeigt, dass die erste Frage einfacher zu beantworten ist als die zweite. Es existiert unter Experten/innen ein relativ solider Konsens darüber, dass Maschinen prinzipiell über Bewusstsein verfügenkönnenunddassMaschinenbewusstsein zumindest in neuromorphen Computern möglich ist [103, 104, 105, 106, 107, 108, 109]. Solche Computer haben Hardware derselben funktionalenOrganisationwieeinbiologischesGehirn [110]. Schwieriger ist die zweite Frage zubeantworten:Welche Typen von Maschinen, neben neuromorphen Computern, könnenBewusstseinhaben? IndiesemBereich ist der wissenschaliche Konsens weniger ausgeprägt [111]. Es ist beispielsweise umstritten, ob reine Simulationen - etwa das simulierte Gehirn des Blue Brain Project - Bewusstsein haben können. Die Frage wird zwar von verschiedenen Experten/innen positiv beantwortet [109, 105], von einigen aber auch verneint [111, 112]. Angesichts der Unsicherheit unter Experten/innen scheint es angebracht, eine vorsichtige Position zu vertreten: Nach dem heutigen Wissensstand ist es zumindest denkbar, dass viele hinreichend komplexe Computer, darunter auch nicht-neuromorphe, leidensfähig sein werden. Diese Überlegungen haben weitreichende ethische Konsequenzen. Wenn Maschinen kein Bewusstsein haben könnten, so wäre es ethisch unbedenklich, sie als Arbeitskräe auszubeuten und ihnen riskante Tätigkeiten wie die Entschärfung von Minen oder die Handhabung gefährlicher Stoen aufzutragen [4, S. 167]. Wenn hinrei10 Künstliche Intelligenz: Chancen und Risiken chend komplexe künstliche Intelligenzen aber mit einiger Wahrscheinlichkeit Bewusstsein und subjektive Präferenzen haben werden, so sind ähnliche ethisch-rechtliche Sicherheitsvorkehrungen zu treen wie bei Menschen und vielen nichtmenschlichen Tieren [113]. Wenn etwa das virtuelle Gehirn des Blue Brain Project Bewusstsein haben wird, dannwäre es ethisch beispielsweise hochproblematisch, es (undmit ihm zahlreiche Kopien beziehungsweise "Klone") in depressive Zustände zu versetzen, um Depression systematisch zu erforschen. Metzinger warnt davor, dass bewusste Maschinen für Forschungszwecke missbraucht werden könnten und als "Bürger zweiter Klasse" nicht nur keine Rechte haben 1 und als austauschbare experimentelle Werkzeuge benutzt werden könnten, sondern dass sich diese Tatsache auch negativ auf der Ebene ihres inneren Erlebens widerspiegeln könnte [106]. Diese Aussicht ist deshalb besonders besorgniserregend, weil es denkbar ist, dass künstliche Intelligenzen dereinst in riesiger Anzahl erschaen werden [4, 75]. So könnte in einem Worst-Case-Szenario eine astronomische, historisch beispiellose Opferzahl und Leidmenge resultieren. Diese dystopischen Szenarien deuten auf einewichtige Implikation technologischer Fortschritte hin: Selbst wenn unsnur "geringe" ethische Fehler unterlaufen, etwa indem wir gewisse Computer fälschlicherweise als unbewusst odermoralisch unbedeutend klassifizieren, kann dies aufgrund historisch beispielloser technologischer Macht zu historisch beispiellosen Katastrophen führen. Wenn sich die Gesamtzahl empfindungsfähiger Wesen stark erhöht, dann reicht eine marginale Verbesserung unserer ethischen Werte und empirischen Einschätzungen nicht aus - beide müssten sichmassiv verbessern, um der stark erhöhten Verantwortung gerecht werden zu können. Daher sollten wir angesichts unserer Unsicherheit bezüglich des Maschinenbewusstseins im KI-Bereich besonders grosse Vorsicht walten lassen. Nur so bleibt die Möglichkeit intakt, potenzielle Katastrophenszenarien der beschriebenen Art zu vermeiden. Empfehlung 8 - Forschung: Um ethische Entscheidungen treen zu können, ist es unabdingbar, zu wissen, welche natürlichen und künstlichen Systeme über Bewusstsein und insbesondere Leidensfähigkeit verfügen. Gerade im Bereich des Maschinenbewusstseins besteht aber noch grosse Unsicherheit. Es scheint deshalb sinnvoll, entsprechende interdisziplinäre Forschung zu fördern (Philosophie, Neurowissenscha, Computerwissenscha).  Empfehlung 9-Regulierung: Es istmittlerweile gängige Praxis, Experimente an lebenden Testsubjekten durch Ethikkommissionen prüfen zu lassen [114, 115]. Aufgrund der Möglichkeit, dass neuromorphe Computer und simulierte Lebewesen auch Bewusstsein beziehungsweise eine subjektive Innenperspektive entwickeln, sollte Forschung an ihnen ebenfalls unter der strengen Aufsicht von Ethikkommissionen erfolgen. Die (unerwartete) Erschaung leidensfähiger künstlicher Wesen sollte vermieden oder hinausgezögert werden, insbesondere weil diese in sehr grosser Zahl aureten könnten und zunächst - in Ermangelung einer gesellschalich-politischen Interessenvertretung - wohl rechtlos dastünden.  Zusammenfassung Bereits heute existieren Erstversionen neuer KITechnologien mit überraschendem Potenzial, seien es die selbstgesteuerten Fahrzeuge, Watson als Hilfe bei der medizinischen Diagnostik, oder die neusten vom US-Militär getesteten Drohnen. In absehbarer Zeit werden diese Anwendungen marktreif für den grossflächigen Einsatz sein. Spätestens dann braucht es gut durchdachte gesetzliche Rahmenbedingungen, um das Potenzial dieser technologischen Möglichkeiten so zu verwirklichen, dass die Risiken einer negativen Gesamtentwicklung möglichst gering bleiben. Je grösser der Fortschritt in zentralen Bereichen der KI-Technologie, desto wichtiger und dringender wird das rational-vorausschauende Angehen der dabei entstehenden Herausforderungen. Auch die Forscher/innen und die Entwickler/innen neuer Technologien tragen Verantwortung dafür, wie ihre Beiträge die Welt verändern werden. Im Gegensatz zu Politik und Gesetzgebung, die den neuesten Entwicklungen i.d.R. nachhinken, sind die KIForscher/innen und KI-Entwickler/innen direkt am Geschehen beteiligt; sie sind diejenigen, die sich am besten mit der Materie auskennen. Leider bestehen starkewirtschaliche Anreize, die Entwicklung neuer Technologien möglichst schnell voranzu1Vereinigungen wie "People for the ethical treatment of reinforcement learners" (PETRL) sprechen sich dafür aus, dass künstliche Intelligenzen, sofern sie empfindungsfähig sind, die gleiche moralische Berücksichtigung erhalten sollten wie "biologische Intelligenzen": http://petrl.org/. 11 Künstliche Intelligenz: Chancen und Risiken treiben, ohnedass Zeit für teure Risikoanalysen "verloren" geht. Diese ungünstigen Rahmenbedingungen erhöhen das Risiko, dass uns die Kontrolle über KI-Technologien und deren Verwendung mehr und mehr entgleiten wird. Dem ist auf möglichst vielen Ebenen entgegenzuwirken: Politisch; in der Forschung selbst; und allgemein bei allen Individuen, die sich auf relevante Weise mit dem Thema beschäigen können. Eine Kernvoraussetzung dafür, dass die KI-Entwicklung in möglichst vorteilhae Bahnen gelenkt wird, wird sein, dass die Thematik nicht nur unter wenigen Experten/innen, sondern auch im breiten öffentlichen Diskurs als grosse (möglicherweise grösste) bevorstehende Herausforderung erkannt wird. Neben den genannten konkreteren Forderungen möchten wir mit diesem Diskussionspapier deshalb auch einenwesentlichen Anstoss und ein Plädoyer dafür liefern, dass das Thema "Risiken und Chancen der KI", wie der Klimawandel oder die Verhinderung kriegerischer Konflikte, möglichst bald als globale Priorität erkannt wird. Danksagung Wir bedanken uns bei all jenen, die uns bei der Recherche oder beim Verfassen des Diskussionspapiers behilflich waren. Besonders hervorzuheben sind hierbei Kaspar Etter und Massimo Mannino für ihre Ratschläge zum Aufbau des Papiers; Prof. Oliver Bendel für Anstösse zum Kapitel "Vorteile und Risiken gängiger KIs"; und Prof. Jürgen Schmidhuber für Inputs zu den Kapiteln "Generelle Intelligenz und Superintelligenz" und "Künstliches Bewusstsein", sowie für seine Inputs zum aktuellen Forschungsstand verschiedener KI-Bereiche. Unterstützer/innen Die Kernpunkte des Diskussionspapiers werden getragen von: • Prof. Dr. Fred Hamker, Professor für Künstliche Intelligenz, Technische Universität Chemnitz • Prof. Dr. Dirk Helbing, Professor für Computational Social Science, ETH Zürich • Prof. Dr. Malte Helmert, Professor für Künstliche Intelligenz, Universität Basel • Prof. Dr. Manfred Hild, Professor für Digitale Systeme, Beuth Hochschule für Technik (Berlin) • Prof. Dr. Dr. Eric Hilgendorf, Leiter Forschungsstelle RobotRecht, Universität Würzburg • Prof. Dr. Marius Klo, Professor für Maschinelles Lernen, Humboldt Universität Berlin • Prof. Dr. Stefan Kopp, Professor für Social Cognitive Systems, Universität Bielefeld • Prof. Dr. Dr. Franz Josef Radermacher, Professor für Datenbanken und Künstliche Intelligenz, Universität Ulm 12 Literatur [1] Koomey, J. G., Berard, S., Sanchez,M. &Wong, H. (2011). Implications ofHistorical Trends in the Electrical Eiciency of Computing. IEEE Annals of the History of Computing, 33(3), 46–54. [2] Brockman, J. (2015). What to Think About Machines That Think: Today's Leading Thinkers on the Age of Machine Intelligence. Harper Perennial. [3] Russell, S. (2015). Will They Make Us Better People? (http://edge.org/response-detail/26157) [4] Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press. [5] BBC. (2015a). Stephen Hawking Warns Artificial Intelligence Could End Mankind. (http://www.bbc.com/news/ technology-30290540) [6] Harris, S. (2015). Can We Avoid a Digital Apocalypse? (https://edge.org/response-detail/26177) [7] The Independent. (2014). Stephen Hawking: 'Transcendence Looks at the Implications of Artificial Intelligence - But Are We Taking AI Seriously Enough?' (http : / /www. independent .co.uk/news/science/stephenhawkingtranscendencelooks-attheimplications-of-artificialintelligence--but-are-we-taking-aiseriously-enough9313474.html) [8] The Guardian. (2014). Elon Musk Donates $10m to Keep Artificial Intelligence Good for Humanity. (http://www. theguardian.com/technology/2015/jan/16/elon-musk-donates-10m-to-artificial-intelligence-research) [9] SBS. (2013). Artificial Irrelevance: The Robots Are Coming. (http://www.sbs.com.au/news/article/2012/07/18/ artificial-irrelevance-robots-are-coming) [10] BBC. (2015b). Microso's Bill Gates Insists AI Is a Threat. (http://www.bbc.com/news/31047780) [11] Silver, N. (2012). The Signal and the Noise: Why So Many Predictions Fail – But Some Don't. Penguin. [12] PCWorld. (2011). IBM Watson Vanquishes Human Jeopardy Foes. (http://www.pcworld.com/article/219893/ibm_ watson_vanquishes_human_jeopardy_foes.html) [13] Bowling, M., Burch, N., Johanson, M. & Tammelin, O. (2015). Heads-up Limit Hold'em Poker Is Solved. Science, 347(6218), 145–149. [14] Ciresan, D. C., Giusti, A., Gambardella, L. M. & Schmidhuber, J. (2013). Mitosis Detection in Breast Cancer Histology Images Using Deep Neural Networks. MICCAI 2013. (http : / / people . idsia . ch / ~juergen / deeplearningwinsMICCAIgrandchallenge.html) [15] Ciresan, D., Meier, U. & Schmidhuber, J. (2012). Multi-ColumnDeepNeural Networks for Image Classification. Computer Vision and Pattern Recognition 2012, 3642–3649. [16] Tesauro, G. (1994). TD-Gammon, a Self-Teaching Backgammon Program, Achieves Master-Level Play. Neural Computation, 6(2), 215–219. [17] Koutník, J., Cuccu, G., Schmidhuber, J. & Gomez, F. (2013). Evolving Large-Scale Neural Networks for Vision-Based Reinforcement Learning. In Proceedings of the 15th Annual Conference on Genetic and Evolutionary Computation (S. 1061–1068). ACM. [18] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., . . . Ostrovski, G. u. a. (2015). HumanLevel Control Through Deep Reinforcement Learning. Nature, 518(7540), 529–533. [19] Slavin, K. (2012). How Algorithms Shape Our World. (http://ed.ted.com/lessons/kevin-slavin-how-algorithmsshape-our-world) Künstliche Intelligenz: Chancen und Risiken [20] Tagesanzeiger. (2008). Computer-Panne legt US-Flugverkehr lahm. (http : / / www. tagesanzeiger . ch / ausland / amerika/ComputerPanne-legt-USFlugverkehr-lahm/story/13800972) [21] Page, L., Brin, S., Motwani, R. & Winograd, T. (1999). The PageRank Citation Ranking: Bringing Order to the Web. (http://ilpubs.stanford.edu:8090/422/) [22] Wired. (2010). Algorithms Take Control of Wall Street. (http://www.wired.com/2010/12/_ai_flashtrading/all/) [23] Lin, T. C. (2012). The New Investor. UCLA L. Rev. 60, 678–735. [24] Taleb, N. N. (2010). The Black Swan: The Impact of the Highly Improbable Fragility. RandomHouse. [25] Lauricella, T. & McKay, P. (2010). Dow Takes a Harrowing 1,010.14-point Trip.Wall Street Journal (May 7, 2010). [26] Securities, U., Commission, E. & the Commodity Futures Trading Commission. (2010). Findings Regarding theMarket Events of May 6, 2010. Report of the Stas of the CFTC and SEC to the Joint Advisory Committee on Emerging Regulatory Issues. [27] Spiegel. (2015). Denkende Waen: Künstliche-Intelligenz-Forscher Warnen vor Künstlicher Intelligenz. (http : / / www.spiegel .de/netzwelt /netzpolitik/elon-muskundstephenhawking-warnenvorautonomen-waena-1045615.html) [28] Bendel, O. (2013). Towards Machine Ethics. In Technology Assessment and Policy Areas of Great Transitions (S. 343– 347). Proceedings from the PACITA 2013 Conference in Prague. [29] Goodall, N. J. (2014). Machine Ethics and Automated Vehicles. In Road Vehicle Automation: Lecture Notes inMobility (S. 93–102). Springer International Publishing. [30] Bostrom, N. & Yudkowsky, E. (2013). The Ethics of Artificial Intelligence. In Cambridge Handbook of Artificial Intelligence. Cambridge University Press. [31] Dickmanns, E. D., Behringer, R., Dickmanns, D., Hildebrandt, T., Maurer, M., Thomanek, F. & Schiehlen, J. (1994). The Seeing Passenger Car 'VaMoRs-P'. In International Symposium on Intelligent Vehicles 94 (S. 68–73). [32] Dickmanns, E. (2011). EveningKeynote: Dynamic Vision as Key Element for AGI. 4th Conference onArtificial General Intelligence, Mountain View, CA. (https://www.youtube.com/watch?v=YZ6nPhUG2i0) [33] Thrun, S. (2011). Google's Driverless Car. (http://www.ted.com/talks/sebastian_thrun_google_s_driverless_car) [34] Forbes. (2012). Nevada Passes Regulations for Driverless Cars. (http://www.forbes.com/sites/alexknapp/2012/02/ 17/nevada-passes-regulations-for-driverless-cars/) [35] Organization,W.H. u. a. (2013).WHOGlobal Status Report onRoadSafety 2013: Supporting aDecade of Action. World Health Organization. [36] Simonite, T. (2013). Oline Handwriting Recognition with Multidimensional Recurrent Neural Networks.MIT Technology Review, Oct, 25. [37] CNBC. (2014). Self-Driving Cars Safer Than Those Driven by Humans: Bob Lutz. (http : / / www . cnbc . com / id / 101981455) [38] Svenson, O. (1981). Are We All Less Risky and More Skillful Than Our Fellow Drivers? Acta Psychologica, 9(6), 143– 148. [39] Weinstein,N.D. (1980).UnrealisticOptimismaboutFutureLifeEvents. Journal ofPersonalityandSocialPsychology, 39(5), 806. [40] Langer, E. J. (1975). The Illusion of Control. Journal of Personality and Social Psychology, 32(2), 311. [41] Von Hippel, W. & Trivers, R. (2011). The Evolution and Psychology of Self-Deception. Behavioral and Brain Sciences, 34(1), 1–56. [42] Trivers, R. (2011). The Folly of Fools: The Logic of Deceit and Self-Deception in Human Life. Basic Books. [43] Berner, E. S. &Graber,M. L. (2008).OverconfidenceasaCauseofDiagnostic Error inMedicine.TheAmericanJournal of Medicine, 121(5), S2–S23. 14 Künstliche Intelligenz: Chancen und Risiken [44] Kohn, L. T., Corrigan, J. M., Donaldson, M. S. u. a. (2000). To Err Is Human: Building a Safer Health System. National Academies Press. [45] TheNewYorkTimes. (2010).What Is IBM'sWatson? (http://www.nytimes.com/2010/06/20/magazine/20Computert.html) [46] Wired. (2013). IBM's Watson Is Better at Diagnosing Cancer Than Human Doctors. (http://www.wired.co.uk/news/ archive/2013-02/11/ibm-watson-medical-doctor) [47] Forbes. (2013). IBM's Watson Gets Its First Piece Of Business In Healthcare. (http : / / www . forbes . com / sites / bruceupbin/2013/02/08/ibms-watson-gets-its-first-piece-of-business-in-healthcare/) [48] Dawes, R. M., Faust, D. & Meehl, P. E. (1989). Clinical Versus Actuarial Judgment. Science, 243(4899), 1668–1674. [49] Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E. & Nelson, C. (2000). Clinical Versus Mechanical Prediction: A Meta-Analysis. Psychological Assessment, 12(1), 19. [50] West, R. F. & Stanovich, K. E. (1997). The Domain Specificity and Generality of Overconfidence: Individual Dierences in Performance Estimation Bias. Psychonomic Bulletin & Review, 4(3), 387–392. [51] Tversky, A. & Kahneman, D. (1974). Judgment Under Uncertainty: Heuristics and Biases. Science, 185(4157), 1124– 1131. [52] Pohl, R. (Hrsg.). (2004).Cognitive Illusions: AHandbookonFallacies andBiases in Thinking, Judgement andMemory. Psychology Press. [53] Brosnan, M. J. (2002). Technophobia: The Psychological Impact of Information Technology. Routledge. [54] Yudkowsky, E. (2008). Artificial Intelligence as a Positive and Negative Factor in Global Risk. Global Catastrophic Risks, 1, 303. [55] Bostrom, N. (2002). Existential Risks. Journal of Evolution and Technology, 9(1). [56] Smith, A. & Anderson, J. (2014). AI, Robotics, and the Future of Jobs. Pew Research Center. [57] Cowen, T. (2013a). Average Is Over: Powering America Beyond the Age of the Great Stagnation. Penguin. [58] Brynjolfsson, E. & McAfee, A. (2014). The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. WW Norton & Company. [59] Frey, C. B. & Osborne, M. A. (2013). The Future of Employment: How Susceptible Are Jobs to Computerisation? Oxford Martin Programme on Technology and Employment. (https://web.archive.org/web/20150109185039/http: //www.oxfordmartin.ox.ac.uk/downloads/academic/The_Future_of_Employment.pdf) [60] Helbing, D. (2015). Thinking Ahead-Essays on Big Data, Digital Revolution, and ParticipatoryMarket Society. Springer. [61] Cowen, T. (2013b). EconTalk Episodewith Tyler Cowen: Tyler Cowen on Inequality, the Future, and Average is Over. (http://www.econtalk.org/archives/2013/09/tyler_cowen_on.html) [62] Griiths, M., Kuss, D. & King, D. (2012). VideoGameAddiction: Past, Present and Future. Current Psychiatry Reviews, 8(4), 308–318. [63] Srivastava, L. (2010). Mobile Phones and the Evolution of Social Behaviour. Behavior & Information Technology, 24(2), 111–129. [64] Prensky, M. (2001). Do They Really Think Dierently? On the Horizon, 47(2). [65] Metzinger, T. (2015a). Virtuelle Verkörperung in Robotern. SPEKTRUM, 2, 48–55. [66] Kapp, K. M. (2012). The Gamification of Learning and Instruction: Game-Based Methods and Strategies for Training and Education. Pfeier. [67] Bavelier, D., Green, S., Hyun Han, D., Renshaw, P., Merzenich, M. & Gentile, D. (2011). Viewpoint: Brains on Video Games. Nature Reviews Neuroscience, 12, 763–768. 15 Künstliche Intelligenz: Chancen und Risiken [68] Fagerberg, J. (2000). Technological Progress, Structural Change and Productivity Growth: A Comparative Study. Structural Change and Economic Dynamics, 11(4), 393–411. [69] Galor, O. &Weil, D. N. (1999). FromMalthusian Stagnation to Modern Growth. American Economic Review, 150–154. [70] Brynjolfsson, E. (2014). EconTalk Episode with Erik Brynjolfsson: Brynjolfsson on the Second Machine Age. (http: //www.econtalk.org/archives/2014/02/brynjolfsson_on.html) [71] Hughes, J. J. (2014). AreTechnologicalUnemployment andaBasic IncomeGuarantee InevitableorDesirable? Journal of Evolution and Technology, 24(1), 1–4. [72] Krugman, P. (2013). Sympathy for the Luddites.NewYork Times, 13. (http://www.nytimes.com/2013/06/14/opinion/ krugman-sympathy-for-the-luddites.html) [73] Bostrom, N. & Sandberg, A. (2008). Whole Brain Emulation: A Roadmap. Oxford: Future of Humanity Institute. [74] Hanson, R. (2012). Extraordinary Society of Emulated Minds. (http://library.fora.tv/2012/10/14/Robin_Hanson_ Extraordinary_Society_of_Emulated_Minds) [75] Hanson, R. (1994). If Uploads Come First. Extropy, 6(2), 10–15. [76] Legg, S. & Hutter, M. (2005). A Universal Measure of Intelligence for Artificial Agents. In International Joint Conference on Artificial Intelligence (Bd. 19, S. 1509). Lawrence Erlbaum Associates ltd. [77] Hutter, M. (2007). Universal Algorithmic Intelligence: A Mathematical Top-Down Approach. In Artificial General Intelligence (Bd. 6, 2, S. 227–290). Springer. [78] Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Future Studies, 2. [79] Schmidhuber, J. (2012). Philosophers & Futurists, Catch Up! Response to The Singularity. Journal of Consciousness Studies, 19(1-2), 173–182. [80] Moravec, H. (1998). When Will Computer Hardware Match the Human Brain. Journal of Evolution and Technology, 1(1), 10. [81] Moravec, H. (2000). Robot: Mere Machine to Transcendent Mind. Oxford University Press. [82] Shulman,C.&Bostrom,N. (2012).HowHard IsArtificial Intelligence?EvolutionaryArgumentsandSelectionEects. Journal of Consciousness Studies, 19(7-8), 103–130. [83] Sengupta, B. & Stemmler, M. (2014). Power Consumption During Neuronal Computation. Proceedings of the IEEE, 102(5), 738–750. [84] Friston, K. (2010). The Free-Energy Principle: A Unified Brain Theory? Nature Reviews Neuroscience, 11, 127–138. [85] Sengupta, B., Stemmler, M. & Friston, K. (2013). Information and Eiciency in the Nervous System - A Synthesis. PLoS Comput Biol, 9(7). [86] Eliasmith, C. (2015). On the Eve of Artificial Minds. In T. Metzinger & J. M. Windt (Hrsg.), Open mind. MIND Group. (http://open-mind.net/papers/@@chapters?nr=12) [87] Armstrong, S., Sotala, K. & ÓhÉigeartaigh, S. S. (2014). The Errors, Insights and Lessons of Famous AI Predictions- AndWhat They Mean for the Future. Journal of Experimental & Theoretical Artificial Intelligence, 26(3), 317–342. [88] Brenner, L. A., Koehler, D. J., Liberman, V. & Tversky, A. (1996). Overconfidence in Probability and Frequency Judgments: A Critical Examination. Organizational Behavior and Human Decision Processes, 65(3), 212–219. [89] Peterson, M. (2009). An Introduction to Decision Theory. Cambridge University Press. [90] Armstrong, S. (2013). General Purpose Intelligence: Arguing the Orthogonality Thesis. Analysis and Metaphysics, (12), 68–84. [91] Noë, A. (2015). The Ethics Of The 'Singularity'. (http://www.npr.org/sections/13.7/2015/01/23/379322864/theethics-of-the-singularity) [92] Bostrom,N. (2012). TheSuperintelligentWill:Motivationand InstrumentalRationality inAdvancedArtificial Agents. Minds and Machines, 22(2), 71–85. 16 Künstliche Intelligenz: Chancen und Risiken [93] Omohundro, S. M. (2008). The Basic AI Drives. In Proceedings of the First AGI Conference, 171, Frontiers in Artificial Intelligence and Applications (Bd. 171, S. 483–492). [94] Solomono, R. (1985). The Time Scale of Artificial Intelligence: Reflections on Social Eects. Human Systems Management, 5, 149–153. [95] Chalmers, D. (2010). The Singularity: A Philosophical Analysis. Journal of Consciousness Studies, 17(9-10), 7–65. [96] Good, I. J. (1965). Speculations Concerning the First Ultraintelligent Machine. In Advances in Computers (S. 31–88). Academic Press. [97] Schmidhuber, J. (2006). Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers. In Artificial General Intelligence (S. 119–226). [98] Tomasik, B. (2011). Risks of Astronomical Future Suering. Foundational Research Institute. (http://foundationalresearch.org/publications/risks-of-astronomical-future-suering/) [99] Nagel, T. (1974). What Is it Like to Be a Bat? The Philosophical Review, 435–450. [100] Durgam, R. (2001). Rodent Models of Depression: Learned Helplessness Using a Triadic Design in Tats. Curr Protoc Neurosci, (8). [101] Metzinger, T. (2012). TwoPrinciples for Robot Ethics. InH. E&G. J-P (Hrsg.),Robotik undGesetzgebung (S. 263–302). NOMOS. (http://www.blogs.uni-mainz.de/fb05philosophie/files/2013/04/Metzinger_RG_2013_penultimate.pdf) [102] Metzinger, T. (2015b). Empirische Perspektiven aus Sicht der Selbstmodell-Theorie der Subjektivität: Eine Kurzdarstellung mit Beispielen. Selbstverlag. (http://www.amazon.de/EmpirischePerspektivenSichtSelbstmodell Theorie-Subjektivitat-ebook/dp/B01674W53W) [103] Moravec, H. P. (1988).Mind Children: The Future of Robot and Human Intelligence. Harvard University Press. [104] Chalmers, D. J. (1995). Absent Qualia, Fading Qualia, Dancing Qualia. Conscious Experience, 309–328. [105] Chalmers, D. J. (1996). The Conscious Mind: In Search of a Fundamental Theory. Oxford University Press. [106] Metzinger, T. (2014). Der Ego Tunnel. Eine neue Philosophie des Selbst: Von der Hirnforschung zur Bewusstseinsethik. Piper. [107] Metzinger, T. (2015c). What If They Need to Suer? (https://edge.org/response-detail/26091) [108] Dennett, D. C. (1993). Consciousness Explained. Penguin UK. [109] Bostrom, N. (2003). Are We Living in a Computer Simulation? The Philosophical Quarterly, 53(211), 243–255. [110] Hasler, J. & Marr, B. (2013). Finding a Roadmap to Achieve Large Neuromorphic Hardware Systems. Frontiers in Neuroscience, 7(118). [111] Koch, C. (2014). What it Will Take for Computers to Be Conscious, MIT Technology Review. (http : / / www . technologyreview.com/news/531146/what-it-will-take-for-computers-to-be-conscious/) [112] Tononi, G. (2015). Integrated Information Theory. Scholarpedia, 10(1), 4164. (http://www.scholarpedia.org/article/ Integrated_Information_Theory) [113] Singer, P. (1988). Comment on Frey's 'Moral Standing, the Value of Lives, and Speciesism'. Between the Species: A Journal of Ethics, 4, 202–203. [114] Swissethics, Verein anerkannter Ethikkommissionen der Schweiz. (o.d.). (http://www.swissethics.ch/) [115] Senatskommission für Tierexperimentelle Forschung. (2004). Tierversuche in der Forschung. (http://www.dfg. de / download / pdf / dfg _ im_profil / geschaesstelle / publikationen / dfg _ tierversuche _ 0300304 . pdf, publisher=Deutsche Forschungsgemeinscha)

Die Stiung für Eektiven Altruismus (EAS) ist eine unabhängige Denkfabrik und Projektschmiede im Schnittbereich von Ethik und Wissenscha. Die Resultate ihrer Arbeit macht sie im Rahmen von Diskussionspapieren der Gesellscha und Politik zugänglich. Sie bietet zudem Spendenund Karriereberatung an. Der Eektive Altruismus (EA) stellt das Leitkonzept der Stiung dar: Unsere Ressourcen - Zeit und Geld - sind limitiert. Wie können wir sie so einsetzen, dass das meiste Leid verhindert und die meisten Leben gerettet werden? Und welche rationalen Gründe sprechen überhaupt dafür, Ressourcen in eine nachhaltig-eektive Leidminderung zu investieren? Diesen Fragen gehen wir aus philosophischer, ökonomischer sowie kognitionsund sozialpsychologischer Sicht nach. www.ea-stiung.org ©