Roboter sollten keine tödlichen Entscheidungen treffen

Als Science-Fiction-Autor schreibt Daniel Suarez katastrophale Geschichten über die Zukunft. Auf der TEDGlobal-Bühne erzählt er jedoch von einem realen Szenario, über das wir alle mehr wissen sollten: der Aufstieg der autonomen Roboter-Waffen im Krieg. Fortgeschrittene Drohnen, automatisierte Waffen und mit künstlicher Intelligenz betriebene und Daten sammelnde Werkzeuge, sagt er, könnten die Entscheidung, einen Krieg zu führen, aus den Händen der Menschen rauben.

Ich schreibe Sci-Fi Thriller,

wenn ich also "Killer-Roboter" sage,

dann denken Sie wahrscheinlich
an einen wie diesen.

Aber ich bin nicht hier,
um über Fiktion zu sprechen.

Ich bin hier, um über echte
Killer-Roboter zu sprechen,

eigenständige Kampfdrohnen.

Nicht die ferngesteuerten Kampfdrohnen,

bei denen über das Ziel
ein Mensch entscheidet,

Ich rede über völlig automatische Roboterwaffen,

die tödliche Entscheidungen über
Menschenleben treffen können,

völlig ohne menschliche Hilfe.

Es gibt tatsächlich einen technischen
Ausdruck dafür: "tödliche Autonomie".

Tödlich autonome Killer-Roboter

könnten viele Formen annehmen
– sie könnten fliegen, fahren,

oder einfach nur lauern.

Und sie werden sehr schnell
zur Realität werden.

Das sind zwei automatische
Scharfschuss-Stationen,

die aktuell in der DMZ
zwischen Nord- und Süd-Korea liegen.

Beide dieser Maschinen sind fähig,
automatisch

menschliche Ziele zu erfassen
und auf sie zu feuern.

Die linke auf eine Distanz
von über einem Kilometer.

Es sind in beiden Fällen jedoch
immer noch Menschen im System,

um diesen tödlichen Entschluss
zu feuern zu treffen.

Es ist technologisch jedoch
nicht notwendig. Es ist eine Wahl.

Und auf diese Wahl möchte ich
mich konzentrieren,

denn wenn wir das Treffen
todbringender Entscheidungen

von Menschen auf Software übertragen,

riskieren wir nicht nur,
die Menschlichkeit aus dem Krieg zu entfernen,

sondern auch die gesellschaftliche Lage
grundlegend zu verändern.

Weit entfernt vom Schlachtfeld.

Das erfolgt daraus, dass die Art,
wie Menschen Konflikte lösen,

unsere soziale Landschaft formt.

Und das war schon immer
in der Geschichte.

Das waren beispielsweise
die besten Waffensysteme

im Jahre 1400.

Sie waren beide sehr teuer
in der Herstellung und der Aufrechterhaltung.

Mit ihnen konnte man jedoch
die Bevölkerung dominieren

und die Verteilung der politischen Macht in einer Feudalgesellschaft spiegelt das wider.

Macht war an der Spitze konzentriert.

Und was hat sich verändert?
Technologische Neuerung.

Schießpulver, Kanonen.

Und ziemlich schnell waren Rüstungen
und Festungen veraltet

und es zählte nicht mehr,
wen du auf's Schlachtfeld brachtest,

sondern wie viele.

Und als Armeen in der Größe zunahmen,
entstand der Nationalstaat

als politische und logistische Voraussetzung
von Verteidigung.

Und als Führer sich mehr
auf ihr Volk verlassen mussten,

fingen sie an, die Macht zu teilen.

Repräsentative Regierungen entstanden.

Und so formen die Werkzeuge,
die wir zur Konfliktlösung einsetzen,

unsere Gesellschaft.

Autonome robotische Waffen
sind so ein Werkzeug,

außer dass sie, da sie zum Krieg führen
sehr wenige Menschen benötigen,

riskieren, dass die Macht wieder
konzentriert in einige wenige Hände fällt.

Und möglicherweise einen fünf Jahrhunderte
langen Trend zur Demokratie umkehren.

Ich denke, wenn wir das wissen,

können wir entscheidende Schritte zum Bewahren
unserer demokratischen Einrichtungen unternehmen,

um das zu tun, was Menschen
am besten können: sich anpassen.

Zeit ist hierbei jedoch auch ein Faktor.

Siebzig Nationen entwickeln
ihre eigenen ferngesteuerten

Kampfdrohnen.

Und wie Sie sehen werden,
sind ferngesteuerte Kampfdrohnen

die Vorläufer der autonomen Roboterwaffen.

Wenn man nämlich einmal
ferngesteuerte Drohnen im Einsatz hat,

verlagern drei mächtige Faktoren
die Entscheidungsfindung

weg vom Menschen,
hin zur Waffenplattform an sich.

Der erste Faktor ist die Sintflut an Videos,
die Drohnen produzieren.

2004 beispielsweise produzierte
die amerikanische Drohnenflotte

insgesamt 71 Stunden
von Videoüberwachung zur Analyse.

Bis 2011 sind es 300.000 Stunden,

das übersteigt die menschlichen
Fähigkeiten, alles zu überprüfen.

Aber die Zahlen stehen kurz vor
einem drastischen Anstieg.

Die Programme des Pentagons
"Gorgon Stare" und "Argus"

werden bis zu 65 eigenständig
betriebene Kameras

auf jeder Drohnenplatform haben.

Und das würde die menschlichen Möglichkeiten
der Kontrolle weit übertreffen.

Das bedeutet, dass
visuelle Aufklärungssoftware

es nach interessanten Dingen
abscannen müsste.

Das bedeutet wiederum, dass

Drohnen in Zukunft den Menschen sagen werden,
worauf sie schauen sollen,

und nicht mehr andersherum.

Aber es gibt einen zweiten
mächtigen Anreiz dafür,

das Entscheidungentreffen von Menschen
auf Maschinen zu übertragen

und das sind elektromagnetische Störungen,

die die Verbindungen zwischen der Drohne
und ihrem Führer unterbrechen.

2011 haben wir ein Beispiel hierfür gesehen,

als eine amerikanische Wächterdrohne
vom Typ RQ-170 über dem Iran

durch "GPS-Spoofing" manipuliert wurde.

Jede ferngesteuerte Drohne
ist anfällig für diese Attacken

und das bedeutet, dass Drohnen

mehr Entscheidungsfindungen
auf sich nehmen müssen.

Sie kennen ihre Mission

und sie werden auf neue Umstände
ohne menschliche Hilfe reagieren.

Sie werden fremde Funksignale ignorieren

und nur sehr wenige selbst schicken.

Das bringt uns zum dritten

und mächtigsten Anreiz,
um das Entscheidungentreffen

von Menschen auf Waffen zu übertragen:

glaubhafte Leugnung.

Wir leben in einer globalen Wirtschaft.

High-Tech Fabrikationen kommen
auf den meisten Kontinenten vor.

Cyber-Spionage verbreitet fortgeschrittene
Konstruktionen ins Unbekannte,

und in diesen Gebieten ist es
sehr wahrscheinlich, dass

ein funktionierender Entwurf einer Drohne
in einer Vertragsfabrik entsteht

und sich auf dem Graumarkt vermehrt.

Und in dieser Situation ist es
beim Durchwühlen des Wracks

nach einer "Selbstmord"-Drohnenattacke
schwer zu sagen,

wer diese Waffe geschickt hat.

Das steigert die reale Möglichkeit
eines anonymen Krieges.

Es könnte die geopolitische Balance
auf dem Gleichgewicht werfen,

und es einer Nation erschweren,
ihre Feuerkraft auf einen Angreifer zu richten.

Und das könnte die Balance des 21. Jahrhunderts
weg von Verteidigung und auf Angriff bringen.

Es könnte militärisches Eingreifen
zu einer brauchbaren Option machen.

Nicht nur für kleine Nationen,

aber auch für kriminelle Organisationen,
Privatunternehmen,

und sogar mächtige Individuen.

Das könnte eine Landschaft
von rivalisierenden Warlords schaffen

und die Regeln des Gesetzes
und der zivilen Gesellschaft untergraben.

Wenn Verantwortung und
Durchschaubarkeit

zwei der Grundpfeiler der
repräsentativen Regierung sind,

könnten autonome robotische Waffen
beides umwerfen.

Sie denken jetzt vielleicht, dass Bürger
einer "High-Tech Nation" einen Vorteil

in einem "automatischen" Krieg hätten,

und dass die Bürger dieser Nationen
weniger anfällig und verletzlich wären,

besonders gegenüber
Entwicklungsländern.

Aber ich glaube, genau
das Gegenteil wäre der Fall.

Ich denke, dass Bürger in weit
entwickelten Gesellschaften

ungeschützter gegen
robotische Waffen sind.

Und der Grund dafür ist
ein einziges Wort: Daten.

Daten ermöglichen
High-Tech-Gesellschaften.

Handy-Geolokalisierung,
Telekom-Metadaten,

soziale Medien, E-Mails,
Texte, Finanztransaktionen,

Transportdaten –
eine Fülle an Echtzeit-Daten

in den Bewegungen und sozialen
Interaktionen der Menschen.

Kurz gesagt: Wir sind sichtbarer für Maschinen
als alle Menschen in der Geschichte.

Und das ist perfekt für die Ziel-Anforderungen
von autonomen Waffen.

Hier sehen Sie eine eine Verbindungsanalyse
einer sozialen Gruppe.

Die Linien zeigen soziale Verbundenheit
zwischen einzelnen Individuen.

Diese Kartenart kann durch die Datenspur,
die moderne Menschen hinterlassen,

automatisch generiert werden.

Normalerweise wird es genutzt,
um Waren und Dienstleistungen

an Zielgruppen zu verkaufen,
hat aber zwei Verwendungszwecke,

denn dieses spezielle Ausrichten wird
in einem anderen Kontext verwendet.

Achten Sie auf die
hervorgehobenen Individuen.

Das sind die Zentren sozialer Netzwerke.

Das sind Veranstalter, Trendsetter und Anführer.

Und diese Leute können
automatisch identifiziert werden,

aufgrund ihrer Kommunikationsmuster.

Wenn Sie nun ein Vermarkter sind,
dann richten Sie Ihre Warenproben auf sie aus,

um Ihre Marke durch deren
soziale Gruppe zu verbreiten.

Wenn Sie nun aber eine repressive
Regierung sind,

die nach politischen Bedrohungen sucht,
dann werden Sie sie vielleicht beseitigen,

sie zerstören, ihre soziale
Gruppe auseinanderreißen.

Und die Zurückgebliebenen verlieren
sozialen Zusammenhalt und Organisation.

In einer Welt von günstigen,
wuchernden robotischen Waffen

würden Grenzen nur sehr wenig Schutz
gegenüber entfernten Regierungen

oder grenzüberschreitenden
kriminellen Organisationen bieten.

Große Bewegungen für einen Wandel
könnten sehr früh aufgespürt

und ihre Anführer ausgeschaltet werden,
bevor ihre Ideen zu große Ausmaße annehmen.

Und Ideen mit kritischem Ausmaß

machen politisches Engagement
in beliebten Regierungen aus.

Anonyme tödliche Waffen könnten
tödliche Auswirkungen haben.

Eine einfache Wahl bei allen Arten
von Interessenkonflikten.

Das würde die
freie Meinungsäußerung und

gängiges politisches Handeln, die Kernelemente
der Demokratie, drastisch eindämmen.

Und das ist der Grund, weshalb wir
einen internationalen Vertrag

für robotische Waffen und
besonders ein globales Verbot

für die Entwicklung und Benutzung
von Killer-Robotern brauchen.

Wir haben beispielsweise internationale Verträge

für nukleare und biologische Waffen
und, obwohl sie nicht perfekt sind,

haben sie weitgehend funktioniert.

Roboterwaffen jedoch sind
vielleicht genauso gefährlich,

denn sie werden fast zweifellos genutzt,

und wären genauso zerstörend
für unsere demokratischen Einrichtungen.

Im November 2012 erließ das
amerikanische Verteidigungsministerium

eine Richtlinie, die veranlasst,

dass ein Mensch bei jeder tödlichen
Entscheidung dabei sein muss.

Sie verhinderte vorübergehend
autonome Waffen im amerikanischen Militär,

sie muss aber dauerhaft gültig sein.

Sie könnte die Voraussetzungen
für globales Handeln schaffen.

Denn wir brauchen einen internationalen
rechtlichen Rahmen für Roboterwaffen.

Und wir brauchen ihn jetzt,
vor einem verheerenden Angriff

oder einem Terroranschlag,
der die Nationen der Welt dazu veranlasst,

nach diesen Waffen zu streben,
bevor sie die Konsequenzen durchdacht haben.

Autonome robotische Waffen konzentrieren
zu viel Macht in zu wenigen Händen,

und würden die Demokratie selbst gefährden.

Verstehen Sie mich nicht falsch,
ich denke, es gibt Millionen

von großartigen Verwendungszwecken
für unbewaffnete Zivilisten-Drohnen:

Umweltüberwachung,
Suchen und Bergen, Logistik.

Wenn wir einen internationalen Vertrag
für Roboterwaffen haben,

wie können wir die Vorteile
der autonomen Drohnen und Fahrzeuge

ausschöpfen und uns dennoch vor
illegalen Roboterwaffen schützen?

Ich denke, das Geheimnis
wird Transparenz sein.

Kein Roboter sollte Privatsphäre
auf einem öffentlichen Platz erwarten.

(Applaus)

Jeder Roboter sollte in der Fabrik

eine kryptographisch signierte
Identifikationsnummer eingraviert bekommen,

mit der man seine Bewegung
durch öffentliche Orte nachverfolgen kann.

Wir haben Nummernschilder an Autos,
Luftfahrzeugkennzeichen an Flugzeugen.

Hier ist es nicht anders.

Und jeder Bürger sollte
eine App herunterladen können,

die die Population von Drohnen
und autonomen Fahrzeugen zeigt,

wie sie sich durch
den öffentlichen Raum bewegen.

Aktuell und in der Vergangenheit.

Und zivile Führer sollten Sensoren
und zivile Drohnen bereitstellen,

um problematische Drohnen
ausfindig machen zu können.

Und anstatt sie
mit Killerdrohnen zu eliminieren,

sollten sie Menschen auf ihr Dasein hinweisen.

In manchen Hochsicherheits-Bereichen

würden zivile Drohnen
sie vielleicht einfangen

und sie zu einem
Bombenentschärfungsteam ziehen.

Aber das ist eher ein Immunsystem
als ein Waffensystem.

Es würde es uns ermöglichen, den Nutzen

von autonomen Fahrzeugen und
Drohnen in Anspruch zu nehmen,

und trotzdem unsere offene,
zivile Gesellschaft bewahren.

Wir müssen die Benutzung und Entwicklung

von Killer-Robotern verbieten.

Erliegen wir nicht der Versuchung
eines autonomen Krieges.

Autokratische Regierungen
und kriminelle Organisationen

werden es ohne jeden Zweifel tun.
Aber wir sollten uns ihnen nicht anschließen.

Autonome robotische Waffen
würden zu viel Macht

in zu wenige ungesehene Hände konzentrieren.

Und das würde zerstörend für repräsentative Regierungen sein

Sorgen wir dafür, zumindest die Demokraten,

dass Killer-Roboter eine Fiktion bleiben

Vielen Dank.

(Applaus)

Danke schön. (Applaus)