Amnesty Journal 24. März 2017

"Es könnte zu Kriegen aus Versehen kommen"

US-Soldaten bei der Steuerung einer Drohnen-Show in Point Mugu, Kalifornien, Juli 2015

US-Soldaten bei der Steuerung einer Drohnen-Show in Point Mugu, Kalifornien, Juli 2015

Weltweit gibt es einen Trend hin zu automatisierten Waffensystemen, die sich menschlicher Kontrolle immer weiter entziehen. Kritiker wie Niklas Schörnig befürchten einen Rüstungswettlauf mit künstlicher Intelligenz.

Interview: Hannah El-Hitami

Der Bordcomputer HAL hat es in dem Science-Fiction-Film »2001 – Odyssee im Weltraum« vorgemacht, mittlerweile ist das Thema bis in den »Tatort« vorgedrungen: Computer verselbstständigen sich und entziehen sich der Kontrolle ihrer menschlichen Erschaffer. Können Menschen wirklich einschätzen, wozu künstliche Intelligenz fähig ist?

Ich bin mir nicht sicher, ob wir immer wissen, was Software macht, nur weil wir den Code kennen. Denn moderne Systeme sind sehr komplex und manche dazu noch lernfähig. Da es praktisch nicht vorherzusehen ist, was die Software lernt, habe ich meine Zweifel, dass man da wirklich die Kontrolle behalten kann.

Was bedeutet das für Roboter, die in der Kriegsführung eingesetzt werden?

Wenn wir davon ausgehen, dass zukünftige Systeme auf Basis von künstlichem Lernen Entscheidungen treffen können, wissen wir nicht, wie sie in einer Extremsituation reagieren werden. Das heißt, die Systeme könnten etwas Überraschendes tun oder etwas, das wir überhaupt nicht wollen und das möglicherweise gegen Recht und Ethik verstößt. Es lassen sich zwar Tests durchführen für bestimmte denkbare und vorhersehbare Situationen, aber wenn die Realität später nicht diesen Testparametern entspricht, wissen wir eben nicht, wie das System reagieren wird. Das ist in der Kriegsführung extrem gefährlich.

Wie weit ist der Einsatz autonomer Waffensysteme bereits fortgeschritten?

Nach amerikanischer Definition sind autonome Waffensysteme Systeme, die Zielauswahl und Zielbekämpfung verbinden – ohne dass ein Mensch das Ziel bestätigen müsste, womit der Angriff ja bislang erst eingeleitet wurde. Solche Systeme existieren bereits zur Verteidigung von Schiffen oder Lagern, wo etwa automatische Kanonen eingesetzt werden, die anfliegende Geschosse abschießen. Allerdings sind solche Systeme noch nicht für Angriffe auf Menschen entwickelt. Bislang sind diese Systeme in der Regel stationär eingesetzt, das heißt, man hat eine halbwegs gute Vorstellung davon, wo sie wirken werden.

Wie viel Kontrolle werden Roboter in den Kriegen der Zukunft ausüben?

In der Zukunft lassen sich automatisierte Waffensysteme vorstellen, die die Entscheidung darüber, einen bestimmten Menschen oder eine Gruppe von Menschen anzugreifen, selbstständig treffen, ohne dass das ein Mensch verifizieren und bestätigen müsste. Außerdem wären diese Systeme mobil, sodass sich nicht vorhersagen ließe, an welchem Ort sie aktiv werden. Der Trend geht hin zu Systemen, die immer schneller reagieren. Die Lücke zwischen Zielerkennung und Angriff zu schließen, ist in der militärischen Forschung weltweit ein bestimmendes Thema.

Überall existieren schon Systeme, die den Menschen noch in der Schleife haben, ihn aber unter enormen Druck setzen, sehr schnell zu entscheiden. Da bleibt der Mensch formal zwar der Entscheider, kann aber nicht immer sinnhaft überprüfen, ob das, was der Computer als Ziel vorschlägt, überhaupt ein völkerrechtlich valides Ziel ist. Deshalb fordern Nichtregierungsorganisationen nicht nur eine angemessene, sondern eine sinnhafte menschliche Kontrolle.

Warum sollte es besser sein, dass Menschen Menschen töten – und nicht Maschinen?

Einige Robotiker in den USA sagen, es wäre gar nicht schlecht, Computer über Leben und Tod entscheiden zu lassen, weil sie das ohne Emotion machen können und damit sozusagen »humaner«. Der Roboter, so diese Logik, schieße nicht zurück aus Angst, Rache oder aus Verzweiflung – er begehe deshalb auch keine Kriegsverbrechen.

Ich würde dem entgegenhalten, dass es grundsätzlich unethisch ist, einen Computer über Leben und Tod entscheiden zu lassen. Es muss immer ein Mensch als Kontrollinstanz da sein, jenseits der kalten Logik von Algorithmen – ein Mensch, der sein Gewissen belastet, der mit dieser Entscheidung leben muss und für deren Konsequenzen die Verantwortung trägt.

Menschen können aus Rache, Furcht oder Stress handeln. ­Welche Fehlerquellen gibt es bei Robotern?

Die aktuelle Generation an Systemen ist definitiv noch nicht in der Lage, zwischen Kombattanten und Zivilisten zu unterscheiden. Das fällt sogar Menschen schwer. Computer kennen bisher auch noch nicht das Kriterium der Proportionalität, das im Völkerrecht eine ganz zentrale Rolle spielt. Demnach muss der Einsatz der Waffe im Verhältnis zum militärischen Vorteil stehen.

Aber selbst wenn Computer das in Zukunft berücksichtigen könnten, entstünden neue Probleme: Wenn etwa das komplexe Waffensystem eines Staats auf das eines anderen träfe, das wiederum auf sehr komplexen Algorithmen basiert, ließe sich die Interaktion dieser Algorithmen nicht vorhersehen. Es könnte zu Kriegen aus Versehen kommen, weil diese Systeme sich unerwartet als feindlich interpretieren. Und da diese sehr, sehr schnell agieren, könnte es dazu kommen, dass der Konflikt eskaliert, ehe der Mensch das überhaupt merkt.

Wen würde man für Fehler verantwortlich machen, die von Robotern begangen werden?

Die Frage, wer die Verantwortung übernimmt, ist absolut ungeklärt. Eines aber ist klar: So wie Computer heute gebaut sind, macht es keinen Sinn, den Computer für seine Entscheidungen verantwortlich zu machen und ihn ins Gefängnis zu stecken.

Ließe sich nicht Software installieren, die verhindert, dass ­Roboter bestimmte Grenzen überschreiten – und somit keine Menschenrechtsverletzungen oder Kriegsverbrechen begehen?

Wer kann garantieren, dass man diese Software nicht schlicht deaktivieren könnte? Der wissenschaftliche Direktor der amerikanischen Luftwaffe beschrieb 2010 außerdem folgendes Dilemma: Wenn ein Gegner solche Waffensysteme einsetzt, selbst aber keine Kontrollmechanismen einbaut, würden die Amerikaner durch die Verwendung einer solchen Software möglicherweise einen Nachteil haben. Solche Erwägungen würden zu einem Absinken der Standards führen, weil der, der sich daran hält, militärische Nachteile in Kauf nehmen ­müsste – und deshalb darauf verzichtet. Darum sehe ich solche Software­lösungen als Scheinlösungen an.

Welche Bemühungen zur Kontrolle der Entwicklungen gibt es?

Der Diskurs über letale autonome Waffensysteme wird dank verschiedener NGOs, darunter auch Amnesty International, seit 2010 immer intensiver geführt. Und 2017 werden die Entwicklungen erstmals in einem offiziellen Expertentreffen der Unterzeichnerstaaten der UN-Waffenkonvention in Genf diskutiert. Bei diesem Thema hat die Zivilgesellschaft staatlichen Vertretern die Bedrohung, die von diesen Waffensystemen ausgeht, sehr schnell klarmachen können. Geholfen hat, dass eben noch kein Staat über autonome Waffensysteme verfügt, die sich gegen Menschen richten.

Was ist das Ziel des Treffens in Genf? Es soll ein Verbot letaler autonomer Waffensysteme erreicht werden, die ganz bewusst Menschen ins Visier nehmen und die Entscheidung über die Tötung selbstständig treffen. Natürlich ist die Durchsetzung eines möglichen Verbots extrem schwierig. Die Frage, ob eine Waffe selbstständig über Leben und Tod entscheidet, ist eine Software-Frage, und wir wissen noch nicht, wie sich Software durch Rüstungskontrollabkommen kontrollieren lässt. Aber immerhin gibt es bislang keinen Staat, der solche Systeme ernsthaft befürwortet. Das lässt hoffen.

Niklas Schörnig arbeitet seit 2005 bei der Hessischen Stiftung Friedens- und Konfliktforschung (HSFK) in Frankfurt am Main. Dort beschäftigt er sich mit Militärstrategien und -technologien, der Robotisierung der Streitkräfte sowie der Zukunft der Rüstungskontrolle. Schörnig hat Politikwissenschaft und Volkswirtschaftslehre studiert und mit einer Arbeit über die US-amerikanische Rüstungsindustriepolitik der 1990er-Jahre an der Goethe-Universität in Frankfurt promoviert.

Dieser Artikel ist in der Ausgabe April/Mai 2017 des Amnesty Journals erschienen.

Schlagworte

Amnesty Journal

Mehr dazu

Amnesty Journal 10/11 2017 Türkei

Unter Verdacht

Überall auf der Welt werden Menschenrechtsverteidiger von Regierungen schikaniert. In der Türkei sitzen auch zwei Amnesty-Verantwortliche in Untersuchungshaft – ein einmaliger Vorgang in der langen Geschichte der Menschenrechtsorganisation.
Amnesty Journal 10/11 2017 Ungarn

Alle Macht dem Ministerpräsidenten

Viktor Orbán geht hart gegen die Zivilgesellschaft vor. Das neue ungarische NGO-Gesetz folgt russischem Vorbild – und verstößt gegen EU-Recht. Von Gregor Mayer, Budapest
Amnesty Journal 10/11 2017 Russland

Auf eigenes Risiko

Der Kreml drangsaliert Nichtregierungsorganisationen, die mit ausländischen Partnern zusammenarbeiten. Immer öfter weichen Aktivisten deshalb nach Berlin aus. Von Gemma Pörzgen
Amnesty Journal 10/11 2017 Saudi-Arabien

Fremde im eigenen Land

Mehr als 20 Regimekritiker, Journalisten und Geistliche sind im September in Saudi-Arabien festgenommen worden. Kronprinz Mohammed Bin Salman will sie so zum Schweigen bringen.
Amnesty Journal 10/11 2017 Venezuela

Tropischer Vandalismus

Gewalt statt Sozialismus: In Venezuela gehen ­regierungstreue Schlägerbanden gegen Bewohner von Armenvierteln vor.
Amnesty Journal 10/11 2017 Brasilien

Langsamer Tod am süßen Fluss

Die größte Umweltkatastrophe in der Geschichte Brasiliens hat das Leben der indigenen Krenak für immer verändert.
Amnesty Journal 10/11 2017 Mauretanien

Den Atlantik vor Augen

Spanien zahlt Mauretanien viel Geld dafür, die Migration Richtung Kanaren zu kontrollieren. Die ehemaligen Sklaven, die Hratins, profitieren davon nicht.
Amnesty Journal 10/11 2017 Namibia

Bedauern ohne zu bezahlen

Mehr als 100 Jahre nach dem Völkermord an den Herero sperrt sich die Bundesregierung noch immer gegen ­Entschädigungszahlungen an Namibia.