Amnesty Journal 24. März 2017

"Es könnte zu Kriegen aus Versehen kommen"

US-Soldaten bei der Steuerung einer Drohnen-Show in Point Mugu, Kalifornien, Juli 2015

US-Soldaten bei der Steuerung einer Drohnen-Show in Point Mugu, Kalifornien, Juli 2015

Weltweit gibt es einen Trend hin zu automatisierten Waffensystemen, die sich menschlicher Kontrolle immer weiter entziehen. Kritiker wie Niklas Schörnig befürchten einen Rüstungswettlauf mit künstlicher Intelligenz.

Interview: Hannah El-Hitami

Der Bordcomputer HAL hat es in dem Science-Fiction-Film »2001 – Odyssee im Weltraum« vorgemacht, mittlerweile ist das Thema bis in den »Tatort« vorgedrungen: Computer verselbstständigen sich und entziehen sich der Kontrolle ihrer menschlichen Erschaffer. Können Menschen wirklich einschätzen, wozu künstliche Intelligenz fähig ist?

Ich bin mir nicht sicher, ob wir immer wissen, was Software macht, nur weil wir den Code kennen. Denn moderne Systeme sind sehr komplex und manche dazu noch lernfähig. Da es praktisch nicht vorherzusehen ist, was die Software lernt, habe ich meine Zweifel, dass man da wirklich die Kontrolle behalten kann.

Was bedeutet das für Roboter, die in der Kriegsführung eingesetzt werden?

Wenn wir davon ausgehen, dass zukünftige Systeme auf Basis von künstlichem Lernen Entscheidungen treffen können, wissen wir nicht, wie sie in einer Extremsituation reagieren werden. Das heißt, die Systeme könnten etwas Überraschendes tun oder etwas, das wir überhaupt nicht wollen und das möglicherweise gegen Recht und Ethik verstößt. Es lassen sich zwar Tests durchführen für bestimmte denkbare und vorhersehbare Situationen, aber wenn die Realität später nicht diesen Testparametern entspricht, wissen wir eben nicht, wie das System reagieren wird. Das ist in der Kriegsführung extrem gefährlich.

Wie weit ist der Einsatz autonomer Waffensysteme bereits fortgeschritten?

Nach amerikanischer Definition sind autonome Waffensysteme Systeme, die Zielauswahl und Zielbekämpfung verbinden – ohne dass ein Mensch das Ziel bestätigen müsste, womit der Angriff ja bislang erst eingeleitet wurde. Solche Systeme existieren bereits zur Verteidigung von Schiffen oder Lagern, wo etwa automatische Kanonen eingesetzt werden, die anfliegende Geschosse abschießen. Allerdings sind solche Systeme noch nicht für Angriffe auf Menschen entwickelt. Bislang sind diese Systeme in der Regel stationär eingesetzt, das heißt, man hat eine halbwegs gute Vorstellung davon, wo sie wirken werden.

Wie viel Kontrolle werden Roboter in den Kriegen der Zukunft ausüben?

In der Zukunft lassen sich automatisierte Waffensysteme vorstellen, die die Entscheidung darüber, einen bestimmten Menschen oder eine Gruppe von Menschen anzugreifen, selbstständig treffen, ohne dass das ein Mensch verifizieren und bestätigen müsste. Außerdem wären diese Systeme mobil, sodass sich nicht vorhersagen ließe, an welchem Ort sie aktiv werden. Der Trend geht hin zu Systemen, die immer schneller reagieren. Die Lücke zwischen Zielerkennung und Angriff zu schließen, ist in der militärischen Forschung weltweit ein bestimmendes Thema.

Überall existieren schon Systeme, die den Menschen noch in der Schleife haben, ihn aber unter enormen Druck setzen, sehr schnell zu entscheiden. Da bleibt der Mensch formal zwar der Entscheider, kann aber nicht immer sinnhaft überprüfen, ob das, was der Computer als Ziel vorschlägt, überhaupt ein völkerrechtlich valides Ziel ist. Deshalb fordern Nichtregierungsorganisationen nicht nur eine angemessene, sondern eine sinnhafte menschliche Kontrolle.

Warum sollte es besser sein, dass Menschen Menschen töten – und nicht Maschinen?

Einige Robotiker in den USA sagen, es wäre gar nicht schlecht, Computer über Leben und Tod entscheiden zu lassen, weil sie das ohne Emotion machen können und damit sozusagen »humaner«. Der Roboter, so diese Logik, schieße nicht zurück aus Angst, Rache oder aus Verzweiflung – er begehe deshalb auch keine Kriegsverbrechen.

Ich würde dem entgegenhalten, dass es grundsätzlich unethisch ist, einen Computer über Leben und Tod entscheiden zu lassen. Es muss immer ein Mensch als Kontrollinstanz da sein, jenseits der kalten Logik von Algorithmen – ein Mensch, der sein Gewissen belastet, der mit dieser Entscheidung leben muss und für deren Konsequenzen die Verantwortung trägt.

Menschen können aus Rache, Furcht oder Stress handeln. ­Welche Fehlerquellen gibt es bei Robotern?

Die aktuelle Generation an Systemen ist definitiv noch nicht in der Lage, zwischen Kombattanten und Zivilisten zu unterscheiden. Das fällt sogar Menschen schwer. Computer kennen bisher auch noch nicht das Kriterium der Proportionalität, das im Völkerrecht eine ganz zentrale Rolle spielt. Demnach muss der Einsatz der Waffe im Verhältnis zum militärischen Vorteil stehen.

Aber selbst wenn Computer das in Zukunft berücksichtigen könnten, entstünden neue Probleme: Wenn etwa das komplexe Waffensystem eines Staats auf das eines anderen träfe, das wiederum auf sehr komplexen Algorithmen basiert, ließe sich die Interaktion dieser Algorithmen nicht vorhersehen. Es könnte zu Kriegen aus Versehen kommen, weil diese Systeme sich unerwartet als feindlich interpretieren. Und da diese sehr, sehr schnell agieren, könnte es dazu kommen, dass der Konflikt eskaliert, ehe der Mensch das überhaupt merkt.

Wen würde man für Fehler verantwortlich machen, die von Robotern begangen werden?

Die Frage, wer die Verantwortung übernimmt, ist absolut ungeklärt. Eines aber ist klar: So wie Computer heute gebaut sind, macht es keinen Sinn, den Computer für seine Entscheidungen verantwortlich zu machen und ihn ins Gefängnis zu stecken.

Ließe sich nicht Software installieren, die verhindert, dass ­Roboter bestimmte Grenzen überschreiten – und somit keine Menschenrechtsverletzungen oder Kriegsverbrechen begehen?

Wer kann garantieren, dass man diese Software nicht schlicht deaktivieren könnte? Der wissenschaftliche Direktor der amerikanischen Luftwaffe beschrieb 2010 außerdem folgendes Dilemma: Wenn ein Gegner solche Waffensysteme einsetzt, selbst aber keine Kontrollmechanismen einbaut, würden die Amerikaner durch die Verwendung einer solchen Software möglicherweise einen Nachteil haben. Solche Erwägungen würden zu einem Absinken der Standards führen, weil der, der sich daran hält, militärische Nachteile in Kauf nehmen ­müsste – und deshalb darauf verzichtet. Darum sehe ich solche Software­lösungen als Scheinlösungen an.

Welche Bemühungen zur Kontrolle der Entwicklungen gibt es?

Der Diskurs über letale autonome Waffensysteme wird dank verschiedener NGOs, darunter auch Amnesty International, seit 2010 immer intensiver geführt. Und 2017 werden die Entwicklungen erstmals in einem offiziellen Expertentreffen der Unterzeichnerstaaten der UN-Waffenkonvention in Genf diskutiert. Bei diesem Thema hat die Zivilgesellschaft staatlichen Vertretern die Bedrohung, die von diesen Waffensystemen ausgeht, sehr schnell klarmachen können. Geholfen hat, dass eben noch kein Staat über autonome Waffensysteme verfügt, die sich gegen Menschen richten.

Was ist das Ziel des Treffens in Genf? Es soll ein Verbot letaler autonomer Waffensysteme erreicht werden, die ganz bewusst Menschen ins Visier nehmen und die Entscheidung über die Tötung selbstständig treffen. Natürlich ist die Durchsetzung eines möglichen Verbots extrem schwierig. Die Frage, ob eine Waffe selbstständig über Leben und Tod entscheidet, ist eine Software-Frage, und wir wissen noch nicht, wie sich Software durch Rüstungskontrollabkommen kontrollieren lässt. Aber immerhin gibt es bislang keinen Staat, der solche Systeme ernsthaft befürwortet. Das lässt hoffen.

Niklas Schörnig arbeitet seit 2005 bei der Hessischen Stiftung Friedens- und Konfliktforschung (HSFK) in Frankfurt am Main. Dort beschäftigt er sich mit Militärstrategien und -technologien, der Robotisierung der Streitkräfte sowie der Zukunft der Rüstungskontrolle. Schörnig hat Politikwissenschaft und Volkswirtschaftslehre studiert und mit einer Arbeit über die US-amerikanische Rüstungsindustriepolitik der 1990er-Jahre an der Goethe-Universität in Frankfurt promoviert.

Dieser Artikel ist in der Ausgabe April/Mai 2017 des Amnesty Journals erschienen.

Schlagworte

Amnesty Journal

Mehr dazu

Amnesty Journal 08/09 2017

Flucht ins Rampenlicht

Zerstreuung, berufliche Perspektive, Aufklärung und Schutz – Theaterprojekte mit Geflüchteten in Deutschland erfüllen derzeit viele Funktionen.
Amnesty Journal 08/09 2017 Deutschland

Umtata mit Oud

In der Banda Internationale aus Dresden spielen alteingesessene und geflüchtete Musiker. Dadurch ist die sächsische Blaskapelle zu einem Vorzeigeprojekt geworden.
Amnesty Journal 08/09 2017 Syrien

"Die Politik schwingt mit im Herzen des Textes"

Der Romanautor Nihad Siris und die Dichterin Widad Nabi sind aus Aleppo geflohen – er vor der Repression des Assad-Regimes, sie vor dem Krieg. Nun versuchen sie sich als Literaten in Berlin neu zu verorten. Ein Gespräch über das Schreiben im Exil. Interview: Hannah El-Hitami, Fotos: Christian Jungeblodt Wie hat sich Ihre Arbeit als Schriftstellerin im Exil verändert? Widad Nabi: Das Schreiben ist...
Amnesty Journal 08/09 2017 Deutschland

Dranbleiben

Für Betroffene von Verbrechen ist die Aufklärung der Geschehnisse ein wichtiger Schritt für die Aufarbeitung von traumatischen Erlebnissen. Die folgenden drei Beispiele zeigen wie damit umgegangen werden kann.
Amnesty Journal 08/09 2017

Im Dienste Afrikas

Der Nigerianer Olawale Maiyegun gibt der Europäischen Union in der Migrationspolitik Kontra. Von Christian Jakob Selten stand Afrika stärker im politischen Fokus als in diesen Monaten. Um die Migration über das Mittelmeer einzudämmen, entwickeln Repräsentanten der Europäischen Union enorme diplomatische Betriebsamkeit: Migrationsabkommen sollen abgeschlossen, Wirtschafts- und Reformpartnerschaften...
Amnesty Journal 08/09 2017 Guatemala

Bis an die Grenze

Die Gewalt in El Salvador, Honduras und Guatemala zwingt Hunderttausende in die Flucht – vor allem nach Norden. Von dort schieben mexikanische und US-amerikanische Behörden rücksichtslos ab.
Amnesty Journal 08/09 2017 Vereinigte Staaten von Amerika

Beten um zu bleiben

Aus Angst vor Abschiebungen und Übergriffen ziehen sich in den USA immer mehr Migranten aus dem öffentlichen Leben zurück. Von Arndt Peltner, San José Die ersten Besucher sind schon um neun Uhr vor der unscheinbaren Halle im Industriegebiet von San José eingetroffen. Fein gekleidet, mit Blumensträußen in den Händen. Meist finden hier Hochzeiten, Geburtstage und Jubiläen statt. An diesem Tag aber b...
Amnesty Journal 08/09 2017 Uganda

Arme helfen Armen

Im Norden Ugandas entsteht das größte Flüchtlingslager der Welt. Mehr als 1,2 Millionen Südsudanesen sind bereits über die Grenze geflohen.
Amnesty Journal 08/09 2017 Ukraine

Die unsichtbare Krise

Mehr als eine Million Geflüchtete – doch keine mediale Aufmerksamkeit. Gemma Pörzgen erklärt, warum der Krieg in der Ukraine in Europa kaum einen interessiert.