Autonome Waffensysteme sind unberechenbar

Rechnende Colts

Wenn Algorithmen über Freund und Feind entscheiden: Eine von Stephen Hawking unterzeichnete Petition fordert das Verbot autonomer Waffensysteme. Julian ­Brimmers hat sich in den Schützengräben der Hochtechnologie umgesehen und mit Dan O’Hara, Experte für Machine Culture, und Mark Bishop, Professor für Cognitive Computing, über die Gefahren von Killerrobotern unterhalten.

Vor einigen Wochen veröffentlichte das in Boston ansässige Future For Life Institute die Forderung nach einem Verbot autonomer Waffen. Zu den Unterzeichnern des offenen Briefs gehören der Physiker Stephen Hawking, Tesla- und SpaceX- Chef Elon Musk und Apple-Mitbegründer Steve Wozniak sowie eine Vielzahl von Wissenschaftlern und Wissenschaftlerinnen. Sie warnen vor einem Wettrüsten, vor den Unzuverlässigkeiten der Technologie sowie vor der Unberechenbarkeit hochentwickelter künstlicher Intelligenz, die die Menschheit unterjochen könnte. Wie realistisch ist die Bedrohung und mit welchen Mitteln versucht die »Campaign to Stop Killer Robots« ein Schreckensszenario »Maschine versus Maschine versus Mensch« zu verhindern?
Die Diskussion über autonome Waffensysteme – oder drastischer »Killer Robots« – ist zunächst ein Streit um Begriffe. Kampfdrohnen sind bereits im Einsatz, unter anderem in ­Pakistan, Afghanistan, Syrien und im Irak. Warum kommt der Aufschrei in der Öffentlichkeit gerade jetzt? Tatsächlich handelt es sich bei den in der Petition genannten Systemen um Roboter, die selbstständig Ziele erfassen, identifizieren und, dies ist der entscheidende Punkt, ohne weiteres Eingreifen eines Menschen Waffengewalt ausüben können. Das Fehlen dieses »human in the loop« markiert die Crux der Debatte. Einmal in Bewegung gesetzt, entscheiden vollständig autonome Waffensysteme nicht nur eigenständig über Freund und Feind, sondern erteilen sich selbst den Befehl zum Abschuss. Ihre Handlungen basieren dabei auf programmierten Algorithmen. Der mexikanische Theoretiker Manuel Delanda machte bereits 1991 den Unterschied zwischen Robotern mit »executive« und »advisory capacities«, also Robotern mit ausführenden und beratenden Funktionen. Viele der bekannten Drohnenmodelle fallen – noch – in die zweite Kategorie, sie sind quasi-autonome Systeme, deren Schussbefehl von einem Menschen eingeleitet wird.
Rüstungsindustrie, Forscher und Aktivisten bedienen sich daher eines Begriffs, den sich ­Visionäre wie Philipp K. Dick und Paul Verhoeven nicht besser hätten ausdenken können: LAWS (Lethal Autonomous Weapon Systems) – die disziplinarische Funktion der Waffensysteme ist sozusagen direkt ins Akronym geschrieben.
Die Debatte über die den Killerrobotern ­zugrunde liegende Ethik ist keineswegs neu, wie Dan O’Hara aufzeigt. O’Hara lehrt am New College for the Humanities in London und ist Experte für »Machine Culture« und Mitherausgeber eines Interviewbands von J. G. Ballard, dem großen britischen Propheten des westlichen Maschinenfetischs. In seinen Vorträgen entwickelt O’Hara eine 800 Jahre währende Ideengeschichte der künstlichen Intelligenz. Die konkreten Anfänge der Diskussion über autonome Waffentechniken datiert er auf die Zeit um 1991, dem Erscheinungsjahr von Delandas »War in the Age of Intelligent Machines«. Zusammen mit Delanda organisierte O’Hara bereits in den neunziger Jahren an der Universität Warwick Konferenzen zum Thema. Das gesteigerte Interesse, sich mit den Gefahren der Verquickung von künstlicher Intelligenz und Rüstungsindustrie zu beschäftigen, sei auffällig: »KI-Forscher haben im Zuge dieser Diskus­sionen einen deutlich höheren Stellenwert außerhalb der Akademien erlangt. KI nannte man früher Computing Studies. Es war alles andere als sexy«, sagt O’Hara.
Viele Bedrohungsszenarien heutiger KI-Forscher nahm Delanda bereits vor 24 Jahren mit erstaunlicher Präzision vorweg. Gerade die Furcht vor dem rein algorithmischen Verhalten der Maschinen findet sich in seiner Abhandlung. So beschreibt Delanda am Beispiel von Simulationen aus dem Kalten Krieg das Eskala­tionspotential einer maschinengeführten Ausein­andersetzung. Egal, wie ausweglos die Lage schien, menschliche Spieler entschieden sich in letzter Instanz immer gegen einen atomaren Erstschlag und für die Diplomatie. Ersetzte man die menschlichen Spieler durch Roboter, eskalierte die Situation innerhalb von Minuten.
Die technologischen Grundlagen für semi-autonome Waffen seien längst gegeben, sagt O’Hara. Das quasi-autonome Verteidigungs­system Phalanx findet sich bereits auf amerikanischen Kriegsschiffen, ebenso gibt es Berichte über LAWS an russischen Atomreaktoren. Das israelische Iron Dome-Abwehrraketen­system, an dessen Technologie auch Kanada Interesse zeigen soll, fällt in dieselbe Kategorie. O’Haras Kollege Mark Bishop, Professor für ­Cognitive Computing an der Goldsmiths University in London, sieht in dem von Samsung entwickelten SGR-A1 eine besondere Bedrohung. Hierbei handelt es sich um einen schussbereiten Roboter, der an der Grenze von Süd- und Nordkorea zum Einsatz kommen soll. »Die Idee, dass Roboter als Grenzpatrouillen einen derart sensiblen Teil der Welt bewachen, macht mir Angst. Im Kalten Krieg hat die Sowjetunion unter anderem die Concorde nachbauen können, ähnlich könnte Nordkoreas Agentennetzwerk Wege finden, den SGR-A1 zu rekons­truieren. Plötzlich ist die Vorstellung von sich gegeneinander aufstellenden Roboter-Armeen keine wilde Spekulation mehr.«
Diejenigen, die die Erforschung autonomer Waffen befürworten wie der britische Think Tank des Royal United Services Institute (RUSI), argumentieren in die umgekehrte Richtung. Wo Maschine auf Maschine trifft, gibt es weniger Platz für Emotionen, es werde präziser geschossen und weniger Menschen stürben beim Fronteinsatz. »Das ist eine unheimlich naive Art, über den Krieg nachzudenken«, sagt dagegen O’Hara. »Von einem Krieg auszugehen, der ausschließlich virtuell oder von Maschinen geführt wird, zeugt von einem kompletten Unverständnis darüber, wie Kriege funktionieren. Hinzu kommt, dass beinahe alle Kriege in der zweiten Hälfte des 20. und zu Beginn des 21. Jahrhunderts asymmetrische Konflikte waren – wobei asymmetrisch als Euphemismus für eine militärische Übermacht gegen revolutionäre, Guerilla- oder Terrorgruppen zu verstehen ist.«
Der Einsatz intelligenter Waffensysteme beschränkt sich nicht auf das Militär. Was, wenn autonome Waffentechniken zur Disziplinierung bei Unruhen, Gefängnisaufständen oder Demonstrationen eingesetzt werden? Mark ­Bishop erklärt: »Reine Rationalität ist vielleicht nicht die beste Antwort auf alle denkbaren Situationen. Viele der größten Abscheulichkeiten der Geschichte sind passiert, wenn Menschen sich wie Maschinen verhalten haben und ihre emotionalen Traumata nicht mehr reflektierten. Warum in aller Welt wollen wir also Kriegsszenarien schaffen, in denen per Definition keine Emotionen mehr existieren?«
Solche hollywoodesken Dystopien eines Maschinenaufstands, der sich gegen seine Schöpfer richtet, beschäftigen auch das Denken von Stephen Hawking und Elon Musk. Das Interesse an der Erforschung künstlicher Intelligenz erklärt sich auch aus der Nähe zu popkulturellen Debatten. Das populäre Nachdenken über künstliche Intelligenz verweist stets in eine nicht allzu ferne Zukunft. Darüber, dass wir diese Zukunftsvisionen in Teilen längst erreicht haben, herrscht Einigkeit bei O’Hara und Bishop. Interessanterweise bemühen beide Beispiele aus dem Finanzsektor.
»Wer sich fragt, was passiert, wenn man den Menschen aus dem Spiel nimmt, soll sich die Wall Street ansehen«, sagt O’Hara. »Dort ist autonome finanzielle Kriegsführung bereits in vollem Gang. Per Hochfrequenzhandel bieten Algorithmen mit einer Geschwindigkeit auf Wertpapiere, die es menschlichen Händlern schlicht unmöglich macht, rechtzeitig einzugreifen. Unternehmen geben viel Geld für Immobilien aus, um ihre Computer möglichst nah an den Zentralrechnern zu platzieren. Nano­sekunden können entscheidend sein.« 2010 kam es im Hochfrequenzhandel zu einem Flash-Crash, bei dem innerhalb von zehn Minuten mehr als 1,3 Millionen Aktien gehandelt wurden. Die Eskalation der Algorithmen hatte den Geldbeutel der Anleger erreicht.
Bishop verweist ebenso auf den Flash-Crash vom 6. Mai 2010, sowie auf eine Kuriosität im Bereich des Online-Buchmarktes. Am 18. April 2011 wurde auf Amazon der eher dröge akademische Titel »The Making of a Fly« von Peter Lawrence zum wohl teuersten Buch der Lite­raturgeschichte. Dem voraus ging das gegenseitige Hochschaukeln zweier Bots der Anbieter Profnath und Bordeebook. So stand der Band über den Körperbau der Fliege, der gebraucht für 35 Dollar zu bekommen war, bald bei einem Neupreis von knapp 24 Millionen Dollar. Eine deutliche Mahnung sieht Bishop im berühmten Fall der Operation Able Archer. »Die meisten Beobachter sagen, dass wir seit der Kubakrise 1962 dem nuklearen Armageddon nie mehr so nah waren wie 1983. Damals identifizierte eines der russischen Raketenabwehrsysteme fälschlicherweise eine amerikanische Rakete im Anflug auf die Sowjetunion. Glück­licherweise war ein Mensch involviert, Stanislav Petrov, ein Leutnant von mittlerem Rang. Er überschrieb mehrfach die eingehenden Informationen und weigerte sich, einen Nuklear­schlag gegen Amerika zu autorisieren. Wäre all dies automatisiert gewesen, nun, ich bezweifle, dass wir uns gerade unterhalten könnten.« So unterschiedlich diese Beispiele in ihren tatsächlichen Auswirkungen sein mögen, eines machen sie mehr als deutlich: Die ihnen zu Grunde liegenden Algorithmen repräsentieren vor allem die Meinungen und Fehlbarkeit ihrer Programmierer. Einmal installiert sind solche Algorithmen relativ starre, in ihren Funktionen unflexible Gebilde. »Egal, was du gestaltest, eine autonome Waffe, ein paar Jeans, ein Gebäude oder einen Hochfrequenzhandels-Algorithmus. All diese Formen beinhalten übernommene Aspekte, über die man sich als Designer nicht unbedingt im Klaren ist«, sagt O’Hara.
Wir sollten daher weniger die künstliche Intelligenz als die künstliche Dummheit fürchten, meint Mark Bishop. Seit 2012 arbeitet Bishop für ICRAC (International Committee of Robot Arms Control), ein Expertenkomitee, das es sich zur Aufgabe gemacht hat, die politischen Entscheidungsgremien auf höchster Ebene über die Gefahren autonomer Waffen aufzuklären. Auch O’Hara ist informell mit ICRAC verbunden. Das Komittee unterstützt auch offiziell die Forderungen des Future of Life Institutes, dessen Petition Bishop ebenfalls unterzeichnet hat. Gleichzeitig ist er skeptisch gegenüber gewissen Spekulationen. Musks Einschätzung, wonach die Entwicklung künstlicher Intelligenz die derzeit »größte existentielle Bedrohung« sei, teilt er nicht.
Den fundamentalen Denkfehler sieht Bishop in der Annahme, menschliche Kognition wäre vollständig zu berechnen und durch Computersysteme zu simulieren. In Anlehnung an Sir Roger Penrose schlussfolgert Bishop, dass sowohl die Grundlagen mathematischen Verständnisses als auch menschliche Kreativität nicht zu berechnen sind. Die Realisierung eines im besten Fall von Scarlett Johansson beseelten, empathiebegabten Programms, wie Spike Jonze es in seinem Film »HER« darstellt, brauchen wir also nicht zu erwarten. Seine zweite Annahme stützt sich auf John Searles berühmtes Gedankenexperiment »The Chinese Room« und besagt vereinfacht, dass Computer komplexe Vorgänge nie in vollem Umfang verstehen und es a priori auch nie können werden. Bishops eigene Ableitung dessen unter dem Titel »Dancing With Pixies« beschreibt das Unvermögen von Computerprogrammen, phänomenologisches Bewusstsein, für, sagen wir, das Rot einer Rose oder das vage Gefühl der eigenen Existenz, auszubilden. Kein Bewusstsein, kein Verständnis, keine Erkenntnis oder Kreativität – Bishop spricht hier vom unüberbrückbaren humanity gap.
Die vielen Kritiker autonomer Waffen mögen dasselbe Ziel verfolgen, sind jedoch, wie unter Forschern nicht anders zu erwarten, inhaltlich keinesfalls einer Meinung. ICRAC versteht sich als Teil der Campaign to Stop Killer Robots, ­einer aus mehr als 55 NGOs bestehenden Organisation, die sich für ein weltweites Verbot autonomer Waffensysteme einsetzt. Regelmäßig diskutierte das Komitee in Sondersitzungen mit den UN, zuletzt im April 2015. Organisatorisch orientiert man sich an der erfolgreichen Kampagne zum Verbot von Landminen, ICBL. Der Kerngedanke von ICRAC beruht auf der Überzeugung, dass Systeme, die auf künstlicher Intelligenz basieren, auf absehbare Zeit nicht gemäß der Menschenrechtskonventionen agieren würden. Sie könnten weder über die Notwendigkeit noch über das richtige Maß der Gewaltausübung entscheiden. Drittens könnten sie Freund und Feind nicht verlässlich voneinander unterscheiden.
Von einem Konsens unter den Forschern sind wir weit entfernt. 65 Jahre nachdem Alan Turing sich fragte, ob Maschinen denken könnten, scheint die Debatte darüber, ob wir Waffen für uns über Leben und Tod entscheiden lassen wollen, dringlicher denn je. Im Guar­dian warfen Jessica Bland und Jack Stilgoe die Frage auf, ob mit dem Verbot autonomer Waffen nicht auch der KI-Forschung als Ganzes ein Bärendienst erwiesen wird. Die Bedenken sind berechtigt, verfehlen aber den Punkt. Weiter geforscht wird ohnehin, in jedem Informatik- und Ingenieursinstitut weltweit. ICRAC im Speziellen geht es nicht um die Forschung, sondern konkret um ein Verbot der Tests autonomer Waffensysteme zum Kriegseinsatz. Im September hat das isländische Institute for Intelligent Machines als erstes internationales KI-Forschungszentrum eine ethische Erklärung abgegeben, sich nicht an der Entwicklung von Militärtechniken zu beteiligen.
Mark Bishop ist vorsichtig optimistisch, was die Fortschritte auf politischer Ebene angeht. Ein umfassendes Verbot für Testläufe an LAWS würde zumindest die Rahmenbedingungen für weitere Aktionen bieten, sagt er. Die größten Probleme sieht er ohnehin weniger bei den UN als in der weltweiten Rüstungslobby. »Ich wage zu denken, dass die UN überzeugt werden können. Mittels unangekündigter Inspektionen könnte man überprüfen, ob sich Länder wie China, USA, Israel und Russland an die Vorgaben halten und, falls nicht, konkrete Schritte unternehmen. Das Treffen mit den UN im April hat gezeigt, dass wir uns in die rich­tige Richtung bewegen. Aber es geht sehr langsam. Die internationalen Hersteller von Kriegswaffen verfügen über eine mächtige Lobby. Erst kürzlich ging die Nachricht um, die chinesische Regierung würde Druck auf ihre Forscher ausüben, sich nicht für ein Verbot autonomer Waffen stark zu machen. Sicher, nicht jeder hält sich an die Vorgaben der UN. Aber es wäre ein wichtiger Schritt in die richtige Richtung.«