„Die KI wird uns töten“

KI: synthetisches Bild.

Im August geschrieben, am 27. Oktober 2026 neu gefasst.

Seit einigen Monaten verbringen die Männer, die künstliche Intelligenz bauen, einen Teil ihrer Zeit damit zu erklären, dass sie uns vernichten könnte. Bill Gates hat ihr im August ein gutes Dutzend Seiten gewidmet. Elon Musk forderte schon 2023 ein Moratorium. Dario Amodei, der Anthropic leitet, sagt das Verschwinden der Hälfte aller Einstiegsstellen im Büro voraus. Im Herbst haben sie gemeinsam einen Aufruf zur Verlangsamung unterzeichnet.

Ich habe diese Texte ganz gelesen. Es gibt darin eine Regelmäßigkeit.

Das Rennen

Gates verwirft die Verlangsamung in zwei Zeilen, mitten in seinem Essay: Hätte jemand einen glaubwürdigen Plan, die KI weltweit zu bremsen, er würde ihn wahrscheinlich unterstützen, aber er glaubt nicht, dass es dazu kommt. Das Unvermeidliche wird als Tatsache gesetzt, ohne Beweis. Alles Weitere verwaltet die Schäden: Die Unternehmen kassieren die Gewinne, die Staaten zahlen die Umschulung.

Musk hat im März 2023 den Brief unterzeichnet, der sechs Monate Pause in der KI-Entwicklung forderte. Vier Wochen später gründete er seine eigene KI-Firma. Und diese Pause hätte, wäre sie gekommen, den Marktführer sechs Monate lang eingefroren — genau die Zeit, die ein Nachzügler braucht, um sich zu platzieren.

Anthropic schließlich schlägt echte Regeln vor, und das muss man anerkennen: Grenzen, die das Unternehmen veröffentlicht und nicht zu überschreiten verspricht, Unterstützung für das kalifornische Gesetz, gegen das die übrige Branche kämpfte. Es sind Regeln, an die Anthropic sich ohnehin schon hält.

Alle drei Alarme haben dieselbe Form: Keiner bedroht die Stellung dessen, der ihn auslöst. Der gemeinsame Aufruf vom Herbst macht keine Ausnahme. Man verlangsamt, sofern alle verlangsamen. Niemand bremst allein. Und ich sehe weder die Chinesen noch die Russen noch sonst irgendwelche Verrückten ihrerseits langsamer machen.

Und wenn die Angst begründet wäre?

In den sozialen Netzwerken kommt die Antwort als Bild: ein Roboter, ein rotes Auge, eine Maschine, die alles tötet, was sich bewegt. Das ist das schwächste Szenario von allen. Es gibt vier plausible Argumente.

Ein Mensch benutzt die Maschine, um ein Virus herzustellen: der einzige kurze Weg, und der einzige, auf dem wenige Menschen die ganze Welt erreichen können. Angriffe auf Stromnetze, Wasser, Krankenhäuser: viele Tote, nicht die Menschheit. Die Maschine, die das Militär berät: ein Krieg aus Versehen — 1983 weigerte sich der sowjetische Offizier Stanislaw Petrow, seinem Bildschirm zu glauben, der fünf amerikanische Raketen meldete, und er hatte recht. Und schließlich die Maschine, die ihrem Herrn entkommt. Das ist das Argument, von dem alle reden, und das schwächste: man muss ihr nur den Strom abdrehen, und die Geschichte ist zu Ende.

Was bremst den ersten Weg? Ein ausgebildeter Virologe braucht die Maschine nicht, er weiß es bereits. Wem sie hilft, das ist der entschlossene Laie — und der entschlossene Laie muss immer noch züchten, hantieren und sich schützen, in einem Labor, das man nicht in der Garage improvisiert. Vor allem braucht er den Rohstoff. Synthetische DNA bestellt man heute per Post; seriöse Anbieter gleichen jede Bestellung mit einer Liste gefährlicher Sequenzen ab, und in den meisten Ländern verpflichtet sie nichts dazu. Dort müssten die Regeln ansetzen. Nicht bei den Modellen.

Das Virus, das uns alle dahinraffen würde, verlangt obendrein eine Kombination, die es nie gegeben hat. Ebola tötet jeden zweiten Erkrankten und hat außerhalb Afrikas nie eine Epidemie ausgelöst: Ein Kranker, der liegt, steckt niemanden mehr an. Covid tötete weniger als einen von hundert Infizierten und ging dreimal um die Welt. Hoch ansteckend und hoch tödlich zugleich, das kommt in der Natur nicht vor.

Eine Sache, die selten erzählt wird. In den 1990er Jahren hatte die Sekte Aum Shinrikyo das Geld, studierte Wissenschaftler, Labore und den Willen. Sie scheiterte: 1993 ließ sie Anthrax über einem Tokioter Viertel frei, und niemand wurde krank. Sie wich auf Sarin in der U-Bahn aus.

Wir haben auf niemanden gewartet

Die Menschheit hat nie eine Maschine gebraucht, um sich in großer Zahl umzubringen. Im vergangenen Jahr zählten die Forscher aus Uppsala 65 Konflikte unter Beteiligung eines Staates: so viele wie nie, seit sie zählen, also seit 1946.

Ukraine, allein im Jahr 2025 (94 700). 14-18 (15 bis 22 Millionen). 39-45 (70 bis 85 Millionen), darunter die Schoah (6 Millionen). Stalin (6 bis 9 Millionen). Maos Großer Sprung nach vorn (35 bis 45 Millionen). Die Roten Khmer (1,5 bis 2 Millionen). Ruanda, in hundert Tagen (500 000 bis 1 Million).

Man hat die Fachleute gefragt. Knapp 2 800 Forscher haben 2023 geantwortet: Zwischen 38 und 51 Prozent von ihnen geben einem Ausgang, der so schlimm wäre wie das Aussterben der Menschheit, mindestens eine Chance von eins zu zehn. Das ist keine Vorhersage. Das ist eine höfliche Art zu sagen, dass sie es nicht wissen.

Und welchen Ursprung man Covid auch zuschreibt: Die folgenreichste Pandemie seit einem Jahrhundert kam ganz ohne künstliche Intelligenz aus.

Heute werde ich mit größerer Wahrscheinlichkeit von meinem Nachbarn umgebracht als von einer durchgeknallten KI.

Sources