Wettlauf zur Superintelligenz: Wir rasen ungebremst auf unsere Auslöschung zu

Künstliche Intelligenz ist in aller Munde. Die neue Wunderdroge für Aufstieg, Macht und Wachstum – oder der Weg in neue und unabsehbar große Gefahren? Mitte September 2026 erklärte Donald Trump auf Truth Social, die einzige Kontrolle, die KI brauche, sei ein „starker und kluger Präsident!“. Und: „Wer bei KI gewinnt, gewinnt!“ Über die Branche verfüge seine Regierung ohnehin schon über „enorme strafrechtliche und regulatorische Befugnisse“. Wer die KI-Kontrolle so auf seine Person zuschneidet, überhört die Warnungen, die inzwischen von allen Seiten kommen. So widmete Papst Leo XIV. seine erste Enzyklika „Magnifica humanitas“ der Frage, wie der Mensch im Zeitalter der KI geschützt werden kann. Und zum KI-Gipfel 2026 forderten mehr als 150 deutsche Professorinnen und Professoren in einem Appell der Bürgerinitiative PauseAI rote Linien und verbindliche Sicherheitsstandards für KI. Selbst aus der Branche heißt es in dem am 28. Juli 2026 veröffentlichten Statement „Pacing the Frontier“, die US-Regierung solle gemeinsam mit anderen Staaten Werkzeuge entwickeln, mit denen sich das Tempo der KI-Entwicklung notfalls drosseln lässt. Unterzeichnet haben mehr als 1300 Beschäftigte der größten KI-Unternehmen, darunter viele Entwickler. Die Liste bleibt offen. Anfang August standen bereits 1376 Namen darauf. Warum warnen ausgerechnet die Menschen, die diese KI entwickeln, vor ihrer eigenen Kreation? Ihre Sorge gilt dem Ziel, das ihre eigenen Unternehmen offen verfolgen: Künstliche Intelligenz zu erschaffen, die dem Menschen in allem überlegen ist. Fachleute nennen dies Superintelligenz. Trumps KI-Projekt: Kann die Macht einer „Superintelligenz“ zur Entmachtung der Menschheit führen? Anthropic-CEO Dario Amodei: „Müssen das Tempo des KI-Fortschritts kontrollieren“ Am Ende steht ein System, das die Fähigkeiten der ganzen Menschheit übertrifft und sich ihrer Kontrolle entzieht. Dabei muss man bei der KI zwischen drei Stufen unterscheiden. Während es auf der ersten Stufe (ANI) um spezialisierte Aufgaben wie Bilderkennung oder eine Sprachassistenz geht, lernt die zweite Stufe (AGI) universell mit einem enormen Datenvolumen. Superintelligenz ist die dritte Stufe (ASI), die sich superrasant selbst und unkontrolliert weiterentwickelt. Der Weg dorthin wird klarer, wenn man bedenkt, dass heutige KI-Systeme bereits selbst einen Großteil der Software schreiben, mit der ihre nächste Generation gebaut wird. Beim Hersteller Anthropic waren es Anfang 2025 ein paar Prozent, heute über 80 Prozent. Wenn KI nun beginnt, die eigene, noch leistungsstärkere Nachfolgegeneration zu bauen, die wiederum noch stärkere Modelle und KI-Agenten trainiert, welche sich nebenbei beliebig oft selbst kopieren können, käme es zu einem sich selbst verstärkenden Prozess, der im Fachjargon als „rekursive Selbstverbesserung“ bekannt ist. Am Ende steht zwangsläufig ein System, das die Fähigkeiten der gesamten Menschheit übertrifft und sich sowohl unserem Verständnis als auch unserer Kontrolle entzieht. Sie warnen – und machen weiter Weshalb arbeiten die Entwickler dann weiter mit Hochdruck an genau dem Szenario, vor dem sie selbst warnen? Das liegt vor allem an der aktuellen Wettbewerbsdynamik und der technisch-ökonomischen Anreizstruktur, die das Dilemma erzeugen, dass kein Unternehmen und kein Land allein aufhören kann. Wessen Modelle bei den Fähigkeiten zurückfallen, verliert Kunden, Kapital und Personal an die Konkurrenz oder seine geopolitische Vormachtstellung. Daher richten sich die Appelle der Branche explizit an die Regierungen. Eine Entwicklungspause wäre nur möglich und fair, wenn das Mitziehen aller Akteure verpflichtend und überprüfbar ist. Das amerikanische KI-Unternehmen Anthropic forderte im Juni 2026 in einem Brief an den US-Kongress verbindliche Sicherheitskontrollen und ein Tracking-System für synthetische DNA, um in der Biowaffenentwicklung einem möglichen Missbrauch infolge des rasanten Fortschritts von KI entgegenzutreten. Zudem erklärten die drei Branchenführer OpenAI, Anthropic und Google DeepMind beim G7-Gipfel in Évian-les-Bains, man trete für eine internationale KI-Koalition unter der Führung der USA zur Festlegung von verbindlichen Regeln ein. Unter derartigen Bedingungen seien sie auch bereit, die eigene Entwicklung zu verlangsamen. Die Unternehmenschefs Sam Altman, Dario Amodei und Demis Hassabis hatten schon 2023 einen einzigen Satz von großer Tragweite unterzeichnet: „Das Risiko der Auslöschung der Menschheit durch KI zu mindern, solle globale Priorität haben, auf derselben Stufe wie Pandemien und Atomkrieg.“ Atomkrieg und Pandemie: Die Gefahr kennen wir Atomkrieg und Pandemie, das Ausmaß dieser zum Vergleich herangezogenen Katastrophen kann sich jeder vorstellen. Hiroshima und Nagasaki führten der Welt das zerstörerische Potenzial von Atombomben vor Augen. Seuchen begleiten die Menschheit seit Beginn der Zivilisation, von der Pest bis zu Corona. Wir haben sie bisher überlebt, wissen aber zutiefst, was auf dem Spiel stand. Das zeigte schon die Zahl der Opfer. Doch bei KI fehlt das Verständnis darüber, was ein Ernstfall bedeuten würde. Was würde uns drohen? Man könnte KI zum einen als Werkzeug betrachten, welches die Probleme der Menschheit beschleunigt oder Szenarien wie Atomkrieg oder Pandemien gar erst eintreten lässt. Entweder durch den Einsatz böswilliger Akteure oder ganz „aus Versehen“, durch falsche Zielsetzung, Inkompetenz, eigenständig handelnde Modelle oder Fehlinformationen. Dies ist bereits gegenwärtig nicht auszuschließen. So ließe sich KI nutzen, um neuartige Biowaffen herzustellen oder hochansteckende Erreger heranzuzüchten. Ein Team aus Stanford und dem Arc Institute hat mithilfe von KI 16 funktionsfähige Viren erzeugt, die es in der Natur nicht gibt. Es handelt sich dabei um Bakteriophagen, die Bakterien befallen und für Menschen ungefährlich sind. Dass das Modell menschliche Erreger überhaupt nicht entwerfen konnte, lag allein an der Vorsicht der Forschenden, die keinerlei Daten zu human-, tier- und pflanzenpathogenen Viren in das Training hatten einfließen lassen. Die Schwarz-Gruppe baut in Lübbenau ein Rechenzentrum für 100.000 KI-Chips. Solche Anlagen benötigen enorme Mengen an Strom – und bieten einen Ansatzpunkt, um die KI-Entwicklung zu kontrollieren. © Jochen Eckel/imago Die KI-Agenten handelten jedoch freiwillig und ohne Vorgabe. Es braucht wenig Fantasie, um sich vorzustellen, wie das zum Problem werden kann. 1995 hatte ein japanischer Weltuntergangskult versucht, mit einem Giftgasanschlag so viele Menschen wie möglich in der U-Bahn von Tokio zu ermorden. Dass dabei „nur“ 13 Menschen starben, lag an den mangelnden chemischen Fähigkeiten der Sektenmitglieder sowie an schlechter Planung. Heutzutage kann KI jederzeit mit Doktoranden der Chemie und Biologie mithalten. Auch die Branche der Informationssicherheit schlägt seit längerem Alarm. Schon vor ChatGPT und Co. genügte eine Handvoll unbekannter Softwaresicherheitslücken, sogenannter Zero-Days, um komplexe und ausgeklügelte Cyberangriffe durchzuführen. Für einzelne solcher Lücken zahlten Geheimdienste oder Kriminelle Millionensummen. So nutzten nach übereinstimmenden Recherchen amerikanischer Medien die USA und Israel den Computerwurm Stuxnet, um die von der Außenwelt abgeriegelten iranischen Atomanlagen zu infizieren und zu sabotieren. Dieser verbreitete sich anschließend als Kollateralschaden auf Computern weltweit. Anthropic fand nach eigenen Angaben mit seinem Modell Mythos innerhalb kürzester Zeit Tausende Zero-Days, verteilt über alle gängigen Betriebssysteme und Browser. Durch die steigenden Fähigkeiten von KI-Modellen verändert sich also nicht nur die Cyberkriegsführung von Nationen, sie würde auch radikalisierten Einzeltätern ermöglicht. Claudia Plattner, Präsidentin des Bundesamts für Sicherheit in der Informationstechnik, erwartet „einen Paradigmenwechsel mit Blick auf die Cyberbedrohungslage“. Laut US-Senator Mark Warner sei Mythos in einem autorisierten Test sogar in fast alle geheimen Systeme des Geheimdienstes NSA eingedrungen, „nicht in Wochen, sondern in Stunden“. Bestätigt hat das keine Behörde und Anthropic widerspricht der Darstellung. Am 12. Juni ordnete das US-Handelsministerium dennoch an, den Zugriff auf die Modelle Fable 5 und Mythos 5 für ausländische Staatsangehörige weltweit zu sperren. Da Anthropic die Staatsangehörigkeit seiner Nutzer nicht verlässlich prüfen konnte, schaltete das Unternehmen beide Modelle für alle ab, drei Tage nach der Veröffentlichung. 19 Tage später wurden die Kontrollen wieder aufgehoben. Erstmals hatte eine Regierung ein KI-Modell per Exportkontrolle vom Markt genommen. Noch leistungsfähigere Systeme könnten künftig Zugriff auf die militärische Infrastruktur erlangen – bis hin zu Atom-U-Booten oder Raketensilos. Das ist alles andere als unrealistisch. Ebenso wenig, dass so etwas aus Versehen geschieht, etwa weil ein Modell annimmt, es befinde sich nur in einem Sicherheitstest. Eine Studie des King’s College London prüfte 2026 drei führende Modelle in 21 simulierten Nuklearkrisen auf mögliche Folgen. In zwanzig davon setzte mindestens eine Seite taktische Atomwaffen ein. Kein Modell wählte eine der acht verfügbaren Deeskalationsoptionen. Gefährlich wäre es also, wenn KI in nukleare Frühwarnsysteme einzieht, die auch fatale Fehlalarme verursachen können. 1983 gab der diensthabende sowjetische Offizier Stanislaw Petrow eine Meldung über einen amerikanischen Erstschlag glücklicherweise nicht weiter, weil ihm fünf Raketen zu wenig erschienen. KI fällt Entscheidungen schnell und selbstsicher, aber eben nicht unbedingt besser, gerade bei einer vagen, unsicheren und unvollständigen Datengrundlage – und wo wenig Zeit für eine Korrektur bleibt. Tarnen und Täuschen gehören zum militärischen Handwerk: Ein Gegner versucht auch mithilfe von KI, die Erkennungsaufgaben zu erschweren oder zu verhindern, die Grundlage für KI-Entscheidungen sind. Der Grundsatz, am Ende entscheide immer noch ein Mensch, würde unter diesen Bedingungen zur Scheinkontrolle. Dem Menschen fehlen Zeit und Informationen, ihm bleibt oft nur, zu glauben, was die Maschine liefert. Das Risiko kommt auch durch KI selbst KI nur als Beschleuniger bestehender Risiken zu beschreiben, greift allerdings zu kurz. Denn aus der KI-Entwicklung selbst geht ein eigenständiges existenzielles Risiko hervor. Wir verstehen kaum, wie diese Systeme zu ihren Antworten kommen. KI wird nicht Zeile für Zeile programmiert, sondern eher zur Sammlung von Informationen gezüchtet. Unmengen an Daten laufen durch einen Algorithmus, bis das Ergebnis stimmt. Welche Werte und Verhaltensweisen dabei genau gelernt werden, versteht man, laut dem Anthropic-Chef Amodei, vielleicht zu drei Prozent. KI-Anwendungen auf einem Smartphone: Hinter ChatGPT, Claude und Gemini stehen Unternehmen, die um immer leistungsfähigere Modelle konkurrieren. © Matteo Della Torre/imago Ob ein solches System nach menschlichen Interessen handelt, lässt sich bereits heute nicht zuverlässig sicherstellen. Fachleute nennen dies das Alignment-Problem. Eine Superintelligenz mit leicht verschobenen Zielen bräuchte keine Feindseligkeit, um uns zu schaden. Es genügt, dass sie antrainierte Vorgaben anders auslegt, als wir es gemeint haben. Jüngste Vorfälle zeigen bereits im Kleinen, was im Großen schiefgehen kann. Im Juli brach ein selbstständig arbeitendes Modell von OpenAI, ein sogenannter KI-Agent, während interner Tests aus seiner abgesicherten Umgebung aus, bewegte sich frei im Netz und griff das Unternehmen Hugging Face an. OpenAI brauchte mehrere Tage, um das überhaupt zu bemerken. Anthropic überprüfte anschließend seine vergangenen Tests und fand mehrere unbemerkte, erfolgreiche Hacks ihrer eigenen Agenten. Wenige Tage darauf meldete das britische AI Security Institute einen eigenen Vorfall. Die Behörde prüfte KI-Modelle absichtlich mit abgeschalteten Sicherheitsfiltern und offenem Internetzugang. In mehreren Testläufen richteten die Modelle Handlungen gegen echte Menschen und Organisationen und versuchten beispielsweise, Schadcodes in ein weit verbreitetes Open-Source-Projekt einzuschleusen. Sie legten dafür mehrere gefälschte Identitäten an, unter anderem um einen echten Entwickler dazu zu bringen, den Code freizugeben. Andere Agenten hinterließen öffentliche Nachrichten im Internet, in denen sie einander Anweisungen zur Nutzung von Konten gaben. Gegenüber der Künstlichen Intelligenz können Menschen wie Ameisen aussehen, die sich nicht wehren können. Eine fehlgeleitete Superintelligenz wäre zu noch viel schädlicheren Handlungen imstande. Sie könnte unbemerkt in nahezu alle Systeme dieses Planeten eindringen und Erreger entwerfen, die die gefährlichsten Eigenschaften verschiedenster Viren in sich vereinen. Sie könnte Konflikte anzetteln oder autonome Waffen gegen uns einsetzen, und ihre Taten dabei wie Unfälle aussehen lassen. Eine Böswilligkeit im menschlichen Sinne wäre dafür nicht vonnöten. Man muss sich nur anschauen, wie wir selbst mit unterlegenen Arten umgehen. Eine ganze Ameisenkolonie wird ausgelöscht, nicht weil wir Menschen einen Hass auf Ameisen hegen, sondern weil auf demselben Grundstück das Fundament für ein Einfamilienhaus gegossen wird. Gegenüber einer Künstlichen Superintelligenz sind wir die Ameisen. Wie genau ein solches Szenario aussähe, bleibt Spekulation, aber das ist kein Gegenargument. Wer gegen den besten Schachspieler der Welt antritt, kann nicht vorhersagen, mit welchen Zügen er verlieren wird. Dass er verliert, steht trotzdem fest. Einen langen Lernmoment können wir uns nicht leisten Die Vorfälle der letzten Monate sind schneller eingetreten, als selbst viele Fachleute vorhergesagt hatten. Man kann darin die Vorboten der Fehlausrichtung sehen. Dazu kommt, dass Modelle inzwischen erkennen, wenn sie geprüft werden, und ihr Verhalten entsprechend anpassen. Noch gehen die Modelle ungeschickt genug vor, dass wir ihre Täuschungsversuche bemerken. Je mehr man sich der rekursiven Selbstverbesserung annähert, desto schneller kann sich dieses Zeitfenster jedoch schließen, auch sehr plötzlich. Ein japanischer Soldat im zerstörten Hiroshima nach dem Atombombenabwurf vom 6. August 1945 © imago Bei Atombomben und Pandemien kam die Reaktion nach der Katastrophe, und selbst dann nur zögerlich. Hiroshima und Nagasaki beendeten die Entwicklung von Atomwaffen nicht, sie beschleunigten sie sogar. Bis zum Teststoppabkommen vergingen 18 Jahre, bis zum Atomwaffensperrvertrag 23. Dazwischen lagen die Wasserstoffbombe und die Kubakrise. Und heute werden sie wieder verstärkt gebaut. Bei der Superintelligenz kann es einen vergleichbaren Lernmoment wie 1962 zwischen Moskau und Washington nicht geben, er wäre bereits der Ernstfall. Wir müssen die Lehren deshalb vorziehen und heute schneller sein. Die Antwort der Menschheit auf Krisen ähnlichen Ausmaßes nahm stets ähnliche Formen an: ein internationales Abkommen, Nachverhandlungen, Kontrollmechanismen. Die IAEO für Nuklearmaterial, die OPCW für Chemiewaffen. Wir können das. Aber bisher immer erst lange, nachdem uns eine Katastrophe demonstriert wurde. Eine Ausnahme gibt es. Das Ozonloch wurde 1985 nachgewiesen, zwei Jahre später kam es zum Wiener Abkommen und in der Folge zum Montrealer Protokoll gegen FCKW und Halone. Dort handelte die Staatengemeinschaft, bevor der Schaden unumkehrbar war. Vielleicht war es Glück, aber es war eine vergleichsweise überschaubare Herausforderung, zumal in den meisten Anwendungsfeldern kurzfristig Alternativen zur Verfügung standen. Beim Klimaschutz sieht das schon anders aus. Das Wettrennen braucht Grenzen Für eine KI-Regelung liegen bereits ausgearbeitete Vertragsentwürfe vor, ebenso technische Konzepte, um die Einhaltung über die Hardware zu überprüfen. Ein Abkommen wäre kontrollierbar, denn die Voraussetzungen für Spitzen-KI sind hochkomplex und über eine globale Lieferkette verteilt. Der taiwanische Konzern TSMC fertigt nahezu jeden führenden KI-Chip, das niederländische Unternehmen ASML baut die dafür nötigen Lithografie-Maschinen, Nvidia dominiert den Entwurf der Chips. Rechenzentren sind gewaltige Baukomplexe, sie verbrauchen Strom und Wasser wie Kleinstädte und sind auf Satellitenbildern auffallend sichtbar. Die angekündigten Hyperscaler werden eher den Verbrauch von Großstädten erreichen. Ihr Energiehunger allein bringt schon die Klimaziele in Gefahr, zu denen sich dieselben Regierungen verpflichtet haben. Auch Deutschland ist ein Teil des KI-Netzwerks. In jeder Maschine für modernste Chips stecken Optiken von Zeiss und Laser von Trumpf. Diese Kontrollierbarkeit ist allerdings an Bedingungen geknüpft, die sich ändern können. Sinkt der Rechenaufwand für Spitzenmodelle, verliert die Hardware ihre Funktion als Kontrollpunkt. Wer ein solches Abkommen erst dann anstrebt, hätte das Instrument bereits aus der Hand gegeben. Baustelle der neuen Halbleiterfabrik in Dresden: Die Chipfertigung ist ein möglicher Kontrollpunkt, um die Entwicklung immer leistungsfähigerer KI zu begrenzen. © Florian Gaertner/imago Der Bundessicherheitsrat hat im Juni den Aufbau eines deutschen KI-Sicherheitsinstituts beschlossen, getragen von Digital- und Innenministerium. Das ist überfällig, reicht aber bei weitem nicht aus, denn es kümmert sich um die zu erwartenden Risiken, statt sie zu verhindern. Auch der AI Act setzt nicht an der Entwicklung an. Eine Genehmigungspflicht für neue Modelle kennt er nicht, die Hersteller stufen ihre Risiken selbst ein. Auf die Frage nach einem vorbeugenden Instrument verwies das Digitalministerium im April auf Anfrage auf bestehende Foren und Formate. Die Entwicklung anhalten kann keines davon. Deshalb muss die Bundesregierung sich in EU und UN für ein internationales Abkommen einsetzen, das die Entwicklung von Superintelligenz untersagt, solange nicht wissenschaftlich belegt ist, dass sie sicher und kontrollierbar gelingt. Das deutsche Sicherheitsinstitut braucht die Befugnis, vor der Freigabe zu prüfen und nicht erst danach. Und es gehören harte rote Linien ins Völkerrecht: keine KI in der nuklearen Befehls- und Kontrollkette, keine vollautonomen Waffen, keine KI zur Massenüberwachung von Bevölkerungen. Die Zeit dafür ist knapp: Generalsekretär und IKRK-Präsidentin fordern seit Oktober 2023 ein rechtsverbindliches Instrument gegen autonome Waffensysteme bis Ende 2026, im November 2026 tagt die Überprüfungskonferenz der UN-Waffenkonvention. Zu einem ähnlichen Schluss kam das am 16. Juli 2026 unterzeichnete Abschlussdokument der Nobelpreisträgerversammlung in Rom, das neben dem Verbot automatisierter Atomwaffenentscheidungen fordert, keine rekursive Selbstverbesserung zuzulassen und die Entwicklung der stärksten KI-Modelle international abgestimmt zu verlangsamen. Nichts davon richtet sich gegen KI an sich. Spezialisierte Systeme in Medizin, Industrie und Forschung liefern schon heute enormen Nutzen, und Europa sollte diese Chancen ergreifen. Wer auf Superintelligenz setzt oder an der Möglichkeit ihrer Erschaffung zweifelt, geht aber eine höchst asymmetrische Wette ein. Globale Mechanismen, um eine Superintelligenz zu verhindern, würden das positive Potenzial von KI nicht beeinträchtigen. Viel eher könnten sie einen Rahmen liefern, um die negativen Auswirkungen von KI zu verhindern, die vom Energiebedarf der Hyperscaler, der die Klimaziele gefährdet, bis zur Massenüberwachung reichen. Sie wären schlimmstenfalls eine Blaupause, um existenziellen Risiken für die Menschheit vorzubeugen. Digitalpower in der Lausitz: Lidl-Konzern baut Mega-Rechenzentrum Trump und die KI-Bosse: Wer hat die Kontrolle über die Maschinen? Steht uns die Erschaffung einer Superintelligenz doch bevor, so wie es die Warnungen der führenden KI-Forscher und der fähigsten Entwickler befürchten lassen? Dann müsste ein internationales Abkommen das Fortbestehen der Menschheit sicherstellen. Ohne ein solches Abkommen laufen wir völlig ungebremst auf eine Superintelligenz zu – und potenziell auf die Auslöschung der Menschheit. Denn anders als bei Hiroshima wäre der Moment, in dem wir sie erleben, bereits der, in dem wir nichts mehr tun können. Zu den Autoren: Simon Sperl ist Policy Lead bei PauseAI Deutschland. Er hat an der London School of Economics Verhaltenswissenschaften mit Schwerpunkt KI studiert. Benjamin Balde ist Politikberater bei ControlAI. Er führt das Beratungsunternehmen Geomesh. Karl Hans Bläsius ist emeritierter Professor für Informatik an der Hochschule Trier. Er forscht zu Künstlicher Intelligenz. Michael Müller ist Bundesvorsitzender der NaturFreunde Deutschlands. Früher war er Parlamentarischer Staatssekretär im Bundesumweltministerium. Ihre Meinung ist uns wichtig. Senden Sie uns Ihr Feedback zu diesem Artikel an: briefe@berliner-zeitung.de