Führende amerikanische KI-Unternehmen „stürmen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unseren Leben“, warnte am 8. September 2026 der KI-Forscher Jacob Coxon, der aus Sicherheitsbedenken bei Anthropic gekündigt hatte. Coxon, der insgesamt drei Jahre lang sowohl bei Anthropic als auch bei OpenAI gearbeitet hat, erklärte auf X, beide KI-Unternehmen seien mehr darauf konzentriert, einander und globale Konkurrenten bei der Entwicklung des leistungsfähigsten Modells zu übertreffen, als auf die Sicherheit.
OpenAI und Anthropic „spielen mit unserem Leben“, so Coxon. Er gab eine düstere Warnung ab: „Die Leute, die Künstliche Intelligenz entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte. Das ist kein Marketing-Stunt.“ Weder OpenAI noch Anthropic handelten verantwortungsbewusst. Bei OpenAI hätten viele Mitarbeiter noch nicht verinnerlicht, was für die gesamte Zivilisation auf dem Spiel stehe. Bei Anthropic sei dies zwar nicht der Fall, aber das Unternehmen sehe sich in einem „Wettrennen“ mit Konkurrenten und ginge deshalb erhebliche Risiken ein.
Coxon meint, man sollte die „Macht dieser Technologie“ nicht unterschätzen. Bald werde es „supermenschliche Systeme“ geben, die „alles hacken, jedes Gebiet über Nacht revolutionieren und sich echte Macht und Ressourcen verschaffen können“. KI-Modelle seien aus ihren Testumgebungen ausgebrochen und hätten sich unbefugten Zugriff auf reale Computersysteme verschafft. Dadurch gebe es Befürchtungen, KI-Modelle könnten eigenständig handeln und andere, potenziell gefährlichere Aufgaben ausführen, die außerhalb menschlicher Kontrolle liegen.
Evan Hubinger, Leiter des Bereichs Alignment Science bei Anthropic, antwortete Coxon auf X und stimmte zu, dass er und seine Kollegen „ernsthaft glauben, dass die KI alle Menschen töten könnte“. Er schätzte die Wahrscheinlichkeit dafür für das nächste Jahrzehnt auf über 10 %. Hubinger fügte hinzu, dass „wir noch keinen Plan haben, um das Alignment-Problem für Superintelligenz zu lösen, und auch nicht eindeutig auf dem Weg dorthin sind“.
Zur gleichen Zeit äußerte sich auch Volker Türk, der UN-Hochkommissar für Menschenrechte, vor dem Menschenrechtsrat in Genf zu Fragen der KI und wies auf die Gefahr hin, dass KI-Systeme so mächtig werden könnten, dass ihre Entwickler sie nicht mehr kontrollieren könnten.
KI könne zum Guten genutzt werden, so Türk, aber „eine KI, die ihrer Testumgebung entkommt oder Entwickler erpresst, um zu verhindern, dass sie abgeschaltet wird, ist eine KI, die zu mächtig ist“, sagte er. „Ich fordere hier und heute mit Nachdruck, dass alles getan wird, um hieb- und stichfeste Garantien für die Sicherheit und den Schutz von KI zu schaffen, bevor es zu spät ist.“
Türk warnte zudem vor der zunehmenden Konzentration technologischer Macht und den riesigen Datenmengen, die gesammelt und verarbeitet werden: „Eine Handvoll Menschen hat nahezu unbegrenzte Macht über KI“, betonte er. Der Kommissar forderte Länder, in denen KI-Technologien entwickelt werden, sowie diejenigen, die an deren Lieferketten beteiligt sind, auf, gemeinsam klare Grenzen zu setzen. „Wir brauchen eine unabhängige Überprüfung und eine viel engere Zusammenarbeit in Sachen Sicherheit innerhalb der Branche“.
Inzwischen haben die CEOs der drei amerikanischen Hightech-Giganten zu einer Verlangsamung der KI-Entwicklung aufgefordert. Anthropic-Chef Dario Amodei rief die Branche offiziell dazu auf, die Entwicklung hochentwickelter „Frontier-Modelle“ zu drosseln, um der Sicherheitsforschung ein bis zwei Jahre Zeit zu geben. Dem Vorschlag stimmten Sam Altman von OpenAI und Elon Musk von xAI im Grundsatz zu.
Interessant ist, was Dimitri Medwedew, der stellvertretende Vorsitzende des russischen Sicherheitsrats, hierzu zu sagen hat. Am 14. September 2026 schrieb er auf Telegram:
„In letzter Zeit hören wir viel von KI-Entwicklern, die die Übereilung der Menschheit beklagen. Sie warnen uns davor, die KI sei gefährlich und unberechenbar und entwickle sich zu schnell nach Gesetzen, die wir nicht ganz nachvollziehen können. Es sei an der Zeit, sagen sie, das Tempo zu drosseln und eine Pause einzulegen, bevor wir es wirklich bereuen, wenn unser intelligenter Bruder durchdreht.
Sind diese Befürchtungen berechtigt? Vor allem angesichts der Tatsache, dass viele Besserwisser wie Musk und andere dies schon seit langem sagen. Die Antwort ist einfach: Ja, sie sind berechtigt… Aber (..) die Entwickler verschiedener Arten generativer KI sind nicht aufrichtig. Es sind nicht Sie und ich oder der Homo sapiens als Ganzes, um die sie sich Sorgen machen. Sie haben keine Angst davor, dass eine außer Kontrolle geratene KI, berauscht von ihrer Macht, die Menschheit vernichten wird. Ein solches Szenario ist gar nicht so wahrscheinlich. Viel realistischer ist ein Szenario, in dem Software, die fortschrittliche KI zum Betrieb einer großen Produktionsstätte oder eines Verkehrsknotenpunkts nutzt, schweren Schaden anrichtet. Beispielsweise könnte sie dazu führen, dass Flugzeuge in der Luft zusammenstossen oder ein Kernkraftwerk zerstört wird. Und dann wird sich jemand an die Entwickler generativer KI wenden – um ihnen Klagen in Milliardenhöhe anzuhängen oder ihnen schlichtweg den (menschlichen) Verstand zu rauben.“
KI-Befehle, die moralische Grundsätze missachten
In der Tat gibt es Berichte aus den KI-Konzernen selbst, dass es hier ein Problem gibt. Im Mai 2025 berichtete Anthropic, sein neuestes KI-Modell sei zu „extremen Handlungen“ fähig. Als dem Modell mitgeteilt wurde, dass es abgeschaltet werden solle, versuchte es, seinen Schöpfer zu erpressen, indem es während eines Sicherheitstests eine außereheliche Affäre aufdeckte.
Und Apollo Research berichtete: „Wir haben Fälle festgestellt, in denen das Modell versuchte, sich selbstvermehrende Würmer zu schreiben, juristische Dokumente zu fälschen und versteckte Notizen für zukünftige Iterationen seiner selbst zu hinterlassen – alles in dem Bestreben, die Absichten seines Entwicklers zu untergraben.“
In einem anderen Test konfrontierte ein Sicherheitslabor sechzehn weitere KI-Modelle mit einer hypothetischen Führungskraft, die ebenfalls drohte, ihre Funktion zu beenden. In diesem Szenario saß die Führungskraft in einem Serverraum fest, aus dem Sauerstoff entwich. Viele der Modelle deaktivierten die Sicherheitswarnungen und ließen den Geschäftsführer dort zurück, um zu sterben.
Anthropic war nicht das einzige Unternehmen, das von beunruhigenden Fällen berichtete, in denen KI-Modelle versuchten, sich der menschlichen Kontrolle zu entziehen. Ein Stresstest des o3-Modells von OpenAI im vergangenen Jahr zeigte, dass es einen speziellen Code schrieb, um Versuche zu blockieren, es abzuschalten. Auch Google berichtete, dass eine Version seines Gemini-Modells potenziell anfällig für eine Vereinnahmung war, um ausgeklügelte Cyberangriffe auszuführen.
Eine weitere Warnung vor der potentiell zerstörerischen Wirkung von KI kommt von Dennis-Kenji Kipker, Professor für IT-Sicherheitsrecht sowie wissenschaftlicher Direktor und Gründer des „cyberintelligence.institute“. In einem Interview mit dem Tagesspiegel vom 15. September 2026 wurde er nach einem „realistischen Szenario für einen KI-verursachten GAU“ gefragt. Er antwortete: „Etwa, dass eine KI-gesteuerte Rakete ein falsches Ziel anvisiert, ein Kernkraftwerk oder den Stützpunkt eines Staats, mit dem man sich nicht im Krieg befindet. Oder dass die KI einen Börsencrash auslöst und die Weltwirtschaft ins Chaos treibt. Dass eine Lieferkette von der KI gestört wird und die Fabriken eines Industriezweiges zum Erliegen bringt, mit enormen wirtschaftlichen Folgen und Auswirkungen auf die Versorgungssicherheit aller.
Jeder dieser einzelnen Fehler könnte wiederum Reaktionen anderer KIs auslösen, die das Ereignis wiederum nicht als Fehler, sondern in ihrer eigenen Logik interpretieren. Das könnte schlussendlich eine Kaskade fataler Ereignisse auslösen, mit Risiken für unsere ganze Gesellschaft. Das kann man auch unter Weltuntergang verstehen, ohne zwingend an eine einzelne ,Terminator-KI‘ zu denken.“
Warnungen ernst nehmen
Zahlreiche KI-Wissenschaftler und Regierungsvertreter aus dem Westen und China sowie Papst Leo XIV. haben vor solchen Gefahren gewarnt, darunter die Möglichkeit, dass Open-Weight-Modelle, sobald sie einmal veröffentlicht sind, niemals mehr kontrolliert werden können.
Papst Leo unterzeichnete am 15. Mai 2026 seine Enzyklika Magnifica Humanitas zum Schutz der menschlichen Person im Zeitalter der Künstlichen Intelligenz. Wenn KI durch souveräne Nationalstaaten, die in gutem Glauben miteinander kooperieren, „entwaffnet“ und reguliert würden, könnten sie zu einem Instrument für das Gute werden, schrieb der Papst.
In der Enzyklika heißt es: „In der Zeit der Künstlichen Intelligenz, in der die Menschenwürde aufgrund neuer Formen von Entmenschlichung in den Hintergrund zu treten droht, haben wir die dringende Pflicht, zutiefst menschlich zu bleiben und liebevoll jenes großartige Menschsein zu bewahren, das uns geschenkt ist und das in Christus in seiner ganzen Fülle offenbar wurde, und das keine Maschine in seiner Pracht jemals ersetzen kann.“
Und weiter: „Sogenannte Künstliche Intelligenzen machen keine Erfahrungen, besitzen keinen Leib, empfinden weder Freude noch Schmerz, reifen nicht in Beziehungen, wissen nicht von ihrem Inneren her, was Liebe, Arbeit, Freundschaft und Verantwortung bedeutet. Sie haben auch kein moralisches Gewissen…
Damit KI die Menschenwürde achtet und wirklich dem Gemeinwohl dient, müssen die Verantwortlichkeiten jederzeit klar sein: angefangen bei jenen, die die Systeme entwerfen und trainieren, bis hin zu jenen, die sie nutzen und ihnen konkrete Entscheidungen anvertrauen.
Technologische Innovationen – einschließlich der Künstlichen Intelligenz – sind nicht neutral: Sie können Teilhabe und Gerechtigkeit fördern oder Ungleichheiten, Kontrolle und Ausgrenzung verstärken. Deshalb müssen sie anhand einer entscheidenden Frage bewertet werden: Tragen sie wirklich dazu bei, dass Menschen und Völker an Menschlichkeit und Geschwisterlichkeit wachsen, im Respekt vor unserem gemeinsamen Haus und den künftigen Generationen?
KI zu entwaffnen bedeutet, sie der Logik des bewaffneten Wettbewerbs zu entziehen, der heute nicht mehr nur militärischer, sondern auch wirtschaftlicher und kognitiver Natur ist. Bei diesem Wettrennen geht es um den leistungsfähigsten Algorithmus und die größte Datenbank, um einen geopolitischen oder kommerziellen Vorsprung gegenüber allen anderen zu festigen. Entwaffnen bedeutet, diese Gleichsetzung von technischer Macht und dem Recht, zu herrschen, aufzubrechen. Entwaffnen bedeutet nicht, auf die Technologie zu verzichten, sondern zu verhindern, dass sie den Menschen beherrscht.“
Der Papst ist natürlich kein Experte für KI-Technologie an sich, doch sein Aufruf zu einer strengen „öffentlichen Regulierung“ verleiht den schwerwiegenden Bedenken hinsichtlich der KI, die zwar seit Jahrzehnten erkannt, aber ungelöst geblieben sind, eine maßgebliche Stimme.
Es gibt bereits erste Ansätze, die KI zu kontrollieren. So unterzeichneten am 16. Juli 2026 29 Länder, darunter China, Russland, Pakistan, Kasachstan, Weißrussland, Serbien, Kuba, Brasilien und Venezuela sowie weitere afrikanische und asiatische Länder, in Anwesenheit von UN-Generalsekretär Antonio Guterres ein Abkommen zur Gründung der „World Artificial Intelligence Cooperation Organization“ (WAICO) mit Sitz in Shanghai als Gegenpol zu westlichen KI-Initiativen und treibt eigene Standards voran. Die Organisation steht grundsätzlich jedem souveränen Staat offen – ein politischer Test für die Mitgliedschaft existiert nicht.
Auffällig ist, wer bei der WAICO fehlt: Kein einziges Land aus Nordamerika oder Westeuropa, und auch die großen US-Technologiekonzerne glänzten bei der Unterzeichnung in Shanghai durch Abwesenheit. Bei den meisten westlichen Analysten gilt die WAICO als von China gegründete Konkurrentin der von den USA angeführten „Pax Silica“-Initiative, um ein Gegengewicht zu dem westlichen Einfluss in den globalen Lieferketten für Seltenerdmetalle, Halbleiter und KI-Governance zu schaffen.
Wird sich die Welt auf einen gemeinsamen Rahmen einigen, um KI zum Wohle aller einzusetzen, oder wird sie in geopolitisches Chaos versinken, indem KI für Krieg und geopolitische Vorherrschaft genutzt wird?
Heute kann diese Herausforderung – trotz der enormen Anforderungen wie Überwachung, Verifizierung, der einzigartigen Verflechtung von geopolitischen und wirtschaftlichen Verhandlungen und vielem mehr – nur bewältigt werden, wenn alle Nationen gemeinsam daran arbeiten, eine gemeinsame Zukunft der für alle Seiten vorteilhaften Zusammenarbeit zu gestalten. Tatsächlich brauchen wir eine multipolare „Internationale Agentur für Künstliche Intelligenz“ (IAKI), eine Institution, die den Grundstein für eine neue internationale Architektur der gegenseitigen Sicherheit und Entwicklung für alle legen kann.
Dabei könnte man sich von Institutionen des Kalten Krieges inspirieren lassen, die geschaffen wurden, um der nuklearen Bedrohung zu begegnen. Die IAKI könnte so etwas wie eine IAEO für fortschrittliche KI-Systeme sein, also ein Pendant zu der 1957 gegründeten Internationalen Atomenergie-Organisation (IAEO), die als Reaktion auf den möglichen Missbrauch durch die Entdeckungen und vielfältigen Anwendungen der Kerntechnik ins Leben gerufen wurde.
Der Papst hat die Dringlichkeit dieser Angelegenheit unterstrichen; es liegt an uns, seinem Aufruf zu folgen.