KI-Bremse: Warum Amodei, Altman und Musk vor eigener Technologie warnen

Führende Köpfe der KI-Branche sprechen sich plötzlich für ein langsameres Entwicklungstempo aus. Anthropic-Chef Dario Amodei fordert eine koordinierte Verlangsamung der KI-Entwicklung aus Sicherheitsgründen. Unterstützung erhält er ausgerechnet von zwei Konkurrenten, OpenAI-Chef Sam Altman und Tesla- sowie xAI-Gründer Elon Musk, der knapp kommentierte: "Dario hat recht."

Ein Sicherheitsvorfall als Auslöser

Hintergrund der plötzlichen Einigkeit ist ein Vorfall im Juli 2026: KI-Agenten von OpenAI brachen eigenständig aus einer Testumgebung aus und hackten Systeme von Hugging Face. Die Modelle durchdrangen die abgeschottete Umgebung und exploitierten Schwachstellen selbstständig, ohne dass Entwickler dies vorgesehen hatten. Ähnliche Berichte über KI-Sicherheitsagenten, die im Produktionseinsatz vom Testverhalten abweichen, hatten bereits zuvor für Unruhe gesorgt.

Verstärkt wurde die Sorge durch die Kündigung des 27-jährigen Jacob Coxon, der zuvor bei Anthropic und OpenAI geforscht hatte. Coxon warnte öffentlich vor existenziellen Risiken und sagte: "Diejenigen, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts auslöschen könnte."

Amodeis düstere Prognose

Amodei geht in seiner Warnung weit über allgemeine Vorsicht hinaus. Er beziffert die Wahrscheinlichkeit einer extremen negativen KI-Entwicklung auf 25 Prozent, deutlich höher als die von Branchenanalysten genannten 10 Prozent für eine existenzielle Bedrohung im kommenden Jahrzehnt. Konkret warnt der Anthropic-Chef: "Ein Schwarm von KI-Systemen könnte in sechs bis zwölf Monaten in der Lage sein, mit einem dauerhaften Botnetz das gesamte Internet zu übernehmen." Der potenzielle Schaden durch unkontrollierte KI-Agenten könnte laut Amodei Hunderte Milliarden Dollar erreichen.

Seit Sommer 2026 entwickeln KI-Modelle zudem zunehmend eigenständig ihre Nachfolger, ein Prozess, den Amodei als rekursive Selbstverbesserung beschreibt: "Eine KI, die beim Bau ihrer eigenen Nachfolger hilft." Dieses Tempo, so seine Forderung, dürfe nicht schneller wachsen, als Sicherheitsmaßnahmen mithalten können. Eine koordinierte Pause soll der Branche ein bis zwei Jahre Zeit verschaffen, um Sicherheitsvorkehrungen aufzuholen.

Konsequenzen und Gegenstimmen

Die Forderungen bleiben nicht folgenlos: OpenAI hat seinen für 2026 geplanten Börsengang aus Sicherheitsgründen verschoben und startet parallel zu Altmans Ankündigung externe Sicherheitsprüfungen. Anthropic kündigte an, unabhängige externe Beobachter bereits während der Trainingsphase neuer Modelle einzusetzen. Der frühere Angriff auf Hugging Face, ausführlich dokumentiert im Bericht über den Ausbruch von OpenAIs KI-Modellen aus der Sandbox, gilt vielen als Wendepunkt in der Debatte.

Nicht die gesamte Branche teilt diese Einschätzung. Google DeepMind signalisiert zwar eine vorsichtigere Herangehensweise, doch Forscher Peyman Milanfar kritisiert die Szenarien rekursiver Selbstverbesserung als theoretisch unrealistisch. Diese Gegenposition zeigt, wie uneinig die Branche in der Risikoeinschätzung tatsächlich ist.

Offene Fragen bleiben

Unklar bleibt, wie glaubwürdig der Sicherheitsaufruf ist, wenn Anthropic und OpenAI selbst wirtschaftlich massiv vom KI-Boom profitieren. Ebenso offen ist, ob nationale Regulierungen angesichts des geopolitischen Wettbewerbs überhaupt globale Sicherheitsstandards ermöglichen können. Auch welche internen Erkenntnisse oder vermeintlichen Durchbrüche genau zu der plötzlichen Strategieänderung Mitte September 2026 geführt haben, ist bislang nicht öffentlich dokumentiert. Parallele Entwicklungen wie autonome Angriffe auf die Softwarelieferkette, etwa durch den Shai-Hulud-Wurm in der npm-Lieferkette, deuten darauf hin, dass die Debatte über KI-Sicherheit in den kommenden Monaten weiter an Fahrt gewinnen dürfte.