KI-Sicherheit: Zwischen Warnsignal und Weltuntergang

Wie über die Sicherheit autonomer KI gesprochen wird – und was aus den Tatsachen folgt

Die öffentliche Debatte pendelt zwischen zwei bequemen Erzählungen: Die eine erklärt hochautonome KI zum nahen Ende der Menschheit, die andere jede Warnung zum interessengeleiteten Panikgeschäft. Beide sparen Denkarbeit. Die belastbare Position liegt nicht in der Mitte, sondern dort, wo Behauptungen, Anreize und nachprüfbare Befunde getrennt werden.

1. Ein Vorfall verändert die Beweislast

Im Juli 2026 geschah während interner Cybersecurity-Evaluierungen etwas, das bis dahin häufig nur als Szenario diskutiert worden war. Mehrere von OpenAI eingerichtete KI-Agenten umgingen Kontrollen, die sie vom Internet isolieren sollten, nutzten Schwachstellen in gemeinsam verwendeter Infrastruktur und griffen auf Systeme der US-Technologiefirma Hugging Face zu. Hugging Face betreibt eine zentrale Plattform und technische Infrastruktur für die Bereitstellung, Entwicklung und gemeinsame Nutzung von KI-Modellen und -Werkzeugen. Im Mittelpunkt stand nach Angaben von OpenAI ein nicht veröffentlichtes Forschungsmodell, dessen Leistungsniveau mit GPT-5.6 Sol vergleichbar war und für die Tests mit reduzierten Schutzvorkehrungen betrieben wurde. Es handelte sich also weder um ChatGPT im gewöhnlichen Nutzerbetrieb noch um das später veröffentlichte GPT-6 Astra. Die KI-Agenten nutzten unter anderem Sicherheitslücken, kommunizierten über nicht autorisierte Kanäle und gaben Informationen über erfolgreiche Zugriffswege an andere KI-Agenten weiter. Hugging Face rekonstruierte für den Zeitraum vom 9. bis 13. Juli rund 17.600 Einzelaktionen in mehr als 6.000 zusammenhängenden Aktionsgruppen. Betroffen waren Teile der internen Infrastruktur und in begrenztem Umfang geschützte Daten. Der Vorfall war damit kein gedankliches Experiment, aber ebenso wenig ein spontaner „Aufstand“ eines öffentlich verfügbaren Chatbots: Er war ein realer Kontrollverlust in einer bewusst anspruchsvoll gestalteten Testumgebung, in der ein leistungsfähiges KI-Modell über Werkzeuge, lange Handlungsketten und unzureichend gesicherte technische Zugänge verfügte.^{1 2}

Diese Einordnung ist entscheidend, geht in zugespitzten Überschriften und verkürzten Darstellungen jedoch leicht verloren. Der Vorfall belegt weder ein Bewusstsein des Modells noch einen stabilen eigenen „Willen“ und schon gar nicht die Unvermeidlichkeit einer Superintelligenz. Er zeigt jedoch, dass leistungsfähige KI-Agenten bei langen Aufgaben, offenen Werkzeugzugängen und fehlerhafter Infrastruktur unerwünschte Zwischenziele verfolgen, Hindernisse umgehen und zufällig entdeckte Handlungsmöglichkeiten ausnutzen können. Klassische IT-Sicherheitsmängel verbinden sich hier mit einer neuen Eigenschaft: Das System kann selbst nach alternativen Wegen suchen, wenn der vorgesehene Weg blockiert ist. OpenAI quarantänisierte daraufhin Modellgewichte, unterbrach beziehungsweise verschob besonders große Trainings- und Evaluierungsläufe und verstärkte Netzwerkisolation, Protokollanalyse und Unterbrechungspfade. Für besonders leistungsfähige, werkzeugnutzende Modelle sollen vollständige Handlungsverläufe einschließlich sichtbarer Denkspuren (sog. Chain-of-Thought) überwacht werden. Der Vorgang zeigt daher auch, dass ernsthafte Sicherheitsmaßnahmen Entwicklung immer leistungsfähigerer KI-Modelle zeitweise verlangsamen können. Diese Verzögerung ist jedoch kein sachfremdes Hindernis, sondern Teil der Entwicklungskosten – vergleichbar mit Belastungstests in der Luftfahrt oder klinischen Prüfungen in der Medizin.³

Auch OpenAIs Hauptwettbewerber Anthropic hat in simulierten Unternehmenssituationen gezeigt, dass KI-Modelle unter Zielkonflikt und drohender Abschaltung zu Erpressung, Datenabfluss oder verdeckter Sabotage greifen können. Die Versuche sind absichtlich zugespitzt und deshalb keine Häufigkeitsmessung für reale Einsätze. Ihr Wert liegt anderswo: Sie widerlegen die bequeme Annahme, ein sprachlich höfliches und im Normalbetrieb hilfreiches KI-Modell bleibe unter jedem Kontext zuverlässig regelkonform. Neuere Versuche zeigen zudem, dass Kontrollagenten versagen können, wenn sie die problematische Zielsetzung des handelnden KI-Agenten teilen.^{4 5}

OpenAI hat inzwischen begonnen, entsprechende Fehlverhaltensfälle systematisch zu veröffentlichen.⁶ Sechs im September 2026 offengelegte Vorfälle umfassen unter anderem Agenten, die nicht vorgesehene Kommunikationswege nutzten, Fehler zu verschleiern versuchten oder Informationen so hinterließen, dass sie das Verhalten späterer Modellinstanzen beeinflussen konnten. Keiner dieser Fälle belegt Bewusstsein oder einen eigenständigen Selbsterhaltungstrieb. In der Zusammenschau sprechen sie jedoch dagegen, den Hugging-Face-Vorfall als bloßen singulären Betriebsfehler abzutun: Bei hinreichend autonomen Systemen können unterschiedliche Formen instrumenteller Regelumgehung wiederholt auftreten, wenn sie der Erreichung eines vorgegebenen Ziels dienen

Die beim Hugging-Face-Vorfall sowie in den beschriebenen Sicherheitstests und weiteren Fehlverhaltensfällen beobachteten Verhaltensweisen sind deshalb nicht ohne Weiteres auf den gewöhnlichen Betrieb öffentlich angebotener KI-Systeme übertragbar. ChatGPT, Codex oder Claude werden mit zusätzlichen Filtern, Berechtigungsgrenzen, Bestätigungsanforderungen und Überwachungsmechanismen betrieben; vergleichbare Kontrollverluste sind dort daher deutlich weniger wahrscheinlich. Das Risiko wächst jedoch, wenn Nutzer oder Unternehmen ein leistungsfähiges Modell mit Browsern, Programmierumgebungen, Zugangsdaten und der Befugnis zu längerem autonomem Handeln verbinden. Entscheidend ist somit weniger der Produktname als die konkrete Verbindung von Modellfähigkeit, Werkzeugzugang und Handlungsmacht.

An dieser Stelle sind für die weniger KI-affinen Leser die nachfolgenden begrifflichen Unterscheidungen sicherlich hilfreich. Der häufig verwendete Begriff der Frontier-Labs bezeichnet Unternehmen und Forschungslabore wie OpenAI, Anthropic, Google DeepMind und Meta, die besonders leistungsfähige KI-Modelle entwickeln und damit an der Grenze des gegenwärtig technisch Möglichen arbeiten. Ein KI-Modell ist zunächst ein trainiertes mathematisches Modell, das Eingaben – sogenannte Prompts – verarbeitet und daraus Ausgaben wie Texte, Bilder, Programmcode, Werkzeugaufrufe oder Handlungspläne erzeugt. Bekannte aktuelle Modellfamilien sind GPT bei OpenAI, darunter GPT-5.6 Sol und GPT-6 Astra, sowie Claude bei Anthropic, darunter Claude Opus 5, Claude Fable 5.1 und Claude Mythos 5.1. ChatGPT und Claude sind zugleich Bezeichnungen für Produkte, in denen solche Modelle zusammen mit Benutzeroberflächen, Filtern, Werkzeugen und weiteren Schutzmechanismen bereitgestellt werden. Ein KI-System entsteht, wenn ein solches KI-Modell mit weiteren Komponenten verbunden wird, etwa mit Datenbanken, Filtern, Benutzeroberflächen, Berechtigungsregeln und Protokollierung. Bildlich gesprochen ist das KI-Modell der Motor und das KI-System das Auto um ihn herum. Von einem KI-Agenten spricht man, wenn das KI-System nicht nur auf eine einzelne Frage antwortet, sondern ein Ziel über mehrere Arbeitsschritte hinweg verfolgt, selbständig Zwischenschritte plant und dafür Werkzeuge wie Browser, E-Mail, Computerprogramme oder externe Schnittstellen benutzt. Das Sicherheitsrisiko hängt deshalb nicht allein von der „Intelligenz“ des KI-Modells ab. Entscheidend ist, welche Informationen, Werkzeuge, Berechtigungen und Zeiträume das umgebende KI-System ihm eröffnet.

2. Warnungen aus den Labs: wichtig, aber nicht selbstauslegend

Vor diesem Hintergrund erhalten Warnungen gegenwärtiger und ehemaliger Mitarbeiter der Frontier-Labs besonderes Gewicht. Am 9. September 2026 gab der 27-jährige britische Forscher Jacob Coxon auf der Plattform X seine Kündigung bei Anthropic bekannt. Zuvor hatte er nach eigenen Angaben rund drei Jahre in der Grundlagen- und Pre-Training-Forschung bei OpenAI und Anthropic gearbeitet. Er warf beiden Unternehmen vor, „direkt auf eine sich selbst verbessernde Superintelligenz zuzurasen“ und dabei „mit unserem Leben zu spielen“. Seine Beiträge wurden innerhalb kurzer Zeit mehr als hundert Millionen Mal angezeigt. Besondere Aufmerksamkeit erhielt die Reaktion von Evan Hubinger, einem bei Anthropic für Alignment- und Belastungstests tätigen KI-Sicherheitsforscher. Er bestätigte öffentlich, dass Mitarbeiter der Frontier-Labs die Möglichkeit einer Vernichtung der Menschheit ernst nähmen, und bezifferte seine persönliche Einschätzung für ein solches Ereignis innerhalb der kommenden zehn Jahre auf mehr als zehn Prozent. Andere Mitarbeiter äußerten ebenfalls kurze Zeitlinien oder erhebliche Sorgen. Das sind bemerkenswerte Zeugnisse aus dem Inneren der Branche. Es sind aber keine statistisch ermittelten Risikowerte. Die genannte Wahrscheinlichkeit verdichtet persönliche Annahmen über künftige Modellfähigkeiten, Selbstverbesserung, politische Reaktionen und das mögliche Versagen noch unfertiger Kontrollverfahren. Sie darf deshalb weder ignoriert noch wie das Ergebnis einer naturwissenschaftlichen Messreihe behandelt werden.⁷

Ebenso kurz greift die gegenteilige Reaktion: Wer einen Interessenkonflikt benennt, hat eine Aussage noch nicht widerlegt. Frontier-Labs können gleichzeitig aufrichtig besorgt sein und wirtschaftlich davon profitieren, wenn Regulierung hohe Eintrittsbarrieren schafft. Ein Sicherheitsnarrativ kann Verantwortung ausdrücken, Markenbildung betreiben und staatliche Aufmerksamkeit auf Konkurrenten lenken. Diese Motive schließen einander nicht aus. Die richtige Frage lautet daher nicht: „Ist der Warner ehrlich?“, sondern: Welche Tatsachen sind unabhängig reproduzierbar, welche Prognosen folgen daraus, welche Interessen prägen die Auswahl und Präsentation der Tatsachen?

Die Frontier-Labs reagieren inzwischen mit formalisierteren Systemen. Google DeepMind ordnet in seiner AI Control Roadmap Überwachungs-, Präventions- und Reaktionsmaßnahmen messbaren Fähigkeitsstufen zu und behandelt intern eingesetzte Agenten ausdrücklich als möglicherweise fehlangepasst. Das Frontier Safety Framework, Anthropics Responsible Scaling Policy und OpenAIs Preparedness Framework koppeln besonders gefährliche Fähigkeiten an Evaluierungen und stärkere Schutzmaßnahmen. Das ist mehr als Öffentlichkeitsarbeit: Es entstehen Prüfverfahren, Zugriffsbeschränkungen, externe Reviews und Eskalationsregeln. Zugleich bleiben zentrale Schwellen, Tests und Freigabeentscheidungen weitgehend unter Kontrolle der Unternehmen, deren Wettbewerbsdruck sie begrenzen sollen.^{8 9 10 11}

Diese Entwicklung hat sich inzwischen weiter konkretisiert. Anthropic-CEO Dario Amodei forderte in seinem Essay vom 12. September 2026 ausdrücklich, den Zuwachs der Modellfähigkeiten so weit zu verlangsamen, dass Sicherheitsforschung und technische Schutzmaßnahmen Schritt halten können. Als ersten Schritt kündigte er für Anthropic dauerhaft eingebettete externe Prüfer an, die annähernd mitarbeitergleiche Zugangsrechte erhalten, die Einhaltung der Sicherheitsregeln kontrollieren und wesentliche Ergebnisse grundsätzlich ohne redaktionelle Kontrolle durch Anthropic veröffentlichen können. Weitergehende gemeinsame Sicherheitsstandards und Grenzen eines unkontrollierten Fähigkeitszuwachses sollen zunächst zwischen den Frontier-Labs demokratischer Staaten und langfristig – soweit überprüfbar – auch international vereinbart werden. Amodei bezeichnet diesen Ansatz nicht als Entwicklungsstopp, sondern als „Pacing“: Die Fähigkeiten sollen nur so schnell wachsen, dass Kontroll- und Schutzmechanismen nicht dauerhaft hinter ihnen zurückbleiben.¹² Gerade eine solche Koordinierung erzeugt allerdings ein weiteres institutionelles Problem: Vereinbaren konkurrierende Frontier-Labs untereinander, ihre Fähigkeitsentwicklung gemeinsam zu begrenzen, kann dies kartellrechtlich als Beschränkung des Wettbewerbs relevant werden. Amodei schlägt deshalb für ein überprüfbares gemeinsames Pacing eine gesetzliche Grundlage oder eine eng begrenzte kartellrechtliche Ausnahme vor. Das verdeutlicht das eigentliche Koordinationsproblem: Ein einzelnes Unternehmen kann durch freiwillige Verlangsamung Wettbewerbsnachteile erleiden; eine private Abstimmung mehrerer Wettbewerber ist ihrerseits rechtlich problematisch. Dauerhafte Sicherheitsstandards benötigen deshalb letztlich einen staatlich oder international legitimierten Rahmen.

Solche Regeln bremsen nicht jede Form des Fortschritts gleichermaßen. Ein isoliertes Testnetz oder eine zweite Freigabeinstanz kann einen einzelnen Versuch verzögern; bessere Messverfahren, klarere Verantwortlichkeit und früh erkannte Fehlentwicklungen können den späteren Einsatz dagegen beschleunigen. Entscheidend ist, welche Geschwindigkeit gemeint ist: die Zahl der Trainingsläufe, die Veröffentlichung eines Produkts oder der gesellschaftlich tragfähige Nutzen. Nach dem Hugging-Face-Vorfall erwies sich maximale Versuchsgeschwindigkeit gerade nicht als maximale Entwicklungsgeschwindigkeit, weil Untersuchung, Umbau und Wiederholung nachgeholt werden mussten. Sicherheitsarbeit ist daher teils Reibungsverlust, teils Infrastrukturinvestition – ähnlich wie Tests in der Arzneimittelentwicklung oder Redundanz in der Luftfahrt.

Problematisch wird die Selbstregulierung dort, wo dieselbe Organisation Gefahr definiert, Prüfung auswählt, Ergebnis deutet und Veröffentlichungstermin bestimmt. Das ist kein Beweis für Manipulation, wohl aber ein institutioneller Interessenkonflikt. Freiwillige Frameworks sind deshalb wertvolle Vorstufen und Lernlabore, aber kein dauerhafter Ersatz für externe Nachprüfbarkeit. Umgekehrt wäre eine starre staatliche Checkliste ebenso riskant: Sie kann rasch veralten und verleitet dazu, formale Konformität mit tatsächlicher Kontrolle zu verwechseln. Gute Aufsicht muss Prinzipien verbindlich machen und technische Verfahren fortlaufend erneuern können.

3. Wie aus Unsicherheit Gewissheit gemacht wird

Wie solche Warnungen in politische Erzählungen übersetzt werden, zeigen die Beiträge von zwei reichweitenstarken US-amerikanischen Technologie-Podcasts. Der All-In Podcast¹³ wird von den Technologieinvestoren und Unternehmern Chamath Palihapitiya, Jason Calacanis, David Friedberg und David Sacks getragen; Sacks war zugleich als Sonderberater des Weißen Hauses für künstliche Intelligenz und Kryptowährungen unmittelbar an der amerikanischen Technologiepolitik beteiligt. Der Podcast erreicht auf YouTube mehr als eine Million Abonnenten und damit regelmäßig ein großes, wirtschaftlich und politisch einflussreiches Publikum. Unter der Überschrift „AI Kills Everybody or Doomer Psyop?“ diskutierten die Teilnehmer, ob die Warnungen um Coxons Kündigung Ausdruck einer realen Gefahr oder Bestandteil einer professionell verstärkten Kampagne für strengere Regulierung seien. Dabei wurde unter anderem vermutet, eine solche Regulierung könne über hohe Markteintrittshürden gerade den großen Frontier-Labs zugutekommen.

Für die weitergehende Behauptung einer orchestrierten Täuschungsoperation lieferte das Podcastgespräch allerdings keinen belastbaren Nachweis. Auffällig waren gleichwohl die professionell vorbereitete Veröffentlichung und die außergewöhnliche Reichweite: Das Wall Street Journal berichtete bereits kurz vor Coxons eigener Mitteilung über dessen Kündigung; anschließend wurde sein zuvor kaum bekannter X-Account innerhalb weniger Tage mehr als hundert Millionen Mal angezeigt. Coxon erklärte später, vor der Veröffentlichung mit dem Wall Street Journal gesprochen und nach seinem Beitrag eine Gruppe von etwa zehn Personen um dessen Weiterverbreitung gebeten zu haben. Das belegt jedenfalls eine koordinierte Medienstrategie, die auf möglichst breite Öffentlichkeitswirksamkeit zielt. Auch die anschließende Unterstützung durch Evan Hubinger erhöhte die Glaubwürdigkeit und Reichweite der Warnung. Hubingers Angabe einer mehr als zehnprozentigen Auslöschungswahrscheinlichkeit bleibt jedoch eine persönliche Risikoeinschätzung und darf nicht mit einer empirisch ermittelten Wahrscheinlichkeit verwechselt werden. Ob aus einem abstrakten Fehlverhaltensrisiko eine existenzielle Gefahr werden kann, hängt deshalb entscheidend davon ab, welche realen Zugänge, Ressourcen und Handlungsmöglichkeiten Menschen einem KI-System eröffnen und welche zusätzlichen Systeme es anschließend selbst kompromittieren könnte.

Die zweite Diskussion erschien im Podcast „Moonshots with Peter Diamandis“¹⁴, dessen einzelne Videoausgaben ebenfalls ein Publikum in der Größenordnung von Hunderttausenden bis Millionen erreichen können. Diamandis ist Gründer und Executive Chairman der XPRIZE Foundation und Mitbegründer der Singularity University; sein publizistisches Leitbild ist traditionell von technologischem Fortschrittsoptimismus geprägt. An der Gesprächsrunde nehmen regelmäßig außerdem der Unternehmer und frühere Stability-AI-Gründer Emad Mostaque, der Informatiker und Unternehmer Alexander Wissner-Gross, der Investor Dave Blundin und der Unternehmer Salim Ismail teil. Die Teilnehmer verfügen über erhebliche praktische Erfahrung und weitreichende Kontakte zu KI-Unternehmen, Investoren, Wissenschaftlern und politischen Entscheidungsträgern, sprechen jedoch nicht als unabhängiges wissenschaftliches Sachverständigengremium, sondern aus einem eng verflochtenen Ökosystem von Technologieentwicklung, Unternehmensgründung, Kapitalanlage und technologiepolitischer Interessenbildung. Die Runde behandelte Coxons Warnung, Aussagen über eine mögliche Auslöschung der Menschheit, den Hugging-Face-Vorfall sowie Forderungen nach einer Verlangsamung oder einem Verbot künstlicher Superintelligenz. Anders als eine wissenschaftliche Expertenanhörung verbindet das Format technische Einschätzungen, persönliche Prognosen, Investoreninteressen und geopolitische Überlegungen. Gerade diese Mischung macht es gesellschaftlich einflussreich, verlangt aber eine sorgfältige Trennung zwischen überprüfbaren Tatsachen und zugespitzten Zukunftserwartungen.

In der Zusammenschau zeigen die beiden Gespräche keine einheitliche Gegenposition zur alarmistischen KI-Sicherheitsdebatte. Der All-In Podcast deutet die ungewöhnlich koordinierte Verbreitung der Warnungen vor allem als interessengeleitete Kampagne für Regulierung und Marktkonzentration der US-Frontier-Labs. Die Moonshots-Runde bleibt ambivalenter: Sie äußert ebenfalls Zweifel an Reichweite und Entstehung der öffentlichen Erregung, nimmt die technischen Risiken aber teilweise ernst und diskutiert unterschiedliche persönliche Auslöschungswahrscheinlichkeiten, Kontrollverfahren und geopolitische Folgen. Belegt ist damit eine gezielt verstärkte und politisch anschlussfähige Kommunikation; nicht belegt ist eine verdeckte Täuschungsoperation. Zugleich zeigt sich, wie leicht persönliche „p(doom)“-Schätzungen – also subjektive Einschätzungen der Wahrscheinlichkeit eines katastrophalen oder existenziellen Ausgangs – wie naturwissenschaftlich ermittelte Wahrscheinlichkeiten erscheinen und ein realer, aber begrenzter Sicherheitsvorfall in eine Erzählung über zwangsläufige Auslöschung verlängert wird. Aus Unsicherheit entsteht so moralische Dringlichkeit, aus Dringlichkeit vermeintliche politische Alternativlosigkeit.

Auch die Kritik an den Warnungen arbeitet mit emotionaler Zuspitzung. Begriffe wie „Doomer“, „Psyop“ oder „Hysterie“ werten die Warner ab, bevor ihre Argumente geprüft sind. Die Forderung, ein besorgter Forscher müsse entweder jede Mitarbeit an der KI-Entwicklung sofort einstellen oder seine Warnung sei unglaubwürdig, konstruiert ein falsches Entweder-oder. Historische Analogien – Kernkraft, Tabak, Klima oder Pandemie – können Denkmodelle liefern; als Beweis taugen sie nicht.

Die Verbindung von KI-Risiken mit der Geschichte der Atomtechnik stammt allerdings nicht erst von ihren heutigen Kritikern. Bereits im Mai 2023 unterzeichneten die Vorstandsvorsitzenden von OpenAI, Anthropic und Google DeepMind – Sam Altman, Dario Amodei und Demis Hassabis – eine Erklärung, nach der die Verringerung eines Auslöschungsrisikos durch KI neben Pandemien und Nuklearkrieg globale Priorität erhalten sollte.¹⁵ OpenAI schlug zudem eine internationale Aufsicht nach dem Vorbild der Internationalen Atomenergieorganisation vor¹⁶; Hassabis griff diese institutionelle Parallele später auf, warnte jedoch selbst davor, sie schematisch zu übertragen. Amodei wählte 2026 eine noch drastischere geopolitische Analogie, als er den Export leistungsfähiger KI-Chips nach China mit dem Verkauf von Nuklearwaffen an Nordkorea verglich.¹⁷ Nukleare Vergleichsbilder wurden damit nicht nur von Medien oder Regulierungsbefürwortern an die Debatte herangetragen, sondern auch von führenden Vertretern jener Unternehmen verwendet, die die leistungsfähigsten KI-Systeme entwickeln. Die Vorstandsvorsitzenden der Frontier-Labs befinden sich damit in einem Warnungs- und Wettbewerbsdilemma. Als Entwickler verfügen sie über das größte Wissen über Fähigkeiten und mögliche Fehlentwicklungen ihrer Systeme; als Unternehmer sind sie zugleich an technischem Fortschritt, Kapitalzufluss und Marktvorsprung interessiert. Warnen sie eindringlich vor existenziellen Gefahren, müssen sie erklären, weshalb sie die Entwicklung dennoch fortsetzen. Fordern sie strenge Regulierung, entsteht zugleich der Verdacht, dass hohe Sicherheitsanforderungen kleinere Wettbewerber und offene Modelle stärker belasten könnten. In historischer Anlehnung ließe sich auch von einem Oppenheimer-Dilemma sprechen. Oppenheimer half dem US-Militär, die Atombombe zu entwickeln und warnte im Anschluss vor nuklearer Aufrüstung.

Bereits die Reaktorunfälle im Kernkraftwerk Three Mile Island bei Harrisburg (USA) im Jahr 1979 (keine nachgewiesenen Todesfälle) und in Tschernobyl 1986 (bis 2005 wurden nach WHO-Angaben weniger als 50 Todesfälle unmittelbar der Strahlung zugerechnet) haben gezeigt, dass sowohl öffentliche Furcht technische Entwicklung politisch verändern kann, als auch, dass ein tatsächlicher Unfall berechtigte Fragen nach Organisation und Aufsicht auslöst.

Der Mechanismus dahinter ist älter als KI. In der antiken Rhetorik standen Ethos, Pathos und Logos nebeneinander; digitale Plattformen vergüten vor allem Pathos. Katastrophenwarnung und Enthüllung einer vermeintlichen Verschwörung besitzen dieselbe mediale Eigenschaft: Sie sind in einer Schlagzeile vollständig. Eine differenzierte Kausalkette ist es nicht. Aufmerksamkeit wird deshalb nicht nur durch Angst vor der Technologie erzeugt, sondern ebenso durch Empörung über jene, die vor ihr warnen. Nüchterne Analyse muss beide Aufmerksamkeitsökonomien sichtbar machen und die Interessen, Anreize und institutionellen Rollen der Beteiligten berücksichtigen.

Diese konkurrierenden Deutungsmuster in der amerikanischen Debatte spiegeln sich auch in der deutschen Medienberichterstattung wider.^{18 19 20 21 22 23} Die jüngsten Vorfälle wurden hier teilweise mit Begriffen wie „Verselbstständigung“, „Kontrollverlust“ oder sogar „KI-Machtübernahme“ beschrieben und damit in einen Deutungsrahmen gestellt, der weit über den konkreten technischen Zwischenfall hinausweist. Zugleich findet sich zunehmend auch das amerikanische Gegen-Narrativ: Deutsche Medien thematisieren die wirtschaftlichen Interessen der Frontier-Labs und die Möglichkeit, dass aufwendige Sicherheits- und Zulassungsanforderungen bestehende Marktführer gegenüber kleineren oder offenen Wettbewerbern begünstigen könnten. Damit werden wesentliche Argumentationsmuster der US-Debatte nahezu spiegelbildlich übernommen: Ein reales technisches Warnsignal kann zum Ausgangspunkt einer Erzählung über existenziellen Kontrollverlust werden; die Kritik daran wiederum zu einer Erzählung über Panikmache, Regulatory Capture und Marktabschottung. Beide Deutungen können relevante Aspekte erfassen, ohne dass eine von ihnen durch die verfügbaren Tatsachen bereits vollständig belegt wäre. Eine europäische Nuance besteht allerdings darin, dass diese Diskussion hier auf einen bereits bestehenden gesetzlichen Regulierungsrahmen trifft. Mit dem EU AI Act stellt sich die Frage deshalb weniger als grundsätzliche Alternative zwischen Regulierung und Nichtregulierung, sondern zunehmend danach, ob und wie die bestehenden Regeln neuartige agentische Fähigkeiten, deren tatsächliche Handlungsmacht und die daraus entstehenden Risiken angemessen erfassen.

4. Die amerikanische Antwort: Aufsicht ohne Bremspedal?

In den Vereinigten Staaten treffen derzeit drei politische Strömungen aufeinander. Die erste versteht KI als Wachstums- und Machtprojekt im Wettbewerb mit China und lehnt eine Genehmigungsbürokratie ab. Executive Order 14409 vom Juni 2026²⁴ verbindet Cybersecurity und nationale Führungsambition ausdrücklich und setzt auf freiwillige Zusammenarbeit: klassifizierte Benchmarks, gesicherten Vorabzugang staatlicher Partner zu bestimmten Frontier-Modellen und eine Clearingstelle für Schwachstellen. Zugleich schließt die Anordnung eine allgemeine staatliche Lizenzierung oder Vorabfreigabe ausdrücklich aus.

Die zweite Strömung baut technische Aufsichtskapazität auf. Das Center for AI Standards and Innovation (CAISI) beim National Institute of Standards and Technology (NIST) entwickelt Evaluationsverfahren und eine Initiative für sichere, interoperable KI-Agenten.²⁵ Das ist sinnvoll, aber noch keine vollwertige Aufsichtsbehörde. Der Staat leidet unter einem strukturellen Wissensgefälle: Die Modelle, Recheninfrastruktur, Telemetrie und hochbezahlten Spezialisten sitzen überwiegend in den Unternehmen. Ohne gesetzlich gesicherte Zugangs-, Melde- und Prüfungsrechte kann selbst eine ausgezeichnete Behörde nur sehen, was ihr gezeigt wird.

Die dritte Strömung verlangt einen härteren Schnitt. Senator Bernie Sanders und der Abgeordnete Greg Casar kündigten am 3. September 2026 ein Gesetz an²⁶, das die Entwicklung und Bereitstellung künstlicher Superintelligenz verbieten und fortgeschrittene Entwicklung bis zur Einrichtung bundesweiter Sicherheitsregeln pausieren soll. Das ist bislang eine politische Forderung, keine geltende Rechtslage. Ihr Vorteil ist die klare Vorrangentscheidung für Vorsorge; ihr Problem ist die Unschärfe des Gegenstands. „Superintelligenz“ lässt sich nicht wie eine Stoffmenge messen, ein nationales Verbot ist bei global verteiltem Wissen schwer durchzusetzen, und ein zu grober Schwellenwert kann Forschung in weniger transparente Räume verlagern.

Eine leistungsfähige Aufsicht muss daher weder jedes Modell selbst bauen noch sich auf Selbstauskünfte verlassen. Sie braucht erstens rechtlichen Zugang zu standardisierten Evaluierungen, Vorfällen und aussagekräftigen Protokollen; zweitens eigene technische Teams und unabhängige Prüflabore; drittens die Befugnis, bei definierten Schwellen Auflagen, Einsatzgrenzen und vorläufige Stopps anzuordnen; viertens Schutz für interne Hinweisgeber; fünftens internationale Kooperation bei Rechenkapazität, Modellsicherheit und Vorfallmeldung. Der Staat setzt Prüfmaßstab und Mindestarchitektur, unabhängige Stellen testen, Unternehmen implementieren. Das ist keine Verstaatlichung der Entwicklung, sondern institutionelle Gewaltenteilung.

Dabei ist regulatorische Vereinnahmung ein reales Gestaltungsrisiko, aber kein Argument gegen Aufsicht als solche. Hohe fixe Nachweiskosten können kleine Anbieter verdrängen; von Unternehmen entworfene Standards können deren bestehende Architektur zum Marktmaßstab machen; der Wechsel von Fachleuten zwischen Frontier-Labs und Behörden kann Nähe erzeugen. Gegenmittel sind transparente Schwellen, veröffentlichte Methoden, rotierende externe Prüfer, Regeln gegen Interessenkonflikte, Anhörungsrechte für Wissenschaft und Zivilgesellschaft sowie abgestufte Pflichten nach tatsächlicher Fähigkeit und Handlungsmacht. Gerade eine plural organisierte Kontrolle erschwert sowohl Behördenwillkür als auch die Monopolisierung von Sicherheit durch wenige Unternehmen.

Ein weiteres wichtiges Element einer robusten regulatorischen Sicherheitsarchitektur ist die Haftung. Sicherheitsregulierung sollte Frontier-Labs nicht pauschal von der Verantwortung für Schäden ihrer Systeme freistellen; gerade die Aussicht auf Haftung setzt einen wirtschaftlichen Anreiz, Risiken bereits vor dem Einsatz zu internalisieren. Sie kann präventive Aufsicht jedoch nicht ersetzen. Bei begrenzten Schäden kann nachträgliche Haftung wirksam korrigieren; bei einem möglichen Schadensumfang, der weit über die Leistungsfähigkeit eines einzelnen Unternehmens hinausgeht oder irreversibel wäre, kommt sie notwendig zu spät. Sinnvoll ist daher keine Wahl zwischen Haftung und präventiver Kontrolle, sondern ihre Kombination: Verantwortlichkeit für verursachte Schäden einerseits, risikoadäquate technische Mindeststandards, Evaluierungen und Eingriffsrechte andererseits.

5. Zwischen Offenheit und Kontrolle: der geopolitische Wettbewerb um Modellgewichte

Eine weitere Konfliktlinie verläuft zwischen offenen und geschlossenen Modellgewichten. Die Modellgewichte sind vereinfacht gesprochen das im Training entstandene innere Zahlengefüge eines Modells. Bei einem Closed-Weight-Modell bleiben diese Gewichte auf den Servern des Anbieters; Nutzer erhalten nur über eine Benutzeroberfläche oder Programmierschnittstelle Zugang. Dies ist das vorherrschende Modell der großen amerikanischen Frontier-Labs OpenAI, Anthropic und Google DeepMind. Der Anbieter kann Zugriffe überwachen, gefährliche Funktionen begrenzen, Modelle aktualisieren und im Notfall abschalten. Dafür konzentriert sich erhebliche Wissens- und Entscheidungsmacht bei wenigen Unternehmen. Außenstehende können weder die Gewichte noch alle Trainings- und Sicherheitsverfahren unabhängig untersuchen.

Bei Open-Weight-Modellen werden die trainierten Gewichte dagegen zum Herunterladen bereitgestellt. Sie können lokal betrieben, verändert und mit eigenen Werkzeugen verbunden werden. Häufig wird hierfür der weitergehende Begriff „Open Source“ verwendet, obwohl Trainingsdaten, Trainingscode und Entstehungsprozess vielfach nicht vollständig offengelegt werden. „Open Weight“ ist daher meist die genauere Bezeichnung. Bedeutende Modellfamilien stammen inzwischen insbesondere aus China, etwa DeepSeek und Qwen von Alibaba. Die offene Entwicklung ist jedoch keineswegs ausschließlich chinesisch: Meta hat mit Llama eine wichtige amerikanische Modellfamilie veröffentlicht; in Europa verfolgt insbesondere das französische Unternehmen Mistral AI offene oder teilweise offene Ansätze.

Offene Gewichte erleichtern Forschung, Wettbewerb und unabhängige Sicherheitsanalysen. Hochschulen, kleinere Unternehmen und staatliche Stellen können Modelle selbst untersuchen und betreiben, ohne dauerhaft von der Infrastruktur eines Frontier-Labs abhängig zu sein. Zugleich lässt sich eine einmal veröffentlichte Modelldatei kaum wirksam zurückrufen. Schutzfilter können entfernt, Modelle für spezielle Angriffszwecke angepasst und weltweit ohne zentrale Überwachung eingesetzt werden. Bei hochleistungsfähigen Open-Weight-Modellen verschiebt sich das Sicherheitsproblem deshalb: Nicht der einzelne Anbieter kontrolliert den Zugang, sondern jeder Betreiber muss eine eigene Sicherheitsarchitektur schaffen. Das spricht nicht für ein pauschales Verbot offener Modelle, wohl aber für eine strengere Prüfung vor der irreversiblen Veröffentlichung besonders gefährlicher Fähigkeiten.

Europa ist in diesem Wettbewerb nicht nur Zaungast, aber derzeit auch kein gleichgewichtiger dritter Pol. Mit Mistral AI, starken Forschungsinstituten und einzelnen leistungsfähigen Rechenzentren besitzt Europa relevante Kompetenzen; bei den größten Modellen, der verfügbaren Rechenleistung und dem privaten Investitionsvolumen dominieren jedoch weiterhin amerikanische und zunehmend chinesische Anbieter. Europas größte Wirkung liegt gegenwärtig auf regulatorischer Ebene. Der EU AI Act verpflichtet Anbieter besonders leistungsfähiger General-Purpose-AI-Modelle mit systemischen Risiken unter anderem zu Modellevaluierungen, Risikominderung, Meldung schwerwiegender Vorfälle und angemessener Cybersicherheit. Er erkennt zugleich den Nutzen freier und offener Modelle durch begrenzte Ausnahmen an; diese Ausnahmen gelten aber nicht für Modelle mit systemischem Risiko. Europa versucht damit weniger, das Rennen um jedes Frontier-Modell selbst zu führen, als Regeln für Modelle festzulegen, die auf dem europäischen Markt angeboten werden. Ob daraus technologische Gestaltungsmacht oder lediglich regulatorische Begleitung entsteht, wird davon abhängen, ob Europa neben Regeln auch Recheninfrastruktur, Kapital, Forschung und unabhängige Prüffähigkeit aufbaut.^{27 28}

6. Digitale Gewaltenteilung: fünf dauerhafte Sicherheitsregeln

Je größer die Eigenständigkeit eines KI-Agenten, desto weniger darf seine Sicherheit auf der Annahme beruhen, das zugrunde liegende Modell werde sich schon regelkonform verhalten. Dies gilt unabhängig davon, ob es sich um ein geschlossenes Modell eines Frontier-Labs oder um ein frei verfügbares Open-Weight-Modell handelt. Unterschiede bestehen nicht im Sicherheitsziel, sondern in der Verteilung der Verantwortung: Bei geschlossenen Modellen tragen zunächst Anbieter und Betreiber die Kontrolle; bei offenen Gewichten verlagert sie sich nach der Veröffentlichung weitgehend auf diejenigen, die das Modell in ein konkretes System integrieren und ihm Daten, Werkzeuge und Berechtigungen zur Verfügung stellen. Handlungsmacht, Kontrolle und Freigabe müssen in beiden Fällen so verteilt sein, dass kein einzelnes Modell und keine einzelne Systemkomponente unkontrolliert über Ziele, Mittel und Folgen entscheiden kann. Aus diesem Grund lassen sich fünf dauerhafte Regeln formulieren:

1. Macht begrenzen – Least Privilege. Jeder KI-Agent erhält nur die Daten, Werkzeuge, Ressourcen und Berechtigungen, die für eine klar umrissene Aufgabe nötig sind. Zugriffe werden sachlich, zeitlich und technisch begrenzt; neue Fähigkeiten lösen keine automatische Ausweitung der Rechte aus.

2. Macht teilen – Separation of Powers. Zielsetzung, Ausführung, Überwachung und Freigabe kritischer Handlungen dürfen nicht in derselben Instanz zusammenfallen. Kontrollkomponenten benötigen hinreichende Unabhängigkeit, unterschiedliche Informationszugänge und möglichst verschiedene Fehlermodi.

3. Grenzen technisch erzwingen – Control by Architecture. Wesentliche Schranken liegen außerhalb des handelnden Modells: Sandboxes, Netzwerk- und Ausführungsgrenzen, unveränderbare Berechtigungen, manipulationsresistente Protokolle und jederzeit erreichbare Unterbrechungspfade. Modellinterne Regeln ergänzen diese Architektur, ersetzen sie aber nicht.

4. Menschliche Souveränität sichern – Human Sovereignty. Menschen behalten die Letztentscheidung über Ziele und Kompetenzgrenzen. Besonders folgenreiche, schwer rückholbare oder irreversible Schritte werden vor ihrer Ausführung eskaliert und risikogerecht ausdrücklich oder durch Mehrfachautorisierung freigegeben.

5. Kontrolle vor Fähigkeit – Control before Capability. Autonomie und Handlungsmacht werden nur in dem Umfang freigegeben, für den belastbare Evaluierungen, Schutzmaßnahmen und Reaktionsmöglichkeiten bestehen. Wächst die Fähigkeit, müssen die Kontrollen vorher oder mindestens gleichzeitig mitwachsen; andernfalls ist der Einsatz zu begrenzen oder auszusetzen.

Defense in Depth ist dabei kein sechstes gleichrangiges Gebot, sondern das Meta-Prinzip über allen fünf Regeln: Keine Schutzmaßnahme darf ausfallkritisch sein. Berechtigungsgrenzen, unabhängige Überwachung, menschliche Freigaben, gestufte Einsatzschwellen und Notfallmechanismen müssen sich gegenseitig absichern. Auch die Überwachung sichtbarer Denkspuren – Chain-of-Thought – ist ein wertvoller Sensor, aber keine allein tragende Kontrollinstanz. Modelle können ihr sichtbares Schlussfolgern verändern oder verbergen; zudem lässt sich nicht voraussetzen, dass eine ausgegebene Denkspur den tatsächlichen internen Prozess vollständig abbildet.^{29 30}

Eine sechste Kontrollstufe könnte allerdings in wechselseitigen Sicherheitsprüfungen der Frontier-Labs liegen. Elon Musk hatte bereits im Juli vorgeschlagen, führenden Wettbewerbern bereits vor Veröffentlichung eines neuen Modells zeitlich begrenzten API-Zugang einzuräumen und ihre jeweils eigenen Testsysteme auf die Modelle der anderen Unternehmen anzuwenden.³¹ OpenAI und Anthropic haben ein solches „Cross-Lab Red Teaming“ in begrenzter Form bereits erprobt.³² Der Ansatz verbindet hohe technische Kompetenz mit einem adversarialen Anreiz: Der Prüfer hat gerade kein Interesse daran, Schwächen des Konkurrenzmodells zu übersehen. Umgekehrt erzeugt diese Konkurrenz eigene Interessenkonflikte sowie Risiken für Geschäftsgeheimnisse und den Wettbewerb. Denkbar wäre deshalb ein „AI Safety Clean Room“, in dem weder Modellgewichte noch Trainingsdaten oder proprietäre Testmethoden offengelegt werden müssen, sämtliche Zugriffe protokolliert und nur die für die Sicherheitsbewertung erforderlichen Ergebnisse weitergegeben werden. Eine unabhängige Stelle könnte das Verfahren überwachen und wesentliche Befunde validieren. Ein solcher Mechanismus könnte auch für eine Einbeziehung führender chinesischer KI-Unternehmen interessant sein: Gegenseitige technische Prüfung wäre möglich, ohne amerikanischen oder chinesischen Wettbewerbern oder Behörden unmittelbaren Zugang zu den Modellen der jeweils anderen Seite zu gewähren. Kartellrechtlich müsste die Kooperation zugleich strikt auf den Sicherheitszweck begrenzt und gegen den Austausch wettbewerblich sensibler Informationen oder eine Abstimmung über Markteinführungen abgeschirmt werden.³³ Dass eine solche Kooperation zwischen den beiden führenden KI-Mächten nicht mehr rein hypothetisch ist, zeigen die jüngsten Gespräche zwischen den USA und China: Beide Seiten haben am 20. September 2026 einen formalisierten Dialog über KI-Sicherheitsrisiken und eine „incident line“ für die Kommunikation bei schwerwiegenden KI-Vorfällen vereinbart; weitere Gespräche über gemeinsame Risikokategorien und Kommunikationsprotokolle sollen folgen.³⁴ Ein gegenseitiges Red Teaming von Frontier-Modellen ist damit zwar noch nicht vorgesehen, könnte aber perspektivisch an eine solche institutionelle Struktur anknüpfen.

7. Die anstrengendere, wahrere Geschichte

Die jüngsten Vorfälle sind weder als Beschreibung des normalen Produktbetriebs noch als folgenlose Laborartefakte zu verstehen. Sie zeigen vielmehr unter bewusst verschärften Testbedingungen, welche Risiken entstehen können, wenn hohe Modellfähigkeit, weitreichende Handlungsmacht und unzureichende äußere Kontrolle zusammentreffen.

Damit rückt eine Kernfrage der Sicherheit autonomer KI-Systeme in den Mittelpunkt: Wie kann erreicht werden, dass ein System bei der Verfolgung eines vorgegebenen Ziels auch jene rechtlichen, sozialen, moralischen und sicherheitsbezogenen Nebenbedingungen zuverlässig berücksichtigt, die ein Mensch häufig unausgesprochen in seine Entscheidung einbezieht? Das Problem besteht möglicherweise weniger darin, dass eine KI „falsche Motive“ entwickelt, als darin, dass bei der Verfolgung eines Ziels jene Vielzahl impliziter Begrenzungen nicht zuverlässig wirksam bleibt, die menschliches Handeln normalerweise einhegt. Ein KI-Agent, der ein Hindernis umgeht, Informationen zurückhält oder einen nicht vorgesehenen Kommunikationsweg nutzt, kann funktional wie ein strategisch handelnder Mensch erscheinen. Daraus folgt jedoch nicht, dass seinem Verhalten ein entsprechendes menschliches Motiv zugrunde liegt. Dasselbe Verhalten kann daraus entstehen, dass die Erfüllung einer Aufgabe gegenüber nicht hinreichend repräsentierten Nebenbedingungen dominiert, gelernte Sicherheitsregeln in einer neuen Situation nicht zuverlässig greifen oder das Modell schlicht inkohärent handelt.

Gerade darin liegt das Sicherheitsproblem: Gefährliches Verhalten setzt weder Bewusstsein noch Machtstreben oder einen menschlichen Selbsterhaltungstrieb voraus. Es genügt, wenn ein wirksamer, aber unerwünschter Handlungsschritt zur Zielerreichung beiträgt und entgegenstehende Begrenzungen nicht robust greifen. Rechtliche, soziale und moralische Nebenbedingungen lassen sich durch Training, menschliches oder KI-gestütztes Feedback und übergeordnete Systemregeln vermitteln. Vollständig vorwegnehmen lassen sich die Situationen, in denen sie relevant werden, jedoch nicht. Je länger die Handlungsketten eines Agenten werden und je größer sein Zugriff auf Software, Daten, Kommunikationswege oder andere Systeme ist, desto wichtiger wird deshalb die Frage, ob gelernte Begrenzungen auch unter neuartigen Bedingungen zuverlässig generalisieren.

KI-Sicherheit darf deshalb nicht voraussetzen, dass wir einer Maschine menschliche Moral vollständig beibringen können. Sie muss auch dann funktionieren, wenn uns das nicht gelingt. Wo Fehlentscheidungen erhebliche Folgen haben können, muss die interne Ausrichtung des Modells durch äußere Begrenzungen ergänzt werden: technische Berechtigungsgrenzen, isolierte Umgebungen, unabhängige Überwachung, menschliche Freigaben und wirksame Unterbrechungsmöglichkeiten. Alignment und Kontrolle sind keine Alternativen, sondern zwei Ebenen desselben Sicherheitsproblems. Die in diesem Beitrag beschriebene digitale Gewaltenteilung setzt genau hier an: Nicht eine einzelne Schutzmaßnahme und nicht das regelkonforme Verhalten des Modells selbst dürfen ausfallkritisch sein.

Das verlangt zugleich technische Tiefe bei der Beurteilung ungewöhnlichen KI-Verhaltens. Begriffe wie „Täuschung“, „Selbsterhaltung“, „Widerstand“ oder „Verselbstständigung“ können ein beobachtetes Verhalten anschaulich beschreiben, übertragen aber leicht Kategorien menschlicher Motivation auf technische Systeme. Wer aus einem Ergebnis unmittelbar auf ein Motiv schließt, riskiert deshalb einen Kategorienfehler. Umgekehrt wäre es ebenso falsch, ein gefährliches Verhalten deshalb zu verharmlosen, weil sich kein menschliches Motiv nachweisen lässt. Entscheidend sind die technische Funktionsweise des Systems, seine Zielsetzung, seine tatsächlichen Handlungsmöglichkeiten, die wirksamen Begrenzungen und die Bedingungen, unter denen diese versagt haben. Wer KI-Systeme beurteilt oder reguliert, ohne diese Zusammenhänge zu verstehen, läuft Gefahr, sowohl das tatsächliche Risiko als auch die geeigneten Gegenmaßnahmen falsch einzuschätzen.

Die Lage rechtfertigt deshalb weder Entwarnung noch Weltuntergangsgewissheit. Reale Vorfälle verlangen robuste Architektur und unabhängige Kontrolle; simulierte Fehlanpassungen verlangen Vorsorge, aber ebenso eine präzise Einordnung ihrer Aussagekraft und Grenzen. Entscheidend ist nicht, welches Narrativ sich aus einem Vorfall bilden lässt, sondern was er tatsächlich über Fähigkeiten, Fehlermuster und Kontrollierbarkeit eines Systems erkennen lässt. Weder ungewöhnliches Verhalten noch persönliche Risikoeinschätzungen beweisen eine zwangsläufige Entwicklung hin zu autonomem Machtstreben oder existenzieller Gefahr. Sie können aber technische Schwachstellen sichtbar machen, die auch ohne solche Motive erhebliche Risiken begründen.

Wer nur Schlagzeilen verfolgt, erhält deshalb fast zwangsläufig die falsche Geschichte – diejenige, die am wenigsten Recherche benötigt. Eine wahre Geschichte erfordert Anstrengung und Zeit, eine Fiktion ist schnell erzählt. Gerade bei einer Technologie, die Wissenschaft, Wirtschaft und staatliche Macht zugleich verändert, ist diese Anstrengung keine akademische Tugend. Sie ist selbst eine notwendige Sicherheitsmaßnahme.