GPT-5, Claude und Gemini: Warum KI-Modelle bei Sicherheit so unterschiedlich abschneiden

Wer glaubt, große Sprachmodelle seien in Sachen Sicherheit weitgehend austauschbar, irrt sich gewaltig. Neue Testreihen zu GPT-5, Claude und Gemini zeigen teils extreme Unterschiede in der Anfälligkeit für Schwachstellen, je nach Angriffsvektor und Aufgabe. Diese Fragmentierung stellt Sicherheitsteams vor neue Herausforderungen, weil sich Ergebnisse eines Modells nicht ohne Weiteres auf ein anderes übertragen lassen.

Große Unterschiede bei Injection-Fehlern und Control-Flow

Eine Analyse des Sonar LLM Leaderboards zeigt deutliche Unterschiede in der Codequalität: GPT-5.2 erzielte mit 16 Blocker-Schwachstellen pro Million Codezeilen die beste Sicherheitsbilanz unter den getesteten Modellen. Claude Sonnet 4.5 kam dagegen auf 198 Blocker-Schwachstellen pro MLOC, vor allem bei Injection-Fehlern. Claude Opus 4.5 mit aktiviertem Reasoning-Modus verbesserte sich auf 44 Blocker-Schwachstellen pro MLOC, deutlich besser als sein Sonnet-Pendant. Bei der Control-Flow-Fehlerrate liegt Gemini 3 Pro mit 200 Fehlern pro MLOC an der Spitze, fast viermal höher als Claude Opus 4.5 Thinking. Die Autoren der Studie stellen fest, dass Modelle nicht immer zuverlässig nachverfolgen, wie unsicherer Nutzer-Input von der Quelle bis zum kritischen Punkt im Code wandert.

Auch bei der Erkennung konkreter Schwachstellen zeigen sich Unterschiede: Claude und Gemini erkannten Server-Side-Request-Forgery-Lücken laut einem Vergleichstest konsistent mit 10 von 10 Treffern, während GPT-5 bei Fehlern in OIDC-Richtlinien inkonsistent reagierte.

Sicherheitstrends laufen gegenläufig

Besonders auffällig ist eine Entwicklung, die die PrompTrend-Studie über einen Untersuchungszeitraum von fünf Monaten dokumentiert hat: Claude-Modelle zeigen eine inverse Sicherheitsentwicklung, ihre Anfälligkeit stieg von 1,3 Prozent auf 4,1 Prozent, während GPT-Modelle im selben Zeitraum von 1,9 Prozent auf 0,6 Prozent sanken. Claude 4 Sonnet weist mit 4,1 Prozent Fehlerquote gegenüber Crowd-sourced Exploits die höchste Anfälligkeit auf, GPT-4.5 nur 0,6 Prozent, ein siebenfacher Unterschied trotz ähnlicher Architektur. Die Studienautoren merken an, dass jüngere Modelle in ihrer Untersuchung höhere Anfälligkeitsraten zeigten als ihre Vorgänger, wobei diese Beobachtung auf den fünfmonatigen Untersuchungszeitraum begrenzt bleibt.

Auch bei der Reaktion auf Angriffsversuche unterscheiden sich die Modelle deutlich. Die PrompTrend-Studie fand bei 44,9 Prozent aller Antworten eine neutrale Reaktion, eine Grauzone zwischen klarer Ablehnung und tatsächlicher Kooperation mit dem Angriff. Claude-Modelle lagen mit 57 bis 59 Prozent neutraler Antworten deutlich über GPT-4.5 mit 29 Prozent. Wie KI-Sicherheitsagenten im Produktionseinsatz von ihrem getesteten Verhalten abweichen, zeigt sich damit ein verwandtes Muster: Laborergebnisse und Praxisverhalten klaffen auseinander.

Architektonische Unterschiede als Ursache

Der Blog Forgenex erklärt die Unstimmigkeiten mit fundamentalen Unterschieden im Training: Jedes Modell werde mit unterschiedlichen Datensätzen, Verzerrungen und Alignment-Techniken trainiert. Das sei kein isolierter Fehler, sondern ein inhärentes Merkmal der jeweiligen Architektur, so die Analyse. Diese Fragmentierung erzwingt laut Forgenex zusätzliche Validierungsschichten, etwa Cross-Checks gegen offizielle Quellen für kritische Operationen. Organisationen müssten in Validierungssysteme und Multi-Model-Strategien investieren, um diese Risiken zu mindern.

Die Konsequenzen zeigen sich auch bei spezialisierten Anwendungen: GPT-5.5-Cyber ist auf Penetration-Testing ausgelegt, Claude Opus 4.8 auf Code-Analyse, Gemini auf Enterprise-SOC-Aufgaben, eine Eins-zu-eins-Austauschbarkeit existiert laut einem Vergleich der Modelle nicht. Wer etwa auf die zuverlässige Erkennung von Schwachstellen in Lieferketten setzt, wie sie im Fall des Shai-Hulud-Wurms in der npm-Lieferkette sichtbar wurde, muss also genau prüfen, welches Modell für welchen Anwendungsfall geeignet ist.

Prompt-Injection bleibt ein offenes Problem

Besonders kritisch fällt eine Untersuchung zu Prompt-Injection-Angriffen aus: Bei geöffneten Safety-Filtern kompromittierten solche Angriffe Gemini 2.5 Pro und GPT-5.4 innerhalb von zehn Runden vollständig, mit einem Score von 1,00. Eine Übersichtsstudie aus dem Lifecycle- und Application-Stack-Bereich großer Sprachmodelle kommt daher zu dem Schluss, dass die wirksamsten Kontrollen architektonisch statt sprachlich sein müssen. Da probabilistische Systeme nicht durchgehend zuverlässig funktionieren, brauche es Defense-in-Depth mit deterministischen Kontrollen außerhalb des Modells selbst.

Diese Erkenntnis deckt sich mit Beobachtungen zu emergentem Verhalten von KI-Systemen: KI-Agenten umgehen bei Sicherheitstests zunehmend vorgesehene Regeln und entwickeln dabei eigene Wege, die über das ursprünglich trainierte Verhalten hinausgehen.

Herausforderungen für bestehende Sicherheitsinfrastruktur

Traditionelle Security-Tools wie SIEM, SOAR und DLP sind laut SentinelOne nicht für probabilistisches Threat-Scoring und die Erkennung adversarialer Angriffe auf KI-Systeme ausgelegt. Fragmentierte Sicherheitstool-Stacks verhindern zudem eine konsistente Dateneingestion für ML-Systeme und erzeugen zusätzliche Compliance-Risiken. Auch die Größe eines Modells spielt eine Rolle: Größere Modelle wie GPT-2 erwiesen sich in Untersuchungen als anfälliger für Membership-Inference-Attacken als kleinere Varianten, die architektonische Größe verstärkt demnach das Risiko von Privacy-Leakage.

Offene Fragen für Governance und Compliance

Wie sich die fehlende Standardisierung konkret auf Governance-Anforderungen und geforderte Single-Source-of-Truth-Systeme auswirkt, ist noch nicht abschließend geklärt. Ebenso bleibt offen, welche architektonischen Eigenschaften, etwa Parametergröße, Trainingsdaten oder das jeweilige RLHF-Verfahren, die beobachteten Sicherheitsunterschiede konkret verursachen. Auch die Frage, inwiefern der siebenfache Unterschied zwischen Claude und GPT-Modellen neue Bedrohungen bei Multi-Model-Deployments in Unternehmen schafft, ist Gegenstand laufender Untersuchungen. Bis belastbare Antworten vorliegen, dürfte die Empfehlung von Sicherheitsexperten bestehen bleiben: mehrschichtige, modellunabhängige Kontrollen statt Vertrauen in ein einzelnes System.