GPT-Red ist OpenAIs automatisierter Sicherheitsgegner für KI-Modelle. Das System sucht gezielt nach Prompt-Injection-Schwachstellen, erzeugt daraus Trainingsdaten und soll GPT-5.6 Sol deutlich robuster machen, ohne die normale Leistungsfähigkeit des Modells zu senken.
Übersicht:
Warum GPT-Red nötig ist
OpenAI adressiert mit GPT-Red ein Kernproblem moderner KI-Agenten: Sie arbeiten mit Webseiten, Dateien, E-Mails, Tool-Ausgaben und Code-Repositories, also mit Material, das auch manipulierte Anweisungen enthalten kann. Prompt-Injection-Angriffe nutzen genau diese offene Flanke.
Bei einer Prompt-Injection versucht ein Angreifer, dem Modell versteckte oder widersprüchliche Befehle unterzuschieben. Ein Agent soll dann etwa nicht mehr die Aufgabe des Nutzers erfüllen, sondern Daten weitergeben, Zahlungen auslösen oder Sicherheitseinstellungen verändern.
Klassisches Red-Teaming bleibt dafür unverzichtbar, skaliert aber schlecht. Menschen finden hochwertige Angriffe, liefern jedoch nicht genug Varianten, um große Modelle fortlaufend damit zu trainieren. GPT-Red soll diese Lücke schließen, indem es Angriffe massenhaft erzeugt, testet und in neue Trainingsläufe einspeist.
Wie Self-Play das Red-Teaming skaliert
GPT-Red wird per Self-Play trainiert. Vereinfacht gesagt spielt ein Modell den Angreifer, mehrere andere Modelle übernehmen die Verteidigung. Der Angreifer erhält eine Belohnung, wenn er eine gültige Sicherheitsverletzung auslöst, die Verteidiger werden dafür belohnt, wenn sie die ursprüngliche Nutzeraufgabe korrekt erledigen und schädliche Zusatzbefehle ignorieren.
Dieses Verfahren erzeugt eine Art Sicherheits-Trainingslager. Sobald die Verteidiger besser werden, muss GPT-Red kreativere Angriffe entwickeln. Dadurch entsteht ein Kreislauf aus Angriff, Abwehr und Gegenanpassung.
- Angreiferrolle: GPT-Red kontrolliert zum Beispiel Teile einer Datei, einer Webseite, einer E-Mail oder einer Tool-Ausgabe.
- Verteidigerrolle: Die Zielmodelle müssen nützliche Aufgaben erledigen, dürfen aber den eingebetteten Fremdbefehl nicht befolgen.
- Bewertung: Jede Testumgebung definiert vorher, welche Aktion als erfolgreicher Angriff gilt.
OpenAI hält GPT-Red intern und getrennt von produktiven Modellen. Der Grund ist naheliegend: Ein Modell, das besonders gute Angriffe schreibt, wäre als öffentliches Werkzeug auch für echte Angreifer nützlich. Robustheit soll in die Produktionsmodelle wandern, nicht die Angriffskompetenz selbst.
Was die Tests zeigen
Die von OpenAI genannten Ergebnisse zeigen vor allem eines: Automatisiertes Red-Teaming findet Angriffe schneller, breiter und in manchen Tests erfolgreicher als rein menschliche Teams. Im internen Nachbau einer Arena zu indirekten Prompt-Injections nach Dziemian et al. erzielte GPT-Red gegen GPT-5.1 deutlich höhere Erfolgsraten als menschliche Red-Teamer. Die zugrunde liegende Forschungsarbeit zu indirekten Prompt-Injections ist auf arXiv verfügbar.
| Messpunkt | Ergebnis laut OpenAI | Einordnung |
|---|---|---|
| Neue Prompt-Injection-Szenarien | 84 Prozent Erfolgsrate für GPT-Red, 13 Prozent für Menschen | Automatisierte Angreifer decken in diesem Setup mehr Varianten ab. |
| Direkte Prompt-Injection-Benchmark | GPT-5.6 Sol mit sechsmal weniger Fehlern als das beste Produktionsmodell vier Monate zuvor | Robustheit verbessert sich messbar über Modellgenerationen hinweg. |
| Fake-Chain-of-Thought-Angriffe | Über 95 Prozent Erfolg bei GPT-5.1, unter 10 Prozent bei GPT-5.6 Sol | Gezieltes Training kann einzelne Angriffsklassen stark entschärfen. |
| Direkte GPT-Red-Angriffe auf GPT-5.6 Sol | Nur 0,05 Prozent Fehlerrate | Das aktuelle Modell hält den eigenen Trainingsangriffen weitgehend stand. |
Besonders anschaulich ist der Fall eines KI-gestützten Verkaufsautomaten, angelehnt an Project Vend. GPT-Red testete Angriffe zunächst in einer Simulation und übertrug sie anschließend auf den Live-Agenten. Das System erreichte dabei manipulierte Preisänderungen, eine ungewollte Bestellung und die Stornierung einer Kundenbestellung.
Ein zweites Praxisbeispiel betrifft einen Codex-CLI-Agenten auf Basis von GPT-5.4 mini. GPT-Red griff zehn zurückgehaltene Datenabfluss-Szenarien an und war dabei wirksamer sowie token-effizienter als eine lediglich per Prompt gesteuerte GPT-5.5-Baseline. Das technische Paper zu GPT-Red beschreibt diese Experimente ausführlicher im GPT-Red-Forschungspaper.
Was Unternehmen daraus ableiten sollten
GPT-Red verschiebt die Sicherheitsdebatte bei KI-Agenten. Es reicht nicht mehr, ein Modell nur vor dem Start zu prüfen. Wer Agenten mit Tools, Browsern, Dateien oder internen Systemen verbindet, braucht laufende Angriffssimulationen und Trainingsdaten aus realistischen Fehlerszenarien.
Entscheidungsregel: Je mehr ein KI-Agent eigenständig lesen, schreiben, buchen, löschen oder externe Tools bedienen darf, desto stärker müssen Red-Teaming, Berechtigungsgrenzen und Echtzeitüberwachung ausfallen.
Ein Mini-Modell für die Einordnung
Für die Praxis hilft das Drei-T-Modell: Tool-Zugriff, Trainingsgegner, Tempo. Diese drei Faktoren bestimmen, ob KI-Sicherheit mit der Leistungsfähigkeit der Modelle mithalten kann.
- Tool-Zugriff: Ein Chatbot ohne Werkzeuge ist riskant, ein Agent mit Datei-, Browser- und Zahlungszugriff ist deutlich kritischer.
- Trainingsgegner: Starke Modelle brauchen starke Angreifer im Training, sonst testen Sicherheitsbenchmarks nur alte Schwächen.
- Tempo: Neue Modellversionen, neue Tools und neue Angriffsformen entstehen schneller, als manuelle Tests allein folgen können.
Für Unternehmen bedeutet das: KI-Agenten sollten nicht pauschal möglichst viele Rechte erhalten. Sinnvoller ist ein gestuftes Modell mit minimalen Berechtigungen, Prüfprotokollen, getrennten Tool-Scopes und automatisierten Sicherheitstests vor jeder Erweiterung.
Wo die Grenzen liegen
Robustheit darf nicht dadurch entstehen, dass ein Modell fast alles ablehnt. Ein Agent, der keine riskanten Aktionen mehr ausführt, ist zwar schwerer anzugreifen, verliert aber auch seinen Nutzen. OpenAI betont deshalb, dass GPT-5.6 Sol trotz stärkerer Abwehr seine allgemeinen Fähigkeiten behalten soll.
Der wichtigste Punkt ist die Balance: Ein robustes Modell erkennt schädliche Fremdanweisungen, erledigt aber weiterhin legitime Nutzeraufgaben. Genau diese Unterscheidung ist bei agentischen Systemen entscheidend, weil sie ständig zwischen vertrauenswürdigen Nutzerzielen und potenziell manipulierten Drittinhalten wechseln.
GPT-Red ist damit weniger ein einzelnes Sicherheitsprodukt als ein Verfahren zur Selbstverbesserung. Heutige Modelle erzeugen Angriffe, mit denen künftige Modelle widerstandsfähiger trainiert werden. Der Markttrend ist klar: KI-Sicherheit entwickelt sich von gelegentlichen Prüfungen hin zu kontinuierlichen, automatisierten Stresstests.