OpenAI meldet für GPT-5.6 Sol auf dem ARC-AGI-3-Public-Set einen deutlichen Leistungssprung, nachdem zwei API-Einstellungen aktiviert wurden: Retained Reasoning und Compaction. Der Fall zeigt, dass Benchmarks nicht nur Modelle prüfen, sondern auch die Umgebung, in der ein Agent arbeitet.
Übersicht:
Was OpenAI gemessen hat
Der Kernbefund ist einfach: Mit dem offiziellen ARC-AGI-3-Harness erreichte GPT-5.6 Sol auf dem Public-Set 13,3 Prozent. Mit einem angepassten Harness auf Basis der Responses API, aktivierter Reasoning-Speicherung und Compaction stieg der Wert auf 38,3 Prozent.
ARC-AGI-3 testet interaktive Agenten in unbekannten 2D-Umgebungen. Anders als bei statischen Aufgaben muss ein Modell nicht nur eine Antwort liefern, sondern durch Handlungen herausfinden, welche Regeln ein Spiel hat.
| Setup | Ergebnis auf dem Public-Set | Kontextnutzung |
|---|---|---|
| Offizieller ARC-AGI-3-Harness | 13,3 Prozent RHAE | Ältere Inhalte werden bei vollem Verlauf abgeschnitten |
| Responses-API-Harness mit Retained Reasoning und Compaction | 38,3 Prozent RHAE | Frühere Überlegungen bleiben nutzbar, lange Verläufe werden verdichtet |
Die Kennzahl RHAE steht für Relative Human Action Efficiency. Sie vergleicht, wie effizient ein Agent im Verhältnis zu menschlichen Testpersonen handelt, statt nur zu zählen, ob ein Level irgendwann gelöst wird.
Warum der Harness entscheidend war
OpenAI beschreibt das Problem nicht als reine Modellschwäche, sondern als Zusammenspiel aus Modell, API-Konfiguration, Prompting und Testumgebung. Genau dort lag die eigentliche Ursache der schwachen Werte.
Im offiziellen Setup wurden nach jeder Aktion die privaten Reasoning-Nachrichten verworfen. Das Modell sah zwar noch frühere Spielzüge und kurze Notizen, verlor aber den Denkweg, der zu diesen Schritten geführt hatte.
Zusätzlich arbeitete der Harness mit Rolling Truncation. Sobald der Verlauf zu groß wurde, fielen alte Aktionen aus dem Kontext. Der Agent verlor also nicht nur frühere Überlegungen, sondern nach und nach auch Teile seiner eigenen Spielhistorie.
Das ist bei einem Lernspiel besonders problematisch. Ein Agent, der in jeder Runde fast bei null anfängt, wirkt langsam und unkoordiniert, auch wenn das zugrunde liegende Modell grundsätzlich zu besseren Strategien fähig ist.
Wie Retained Reasoning und Compaction helfen
Retained Reasoning bedeutet, dass interne Reasoning-Elemente über mehrere Schritte hinweg verfügbar bleiben. Bei langen Agentenaufgaben kann das Modell dadurch auf frühere Annahmen, Irrtümer und Zwischenpläne zurückgreifen.
Compaction verdichtet lange Verläufe, statt ältere Teile stumpf zu löschen. OpenAI beschreibt die Funktion als native Lösung der Responses API, um relevante Zustände in langen Agenten-Schleifen zu erhalten.
Der Unterschied ähnelt einem Menschen, der ein Rätselspiel mit Notizbuch spielt. Ohne Notizen muss er jedes Muster neu ableiten. Mit Notizen erkennt er schneller, welche Taste welche Wirkung hat und wann sich eine Strategie bewährt.
Im Test führte diese Kombination laut OpenAI nicht nur zu einem höheren Score, sondern auch zu deutlich weniger Output-Tokens. GPT-5.6 Sol musste vor jeder Aktion weniger neu analysieren und konnte konsistenter planen.
Was Entwickler daraus ableiten sollten
Die klare Entscheidungsregel lautet: Bei mehrstufigen Agenten-Workflows sollte der Harness den Denk- und Handlungsverlauf erhalten, solange er für die Aufgabe relevant bleibt. Ein generischer Testaufbau ist fairer im engeren Sinn, aber nicht automatisch näher an realer Produktnutzung.
Für API-Entwickler ergeben sich drei praktische Prioritäten:
-
Responses API nutzen: Für moderne Agenten-Workflows ist sie besser auf Tool-Calls, längere Interaktionen und Zustandsverwaltung ausgelegt als ältere Chat-Completions-Muster.
-
Reasoning erhalten: Wenn Ziele, Regeln und Hypothesen über mehrere Schritte stabil bleiben, sollte früheres Reasoning nicht nach jedem Schritt verschwinden.
-
Compaction aktiv prüfen: Lange Aufgaben brauchen Verdichtung statt bloßes Abschneiden des Verlaufs.
Praxisbeispiel: Ein Support-Agent analysiert Logdateien, fragt ein internes Tool ab, prüft eine Konfiguration und schlägt danach eine Lösung vor. Wenn nach jedem Tool-Call die Begründung verloren geht, wiederholt der Agent Diagnosearbeit. Mit gespeichertem Reasoning und Compaction behält er Hypothesen wie fehlerhafte Token-Konfiguration oder falsche Region im Blick.
Was der Fall für den KI-Markt bedeutet
Die Markteinordnung lässt sich als Modell-Harness-Metrik-Modell lesen. Das Modell liefert die Fähigkeiten, der Harness bestimmt, wie gut diese Fähigkeiten abrufbar sind, und die Metrik entscheidet, was am Ende als Fortschritt erscheint.
Für Benchmark-Vergleiche wird damit eine alte Schwachstelle sichtbarer. Wer nur Modellnamen und Prozentwerte betrachtet, übersieht, ob ein Agent mit produktionsnaher Speicherlogik arbeitet oder in einer künstlich vergesslichen Umgebung getestet wird.
Das schmälert den Wert von öffentlichen ARC-AGI-3-Spielen nicht. Im Gegenteil: Der Benchmark zeigt, wie stark interaktive Intelligenz von Exploration, Gedächtnis und effizienter Kontextpflege abhängt. Genau diese Kombination wird für Agenten wichtiger als einzelne Mustererkennung in isolierten Aufgaben.
Die wichtigste Lehre ist daher nicht, dass ein einzelner Score steigt. Entscheidend ist, dass Agenten-Tests 2026 ohne genaue Angaben zu Harness, Speicherstrategie und API-Einstellungen nur begrenzt vergleichbar sind.