Jalapeño zeigt OpenAIs neuen Vorteil bei KI-Inferenz

OpenAI meldet erste Messergebnisse für Jalapeño, den eigenen Inferenz-Chip. Der Chip soll KI-Anfragen schneller beantworten und zugleich mehr Rechenarbeit pro Watt liefern, was besonders für Agenten, ChatGPT-Antworten und API-Dienste relevant ist.

Übersicht:

Was die Ergebnisse zeigen

Jalapeño soll zwei Ziele verbinden, die bei KI-Inferenz oft gegeneinander arbeiten: hohe Auslastung und kurze Antwortzeiten. Laut OpenAI erreicht der Chip über mehrere große Modelle hinweg mehr Leistung pro Watt und niedrigere Latenz als die verglichenen kommerziellen Systeme.

Getestet wurden GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T. Über diese Modelle hinweg nennt OpenAI 1,5- bis 1,9-mal mehr KI-Arbeit pro Watt bei maximalem Durchsatz und 1,7- bis 3,6-mal niedrigere Ende-zu-Ende-Latenz. Bei besonders interaktiven Workloads lag der Vorteil laut den Angaben bei 2,1- bis 4,1-mal höherer Leistung.

Der Kern ist nicht nur ein schnellerer Chip. OpenAI positioniert Jalapeño als Teil eines vollständigen Infrastruktur-Stacks, bei dem Modelle, Serving-Software, Speicher, Netzwerk, Racks und Silizium gemeinsam entwickelt werden. Das ist strategisch wichtig, weil KI-Produkte nicht allein durch bessere Modelle skalieren, sondern auch durch günstigere und schnellere Ausführung.

Wie OpenAI gemessen hat

OpenAI bewertet Jalapeño nicht nur pro Chip, sondern vor allem pro Energieeinsatz. Dieser Blick ist sinnvoll, weil große KI-Dienste durch Strom, Kühlung und verfügbare Rechenkapazität begrenzt werden. Ein Chip ist wirtschaftlich erst dann stark, wenn er viele nützliche Antworten pro Watt liefert.

Die Tests liefen über InferenceX von SemiAnalysis, einen öffentlichen Benchmark für KI-Inferenz. Er misst nicht nur einzelne Rechenoperationen, sondern den Ablauf einer echten Modellanfrage, also Durchsatz, Latenz und Systemverhalten über verschiedene Betriebsmodi hinweg.

OpenAI normalisierte die Ergebnisse anhand der veröffentlichten Leistungsaufnahme der Beschleuniger. Jalapeño ist mit 700 Watt angegeben, blieb in den getesteten Workloads laut OpenAI aber dauerhaft bei höchstens 550 Watt. Die Vergleichssysteme nutzten unter anderem NVIDIAs GB200 und GB300, wobei der GB300 als Blackwell-Ultra-System auf maximale KI-Factory-Leistung ausgelegt ist.

Die Entscheidungsregel für solche Zahlen lautet: Für interaktive KI zählt nicht der höchste theoretische Token-Ausstoß allein, sondern die beste Kombination aus Antwortzeit, Durchsatz und Energiebedarf. Ein System, das viele Tokens erzeugt, aber Nutzer warten lässt, löst das falsche Problem.

Warum Jalapeño schneller sein soll

Jalapeño wurde für Sprachmodell-Inferenz gebaut, nicht als allgemeiner Allzweck-Beschleuniger. Das verändert die Prioritäten. Der Chip muss Prompts schnell verarbeiten, Antworten Token für Token erzeugen und dabei möglichst wenig Daten zwischen Recheneinheiten, Speicher und Netzwerk hin- und herschieben.

Bei Sprachmodellen unterscheiden sich zwei Phasen besonders stark. Prefill bezeichnet die Verarbeitung der Eingabe und benötigt viel Rechenleistung. Decode erzeugt die Antwort Schritt für Schritt und hängt stärker an Speicherbandbreite und schneller Datenverfügbarkeit.

Ein häufiges Problem großer Inferenzsysteme ist Datenbewegung. Wenn Modellzustand, KV-Cache oder Zwischenwerte ständig zwischen Chips und Knoten wandern, stehen Recheneinheiten herum und warten. Jalapeño soll genau diese Wartezeiten reduzieren, indem Modellzustand gezielt platziert und lokal gehalten wird.

• Weniger Datenbewegung: Der Chip soll Speicher, Netzwerk und Recheneinheiten so koordinieren, dass Informationen möglichst nah am richtigen Verarbeitungsschritt bleiben.

• Flexiblere Ressourcennutzung: Je nach Inferenzphase werden andere Teile des Systems wichtiger. Jalapeño soll diese Gewichtung dynamisch abbilden.

• Rack-Scale-Denken: Das Netzwerk ist nicht Beiwerk, sondern Teil der Architektur. Dadurch kann eine komplette Anfrage innerhalb eines zusammenhängenden Systems bleiben.

Ein Praxisbeispiel macht den Unterschied greifbar: Ein KI-Agent, der eine Reise plant, sucht Flüge, prüft Hoteloptionen, vergleicht Regeln, ruft Tools auf und formuliert am Ende eine Empfehlung. Wenn jeder Zwischenschritt eine Sekunde verliert, wird der gesamte Agent träge. Niedrigere Latenz pro Schritt macht solche Abläufe spürbar flüssiger.

Wie KI den Chip mitentwickelt hat

OpenAI nutzte eigene Modelle nicht nur als Ziel-Workloads, sondern auch als Entwicklungswerkzeug. Frühere Modellgenerationen halfen beim Chip-Design und beim Bring-up, also beim ersten stabilen Betrieb der Hardware. Neuere Modelle unterstützen laut OpenAI vor allem bei Optimierung und Programmierung.

Der Weg vom ersten Design bis zum Tape-out soll neun Monate gedauert haben. Tape-out ist der Moment, in dem ein Chip-Design an die Fertigung übergeben wird. Für Spezialhardware dieser Größenordnung ist ein so kurzer Zyklus nur plausibel, wenn Design-, Mess- und Prüfprozesse stark automatisiert werden.

Jalapeño wurde außerdem so entworfen, dass Menschen und KI ihn gut programmieren können. Entwickler beschreiben lokale Tensoren, explizite Kommunikation und planbare Synchronisation. KI-Systeme können anschließend helfen, Arbeitsschritte besser zu verteilen, zu platzieren und zeitlich abzustimmen.

Für drei Open-Weight-Modelle, die ursprünglich nicht im Produktionsplan standen, erreichte das Team laut OpenAI innerhalb von zwei Monaten hohe Leistung. Dabei kam Codex zusammen mit GPT-Astra zum Einsatz. Bei ausgewählten Attention- und Mixture-of-Experts-Blöcken von GPT-OSS waren KI-generierte Implementierungen 1,5- bis 1,8-mal schneller als bestehende Versionen menschlicher Experten. Diese Werte gelten nur für einzelne Bausteine, nicht für das komplette Modell.

Was das für den KI-Markt bedeutet

Jalapeño zeigt, wohin sich KI-Infrastruktur bewegt: weg vom reinen Kauf möglichst großer GPU-Cluster, hin zu stärker spezialisierten Systemen für konkrete KI-Arbeit. Der Maßstab verschiebt sich von Rohleistung zu Ergebnisleistung.

Ein hilfreiches Mini-Modell lautet Technologie, Talent, Tempo. Technologie steht für eigenes Silizium und Systemdesign. Talent steht für Teams, die Modelle, Compiler, Netzwerke und Rechenzentren zusammen denken. Tempo steht für die Fähigkeit, neue Modellfamilien schnell auf die eigene Infrastruktur zu bringen.

Für OpenAI kann ein effizienterer Inferenz-Stack wirtschaftlich viel bewirken. Wenn dieselbe Strom- und Hardwarebasis mehr erfolgreiche KI-Aufgaben erledigt, sinken die Kosten pro Ergebnis. Das kann schnellere Produkte, stabilere Verfügbarkeit und langfristig mehr Spielraum bei API-Preisen oder neuen Serviceklassen ermöglichen.

Der Markteffekt ist dennoch nicht gleichbedeutend mit einem Abschied von NVIDIA oder anderen Partnern. OpenAI betont, weiterhin Beschleuniger von NVIDIA und weiteren Anbietern breit einzusetzen. Jalapeño ist also eher ein zusätzlicher Hebel im Stack als ein vollständiger Ersatz der bestehenden Lieferkette.

Wie es mit Jalapeño weitergeht

OpenAI will Jalapeño bis Ende 2026 in die eigene Compute-Infrastruktur bringen. Vor dem breiten Einsatz stehen noch Produktionsqualifikation, Software-Reife, Betriebsvorbereitung und weitere Modellvalidierung an.

Der Chip ist als erste Generation einer mehrjährigen Plattform angelegt. Eine zweite Generation befindet sich laut OpenAI bereits tief in der Entwicklung, eine dritte nimmt Gestalt an. Jede Generation soll aus realen Workloads lernen und Geschwindigkeit sowie Energieeffizienz weiter verbessern.

Die klare Entscheidungsregel für Nutzer und Entwickler lautet: Jalapeño ist kurzfristig kein Produkt, das man direkt buchen oder selbst installieren kann. Relevant wird es indirekt, wenn OpenAI dadurch schnellere Agenten, stabilere API-Dienste oder günstigere Ausführung für rechenintensive KI-Aufgaben anbieten kann.