15.09.2024 AI Engineering4 Minuten Lesezeit

OpenAI o1: Test-Time Compute und der Preis des Denkens

OpenAIs o1-preview und o1-mini vom 12. September 2024 kaufen Genauigkeit mit zusätzlicher Rechenzeit: Verborgene Reasoning-Tokens erhöhen Latenz und Kosten zur Inferenz. Wir zeigen, wo trainiertes Schlussfolgern in Mathematik, Code und Planung hilft, wie die Rechnung aussieht, warum die Gedankenkette verborgen bleibt und welche Engineering-Folgen Test-Time Compute hat.

Die Grenzen schneller Antworten

Ein großes Sprachmodell wendet für jedes erzeugte Token ungefähr dieselbe Rechenleistung auf. Ob triviale Frage oder Olympiadeaufgabe: Der Forward-Pass bleibt gleich. Bei Aufgaben, die Suche, Zerlegung und Rücksprünge erfordern — Wettbewerbsmathematik, algorithmische Programmierung, mehrstufige Planung —, wird dieses fixe Budget zum Engpass. Das Modell legt sich früh auf ein Token fest und kann es anschließend nicht revidieren.

Prompt-Engineering behandelte bislang vor allem das Symptom. Chain-of-Thought-Prompting, publiziert von Wei et al. im Januar 2022, lässt ein Modell Zwischenschritte ausschreiben und verbessert die Genauigkeit messbar. Das Schlussfolgern selbst bleibt dabei jedoch untrainiert: Das Modell imitiert schrittweisen Text, ohne gezielt auf das Finden korrekter Schritte optimiert zu sein. Seit GPT-3 war Pretraining-Compute der zentrale Skalierungshebel. Mit o1 erhält er ein Gegenstück zur Inferenzzeit.

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Was OpenAI o1 tatsächlich tut

Am 12. September 2024 hat OpenAI o1-preview und o1-mini veröffentlicht — die ersten Modelle einer neuen Serie, per Reinforcement Learning darauf trainiert, vor der Antwort eine lange interne Gedankenkette zu erzeugen. Nach Angaben von OpenAI lernt das Modell dabei, eigene Fehler zu erkennen, schwierige Schritte zu zerlegen und den Ansatz zu wechseln, wenn einer scheitert.

In der API materialisiert sich dieses Denken als Reasoning-Tokens. Sie belegen Platz im Kontextfenster von 128.000 Tokens und werden als Output-Tokens abgerechnet, aber nicht zurückgegeben. Sichtbar ist nur ihre Anzahl im Usage-Objekt. Die Ausgabe inklusive Reasoning ist bei o1-preview auf 32.768 Tokens begrenzt, bei o1-mini auf 65.536.

Test-Time Compute als zweite Achse

OpenAI berichtet, dass die Genauigkeit von o1 entlang zweier Achsen gleichmäßig steigt: mehr Reinforcement Learning im Training und mehr Denkzeit zur Inferenz. Die zweite Achse ist die neue. Test-Time Compute bedeutet: Ein Modell kann Genauigkeit pro Anfrage mit Inferenzbudget kaufen, statt ein größeres Modell zu benötigen.

Die AIME-2024-Zahlen zeigen die Skalierung. o1 löst 74 % der Aufgaben mit einer einzelnen Stichprobe, 83 % per Konsens über 64 Stichproben und 93 %, wenn 1.000 Stichproben mit einer gelernten Bewertungsfunktion neu geordnet werden. Dieselben Gewichte, drei Rechenbudgets, drei Ergebnisse. Die relevante Größe verschiebt sich von der Parameterzahl zum Inferenzbudget.

Wo sich bewusstes Schlussfolgern auszahlt

Die veröffentlichten Zahlen konzentrieren die Gewinne dort, wo sich Lösungen prüfen lassen: Wettbewerbsmathematik, kompetitives Programmieren, harte naturwissenschaftliche Fragen. Ergebnisse mit einer einzelnen Stichprobe (pass@1) aus OpenAIs Evaluation:

o1 ist zudem das erste Modell, das rekrutierte Promovierte auf GPQA Diamond übertrifft. Für Code ist o1-mini die relevante Option: Es erreicht auf Codeforces beinahe o1 und kostet 80 % weniger als o1-preview. Planungsaufgaben profitieren aus demselben Grund. Wo ein Problem Ausprobieren, Prüfen und Revidieren belohnt, schlägt trainiertes Abwägen den einzelnen Durchlauf.

Benchmark (pass@1)	GPT-4o	o1-preview	o1
AIME 2024	9,3 %	44,6 %	74,4 %
Codeforces (Elo / Perzentil)	808 / 11.	1.258 / 62.	1.673 / 89.
GPQA Diamond	50,6 %	73,3 %	77,3 %

Der Preis in Latenz und Kosten

o1-preview kostet 15 US-Dollar pro Million Input-Tokens und 60 US-Dollar pro Million Output-Tokens; o1-mini liegt mit 3 und 12 US-Dollar 80 % darunter. Reasoning-Tokens werden zum Output-Tarif berechnet, obwohl sie nie angezeigt werden. Eine einzelne Anfrage kann Hunderte bis Zehntausende davon verbrauchen; OpenAI empfiehlt, rund 25.000 Tokens für Reasoning und Ausgabe zu reservieren.

Die Latenz folgt derselben Kurve: Antworten dauern Sekunden bis Minuten. Die Beta ist eng: keine System-Messages, kein Streaming, kein Function Calling, keine Bildeingabe, API-Zugang nur für Usage-Tier 5 mit 20 Anfragen pro Minute, in ChatGPT Plus zum Start 30 o1-preview-Nachrichten pro Woche. Wer das Token-Limit mitten im Reasoning erreicht, zahlt ohne sichtbare Ausgabe.

Verborgene Gedankenketten

OpenAI zeigt die rohe Gedankenkette nicht. Nutzer sehen eine vom Modell erzeugte Zusammenfassung. Die genannten Gründe: Die unveränderte Kette muss frei von Policy-Training bleiben, damit sie sich auf Anzeichen von Manipulation überwachen lässt; dazu kommen Nutzererlebnis und Wettbewerbsvorteil. Die Nachteile dieser Entscheidung räumt OpenAI offen ein.

Für die Praxis verändert diese Unsichtbarkeit das Vertrauensmodell. Zwischenschritte lassen sich weder auditieren noch loggen oder vergleichen; auch die Kosten sind vor einer Anfrage nicht präzise planbar. Verifikation muss deshalb an der Ausgabe ansetzen: Unit-Tests für generierten Code, Nachrechnen numerischer Ergebnisse und Schema-Prüfungen für extrahierte Daten. Wir behandeln o1 damit als leistungsfähigere Blackbox — nicht als transparentere.

Was o1 nicht löst

o1 ist nicht für alles das bessere Modell. In OpenAIs eigenen Präferenz-Evaluationen bevorzugten menschliche Bewerter GPT-4o beim persönlichen Schreiben und beim Redigieren von Text; o1-preview gewann deutlich bei Programmierung, Datenanalyse und mathematischer Berechnung. Bewusstes Schlussfolgern lohnt nur, wenn ein Problem tatsächlich Suche erfordert. Für Retrieval, Formatierung oder kurze Faktenantworten erzeugt es Kosten ohne Genauigkeitsgewinn.

Auch die Prompt-Gewohnheiten drehen sich um. OpenAI rät zu einfachen, direkten Prompts; Few-Shot-Beispiele und die Anweisung, Schritt für Schritt zu denken, können die Leistung verschlechtern, weil das Modell bereits intern schlussfolgert. Unser Arbeitsmuster bei Blue IT Systems: Routen Sie die Masse eines Workloads auf ein schnelles Standardmodell und eskalieren Sie isolierte harte Teilprobleme an ein Reasoning-Modell — mit Output-Verifikation auf beiden Pfaden.

Wohin Test-Time Compute führt

OpenAI-Forscher Noam Brown schrieb am Veröffentlichungstag, künftige Versionen sollten Stunden, Tage oder gar Wochen denken können. Trifft das ein, wird Test-Time Compute zum zweiten Skalierungsgesetz neben dem Pretraining — und die Frage, wie lange eine Anfrage denken darf, wird ein Engineering-Parameter, wie es heute ein Timeout-Budget ist.

Wir erwarten drei Entwicklungen: sinkende Preise wie beim Übergang von GPT-4 zu GPT-4o mini, Router für die automatische Wahl zwischen schnellen und langsamen Modellen — von OpenAI für ChatGPT bereits als Ziel genannt — und Reasoning-Modelle als Planer in Agentensystemen, deren Ausführung günstigere Modelle übernehmen. Eine Grenze bleibt jedoch offen: Ob verborgenes Reasoning noch akzeptabel ist, sobald solche Systeme folgenreiche Entscheidungen treffen, lässt sich nicht allein mit besseren Benchmarks beantworten.