15.09.2024 AI Engineering 4 Minuten Lesezeit

OpenAI o1: Test-Time Compute und der Preis des Denkens

OpenAIs o1-preview und o1-mini, veröffentlicht am 12. September 2024, tauschen Latenz und Kosten gegen Genauigkeit: Rechenzeit fließt zur Inferenz in verborgene Reasoning-Tokens. Wir untersuchen, wo trainiertes Schlussfolgern hilft — Mathematik, Code, Planung —, was es kostet, warum die Gedankenkette verborgen bleibt und was Test-Time Compute für die Praxis bedeutet.

Die Grenzen schneller Antworten

Ein großes Sprachmodell wendet für jedes erzeugte Token ungefähr dieselbe Rechenleistung auf. Ob die Frage trivial ist oder ein Olympiade-Problem: Der Forward-Pass bleibt gleich. Für Aufgaben, die Suche, Zerlegung und Rücksprünge verlangen — Wettbewerbsmathematik, algorithmische Programmierung, mehrstufige Planung —, ist dieses fixe Budget der Engpass. Das Modell legt sich früh auf ein Token fest und kann es nicht revidieren.

Prompt-Engineering hat bisher das Symptom behandelt. Chain-of-Thought-Prompting, publiziert von Wei et al. im Januar 2022, lässt das Modell Zwischenschritte ausschreiben und verbessert die Genauigkeit messbar. Das Schlussfolgern selbst bleibt jedoch untrainiert: Das Modell imitiert schrittweisen Text; es wurde nie darauf optimiert, korrekte Schritte zu finden. Seit GPT-3 war der Haupthebel das Pretraining-Compute. Dieser Hebel hat jetzt ein Gegenstück.

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Was OpenAI o1 tatsächlich tut

Am 12. September 2024 hat OpenAI o1-preview und o1-mini veröffentlicht — die ersten Modelle einer neuen Serie, per Reinforcement Learning darauf trainiert, vor der Antwort eine lange interne Gedankenkette zu erzeugen. Nach Angaben von OpenAI lernt das Modell dabei, eigene Fehler zu erkennen, schwierige Schritte zu zerlegen und den Ansatz zu wechseln, wenn einer scheitert.

In der API materialisiert sich dieses Denken als Reasoning-Tokens. Sie belegen Platz im Kontextfenster von 128.000 Tokens und werden als Output-Tokens abgerechnet, aber nicht zurückgegeben. Sichtbar ist nur ihre Anzahl im Usage-Objekt. Die Ausgabe inklusive Reasoning ist bei o1-preview auf 32.768 Tokens begrenzt, bei o1-mini auf 65.536.

Test-Time Compute als zweite Achse

OpenAI berichtet, dass die Genauigkeit von o1 entlang zweier Achsen gleichmäßig steigt: mehr Reinforcement Learning im Training und mehr Denkzeit zur Inferenz. Die zweite Achse ist die neue. Test-Time Compute bedeutet: Ein Modell kann Genauigkeit pro Anfrage mit Inferenzbudget kaufen, statt ein größeres Modell zu benötigen.

Die AIME-2024-Zahlen zeigen die Skalierung. o1 löst 74 % der Aufgaben mit einer einzelnen Stichprobe, 83 % per Konsens über 64 Stichproben und 93 %, wenn 1.000 Stichproben mit einer gelernten Bewertungsfunktion neu geordnet werden. Dieselben Gewichte, drei Rechenbudgets, drei Ergebnisse. Die relevante Größe verschiebt sich von der Parameterzahl zum Inferenzbudget.

Wo sich bewusstes Schlussfolgern auszahlt

Die veröffentlichten Zahlen konzentrieren die Gewinne dort, wo sich Lösungen prüfen lassen: Wettbewerbsmathematik, kompetitives Programmieren, harte naturwissenschaftliche Fragen. Ergebnisse mit einer einzelnen Stichprobe (pass@1) aus OpenAIs Evaluation:

o1 ist zudem das erste Modell, das rekrutierte Promovierte auf GPQA Diamond übertrifft. Für Code ist o1-mini die relevante Option: Es erreicht auf Codeforces beinahe o1 und kostet 80 % weniger als o1-preview. Planungsaufgaben profitieren aus demselben Grund. Wo ein Problem Ausprobieren, Prüfen und Revidieren belohnt, schlägt trainiertes Abwägen den einzelnen Durchlauf.

Benchmark (pass@1)	GPT-4o	o1-preview	o1
AIME 2024	9,3 %	44,6 %	74,4 %
Codeforces (Elo / Perzentil)	808 / 11.	1.258 / 62.	1.673 / 89.
GPQA Diamond	50,6 %	73,3 %	77,3 %

Der Preis in Latenz und Kosten

o1-preview kostet 15 US-Dollar pro Million Input-Tokens und 60 US-Dollar pro Million Output-Tokens; o1-mini liegt mit 3 und 12 US-Dollar 80 % darunter. Reasoning-Tokens werden zum Output-Tarif berechnet, obwohl sie nie angezeigt werden. Eine einzelne Anfrage kann Hunderte bis Zehntausende davon verbrauchen; OpenAI empfiehlt, rund 25.000 Tokens für Reasoning und Ausgabe zu reservieren.

Die Latenz folgt derselben Kurve: Antworten dauern Sekunden bis Minuten. Die Beta ist eng: keine System-Messages, kein Streaming, kein Function Calling, keine Bildeingabe, API-Zugang nur für Usage-Tier 5 mit 20 Anfragen pro Minute, in ChatGPT Plus zum Start 30 o1-preview-Nachrichten pro Woche. Wer das Token-Limit mitten im Reasoning erreicht, zahlt ohne sichtbare Ausgabe.

Verborgene Gedankenketten

OpenAI zeigt die rohe Gedankenkette nicht. Nutzer sehen eine vom Modell erzeugte Zusammenfassung. Die genannten Gründe: Die unveränderte Kette muss frei von Policy-Training bleiben, damit sie sich auf Anzeichen von Manipulation überwachen lässt; dazu kommen Nutzererlebnis und Wettbewerbsvorteil. Die Nachteile dieser Entscheidung räumt OpenAI offen ein.

Für die Praxis ändert das das Vertrauensmodell. Zwischenschritte lassen sich nicht auditieren, loggen oder vergleichen. Kosten sind vor einer Anfrage nicht präzise planbar. Die Verifikation muss auf die Ausgabe wandern: Unit-Tests für generierten Code, Nachrechnen numerischer Ergebnisse, Schema-Prüfungen für extrahierte Daten. Wir behandeln o1 als stärkere Blackbox — nicht als transparente.

Was o1 nicht löst

o1 ist nicht für alles das bessere Modell. In OpenAIs eigenen Präferenz-Evaluationen bevorzugten menschliche Bewerter GPT-4o beim persönlichen Schreiben und beim Redigieren von Text; o1-preview gewann deutlich bei Programmierung, Datenanalyse und mathematischer Berechnung. Bewusstes Schlussfolgern lohnt nur, wenn ein Problem tatsächlich Suche erfordert. Für Retrieval, Formatierung oder kurze Faktenantworten erzeugt es Kosten ohne Genauigkeitsgewinn.

Auch die Prompt-Gewohnheiten drehen sich um. OpenAI rät zu einfachen, direkten Prompts; Few-Shot-Beispiele und die Anweisung, Schritt für Schritt zu denken, können die Leistung verschlechtern, weil das Modell bereits intern schlussfolgert. Unser Arbeitsmuster bei Blue IT Systems: Routen Sie die Masse eines Workloads auf ein schnelles Standardmodell und eskalieren Sie isolierte harte Teilprobleme an ein Reasoning-Modell — mit Output-Verifikation auf beiden Pfaden.

Wohin Test-Time Compute führt

OpenAI-Forscher Noam Brown schrieb am Veröffentlichungstag, künftige Versionen sollten Stunden, Tage oder gar Wochen denken können. Trifft das ein, wird Test-Time Compute zum zweiten Skalierungsgesetz neben dem Pretraining — und die Frage, wie lange eine Anfrage denken darf, wird ein Engineering-Parameter, wie es heute ein Timeout-Budget ist.

Wir erwarten drei Entwicklungen: Die Preise fallen, wie sie es von GPT-4 zu GPT-4o mini getan haben; Router wählen automatisch zwischen schnellen und langsamen Modellen, was OpenAI für ChatGPT bereits als Ziel nennt; und Reasoning-Modelle übernehmen in Agentensystemen die Planerrolle, während günstigere Modelle ausführen. Offen bleibt, ob verborgenes Reasoning akzeptabel bleibt, sobald solche Systeme folgenreiche Entscheidungen treffen.