GPT-4o: Echtzeit-Multimodalität für Assistenten
GPT-4o, vorgestellt am 13. Mai 2024, verarbeitet Text, Bild und Audio in einem einzigen Ende-zu-Ende-Netz. Wir prüfen die belegten Zahlen — 320 ms mittlere Sprachlatenz, halber Preis gegenüber GPT-4 Turbo, fünffache Rate-Limits — und trennen, was die API heute liefert, von dem, was die Launch-Demos versprechen.
Warum Sprachassistenten langsam wirken
Menschliche Gespräche folgen einem engen Takt: Sprecherwechsel geschehen innerhalb weniger hundert Millisekunden. Sprachassistenten haben dieses Budget bislang nie eingehalten. Der Voice Mode von ChatGPT, gestartet im September 2023, ist eine Pipeline aus drei Modellen: Eine Spracherkennung transkribiert Audio, GPT-3.5 oder GPT-4 verarbeitet Text, ein Synthesemodell liest die Antwort vor. Mittlere Antwortlatenz: 2,8 Sekunden mit GPT-3.5, 5,4 Sekunden mit GPT-4. Nutzer merken das: Eine Pause von mehreren Sekunden wirkt wie eine Maschine, nicht wie ein Gesprächspartner.
Latenz ist nur die halbe Wahrheit. Eine Pipeline übergibt dem Sprachmodell ein Transkript und nichts weiter. Tonfall, mehrere Sprecher, Hintergrundgeräusche — all das wird verworfen, bevor das Modell die Eingabe sieht. Auf der Ausgabeseite kann das Modell weder lachen noch singen noch Betonung setzen. Diese Verluste sind strukturell. Kein Tuning repariert eine Pipeline, die drei Modelle serialisiert.
Ein Modell für alle Modalitäten
Am 13. Mai 2024 hat OpenAI GPT-4o vorgestellt. Das "o" steht für omni. Es ist ein einzelnes neuronales Netz, das Ende-zu-Ende über Text, Bild und Audio trainiert wurde. Alle Ein- und Ausgaben laufen durch dasselbe Modell. Es akzeptiert beliebige Kombinationen aus Text, Audio und Bild als Eingabe und kann Text, Audio und Bild erzeugen. Es gibt keinen Transkriptions- und keinen Syntheseschritt mehr, der serialisiert werden müsste.
Bei Text erreicht GPT-4o das Niveau von GPT-4 Turbo in Englisch und Code und verbessert sich bei nicht-englischen Sprachen. Im 0-shot-CoT-MMLU erzielt es 88,7 % — ein neuer Bestwert. Ein neuer Tokenizer komprimiert viele Sprachen: OpenAIs deutsches Beispiel sinkt von 34 auf 29 Tokens (1,2x), Hindi 2,9x, Gujarati 4,4x. Weniger Tokens bedeuten niedrigere Kosten und schnellere Generierung für nicht-englische Workloads.
Halber Preis bei doppeltem Tempo
Die API-Zahlen sind konkret. GPT-4o kostet 5 $ pro Million Eingabe-Tokens und 15 $ pro Million Ausgabe-Tokens — die Hälfte von GPT-4 Turbo. Es generiert Tokens etwa doppelt so schnell und startet mit fünffachen Rate-Limits, die auf 10 Millionen Tokens pro Minute anwachsen. Das Kontextfenster bleibt bei 128K Tokens.
Die Modell-IDs gpt-4o und gpt-4o-2024-05-13 sind in der Chat-Completions-, Assistants- und Batch-API verfügbar. Für Anwendungen auf GPT-4 Turbo ist der Wechsel eine Ein-Zeilen-Änderung, die die Rechnung halbiert. Bei deutschsprachigen Workloads kommt der Tokenizer hinzu: Derselbe deutsche Text kostet in OpenAIs Beispiel rund 15 % weniger Tokens.
| Eigenschaft | GPT-4o | GPT-4 Turbo |
|---|---|---|
| Preis Eingabe pro 1 Mio. Tokens | 5 $ | 10 $ |
| Preis Ausgabe pro 1 Mio. Tokens | 15 $ | 30 $ |
| Token-Generierung | ca. 2x schneller | Basis |
| Rate-Limits | bis 10 Mio. Tokens/min (5x) | Basis |
| Kontextfenster | 128K | 128K |
| Wissensstand | Oktober 2023 | Dezember 2023 |
Sprachlatenz auf Gesprächsniveau
GPT-4o antwortet auf Audioeingaben in minimal 232 Millisekunden, im Mittel in 320 Millisekunden. OpenAI vergleicht das mit menschlichen Reaktionszeiten im Gespräch. Gegenüber den 5,4 Sekunden des Voice Mode mit GPT-4 ist das eine Reduktion um rund 94 %. Der Gewinn entsteht durch das Entfernen von Pipeline-Stufen, nicht durch eine schnellere Pipeline.
Zwei Einschränkungen. Diese Werte sind OpenAIs eigene Messungen aus der Produktdemo, keine API-Eigenschaft, die heute jemand nachmessen könnte — der Audio-Endpunkt ist nicht öffentlich. Und eine Latenz unter 300 Millisekunden macht ein Modell nicht klüger; sie macht die Interaktion natürlich. Beides zählt, aber es sind verschiedene Aussagen.
Was Echtzeit-Multimodalität verändert
Sprecherwechsel unter einer Sekunde verändern das Interaktionsmodell, nicht nur das Tempo. Ein Assistent, der in 300 Millisekunden antwortet, kann mitten im Satz unterbrochen werden und muss Barge-in beherrschen. Er hört Tonfall und Zögern, nicht nur Wörter. Die Launch-Demos zeigten Live-Übersetzung zwischen Englisch und Italienisch und ein Modell, das in Echtzeit auf Kamerabilder und einen geteilten Bildschirm reagiert.
Für die Architektur von Assistenten verschiebt sich der Entwurfspunkt von Request-Response zu einer kontinuierlichen Gesprächsschleife. Streaming wird auf jeder Ebene Pflicht. Der Zustand muss Unterbrechungen überleben. Grounding wandert von abgerufenen Dokumenten zu laufendem Audio- und Videokontext. Wir behandeln Latenz als Budget, das pro Verarbeitungsschritt vergeben wird — native Multimodalität streicht zwei Schritte ersatzlos.
API-Zugang versus Produktfunktionen
Demo und API sind nicht dasselbe. Stand heute, 15. Mai 2024, erhalten Entwickler GPT-4o als Text- und Bildmodell. Audio- und Video-Ein- und -Ausgabe in der API sind für "eine kleine Gruppe vertrauenswürdiger Partner" in den kommenden Wochen angekündigt. Einen öffentlichen Speech-to-Speech-Endpunkt gibt es noch nicht.
Auf der Produktseite wird GPT-4o im kostenlosen ChatGPT-Tarif ausgerollt; Plus-Abonnenten erhalten fünffache Nachrichtenlimits. Der neue Voice Mode auf GPT-4o-Basis startet in den kommenden Wochen als Alpha für Plus-Nutzer, dazu kommt eine ChatGPT-Desktop-App für macOS. Wenn Sie heute einen Assistenten mit Sprache bauen, brauchen Sie weiterhin die alte Pipeline — GPT-4o verkürzt lediglich deren mittleres Glied.
Was GPT-4o nicht ändert
Das Kontextfenster bleibt bei 128K Tokens. Der Wissensstand liegt bei Oktober 2023 — zwei Monate vor dem Dezember 2023 von GPT-4 Turbo. Die Textintelligenz liegt auf dem Niveau von GPT-4 Turbo, nicht darüber; dieses Release kauft Geschwindigkeit, Preis und Modalität, nicht Reasoning. Halluzinationen und Prompt-Injection-Risiken bleiben unverändert bestehen, und die vollen Rate-Limits werden erst schrittweise freigeschaltet.
Natives Audio eröffnet zudem neue Risikoflächen: Stimmimitation und emotionale Manipulation. OpenAI gibt an, dass die Audioausgabe zunächst nur mit einer Auswahl voreingestellter Stimmen startet. Unabhängige Evaluationen der Audiomodalität existieren noch nicht — die veröffentlichten Latenz- und Qualitätswerte stammen vom Anbieter selbst.
Ausblick aus dem Mai 2024
Zwei Vorhersagen von diesem Standpunkt aus. Erstens: Eine öffentliche Speech-to-Speech-API kommt binnen Monaten, und Wettbewerber ziehen mit nativ multimodalen Modellen nach; die Drei-Modell-Pipeline wird zum Legacy-Muster — außer dort, wo das Zwischentranskript aus Audit-Gründen gebraucht wird. Zweitens: GPT-4 kostete im März 2023 30 $/60 $ pro Million Tokens; GPT-4o kostet vierzehn Monate später 5 $/15 $. Inferenz auf Frontier-Niveau kommoditisiert weiter.
Für unsere eigene Arbeit bei Blue IT Systems ziehen wir einen praktischen Schluss: Bauen Sie Sprachassistenten jetzt mit dem Pipeline-Muster, aber entwerfen Sie das mittlere Glied als austauschbare Komponente, damit ein nativer Audio-Endpunkt am Tag seiner Verfügbarkeit einrasten kann. Echtzeit-Multimodalität ist keine Forschungsdemo mehr. Sie ist eine Deployment-Frage mit Datum.