GPT-4o: Echtzeit-Multimodalität für Assistenten
GPT-4o, vorgestellt am 13. Mai 2024, bündelt Text, Bild und Audio in einem einzigen Ende-zu-Ende-Netz. Wir ordnen die belegten Zahlen ein — 320 ms mittlere Sprachlatenz, halber Preis gegenüber GPT-4 Turbo, fünffache Rate-Limits — und unterscheiden klar zwischen dem heutigen API-Umfang und dem Versprechen der Launch-Demos.
Warum Sprachassistenten langsam wirken
Menschliche Gespräche haben einen engen Takt: Sprecherwechsel erfolgen innerhalb weniger hundert Millisekunden. Dieses Zeitbudget haben Sprachassistenten bislang nie eingehalten. Der Voice Mode von ChatGPT, gestartet im September 2023, ist eine Pipeline aus drei Modellen: Eine Spracherkennung transkribiert Audio, GPT-3.5 oder GPT-4 verarbeitet Text, ein Synthesemodell liest die Antwort vor. Die mittlere Antwortlatenz beträgt 2,8 Sekunden mit GPT-3.5 und 5,4 Sekunden mit GPT-4. Diese Verzögerung ist spürbar: Eine Pause von mehreren Sekunden wirkt wie eine Maschine, nicht wie ein Gesprächspartner.
Latenz ist jedoch nur die halbe Wahrheit. Die Pipeline übergibt dem Sprachmodell lediglich ein Transkript. Tonfall, mehrere Sprecher und Hintergrundgeräusche gehen verloren, bevor das Modell die Eingabe verarbeitet; bei der Ausgabe kann es weder lachen noch singen noch gezielt betonen. Diese Verluste sind strukturell: Kein Tuning ersetzt Informationen, die zwischen drei seriell geschalteten Modellen bereits verworfen wurden.
Ein Modell für alle Modalitäten
Am 13. Mai 2024 hat OpenAI GPT-4o vorgestellt. Das "o" steht für omni. Es ist ein einzelnes neuronales Netz, das Ende-zu-Ende über Text, Bild und Audio trainiert wurde. Alle Ein- und Ausgaben laufen durch dasselbe Modell. Es akzeptiert beliebige Kombinationen aus Text, Audio und Bild als Eingabe und kann Text, Audio und Bild erzeugen. Es gibt keinen Transkriptions- und keinen Syntheseschritt mehr, der serialisiert werden müsste.
Bei Text erreicht GPT-4o das Niveau von GPT-4 Turbo in Englisch und Code und verbessert sich bei nicht-englischen Sprachen. Im 0-shot-CoT-MMLU erzielt es 88,7 % — ein neuer Bestwert. Ein neuer Tokenizer komprimiert viele Sprachen: OpenAIs deutsches Beispiel sinkt von 34 auf 29 Tokens (1,2x), Hindi 2,9x, Gujarati 4,4x. Weniger Tokens bedeuten niedrigere Kosten und schnellere Generierung für nicht-englische Workloads.
Halber Preis bei doppeltem Tempo
Die API-Zahlen sind konkret. GPT-4o kostet 5 $ pro Million Eingabe-Tokens und 15 $ pro Million Ausgabe-Tokens — die Hälfte von GPT-4 Turbo. Es generiert Tokens etwa doppelt so schnell und startet mit fünffachen Rate-Limits, die auf 10 Millionen Tokens pro Minute anwachsen. Das Kontextfenster bleibt bei 128K Tokens.
Die Modell-IDs gpt-4o und gpt-4o-2024-05-13 sind in der Chat-Completions-, Assistants- und Batch-API verfügbar. Für Anwendungen auf GPT-4 Turbo ist der Wechsel eine Ein-Zeilen-Änderung, die die Rechnung halbiert. Bei deutschsprachigen Workloads kommt der Tokenizer hinzu: Derselbe deutsche Text kostet in OpenAIs Beispiel rund 15 % weniger Tokens.
| Eigenschaft | GPT-4o | GPT-4 Turbo |
|---|---|---|
| Preis Eingabe pro 1 Mio. Tokens | 5 $ | 10 $ |
| Preis Ausgabe pro 1 Mio. Tokens | 15 $ | 30 $ |
| Token-Generierung | ca. 2x schneller | Basis |
| Rate-Limits | bis 10 Mio. Tokens/min (5x) | Basis |
| Kontextfenster | 128K | 128K |
| Wissensstand | Oktober 2023 | Dezember 2023 |
Sprachlatenz auf Gesprächsniveau
GPT-4o antwortet auf Audioeingaben in minimal 232 Millisekunden, im Mittel in 320 Millisekunden. OpenAI vergleicht das mit menschlichen Reaktionszeiten im Gespräch. Gegenüber den 5,4 Sekunden des Voice Mode mit GPT-4 ist das eine Reduktion um rund 94 %. Der Gewinn entsteht durch das Entfernen von Pipeline-Stufen, nicht durch eine schnellere Pipeline.
Diese Zahlen brauchen zwei Einschränkungen. Erstens stammen sie aus OpenAIs Produktdemo und beschreiben keine heute öffentlich nachmessbare API-Eigenschaft, denn der Audio-Endpunkt ist noch nicht verfügbar. Zweitens macht eine Latenz unter 300 Millisekunden das Modell nicht klüger, sondern die Interaktion natürlicher. Beides ist relevant, darf aber nicht verwechselt werden.
Was Echtzeit-Multimodalität verändert
Sprecherwechsel unter einer Sekunde verändern das Interaktionsmodell, nicht nur das Tempo. Ein Assistent, der in 300 Millisekunden antwortet, kann mitten im Satz unterbrochen werden und muss Barge-in beherrschen. Er hört Tonfall und Zögern, nicht nur Wörter. Die Launch-Demos zeigten Live-Übersetzung zwischen Englisch und Italienisch und ein Modell, das in Echtzeit auf Kamerabilder und einen geteilten Bildschirm reagiert.
Architektonisch verschiebt sich damit der Entwurfspunkt von Request-Response zu einer kontinuierlichen Gesprächsschleife. Jede Ebene muss streamen, der Zustand Unterbrechungen überstehen, und Grounding umfasst neben abgerufenen Dokumenten nun laufenden Audio- und Videokontext. Wir behandeln Latenz als Budget pro Verarbeitungsschritt; native Multimodalität entfernt zwei dieser Schritte vollständig.
API-Zugang versus Produktfunktionen
Demo und API sind nicht dasselbe. Stand heute, 15. Mai 2024, erhalten Entwickler GPT-4o als Text- und Bildmodell. Audio- und Video-Ein- und -Ausgabe in der API sind für "eine kleine Gruppe vertrauenswürdiger Partner" in den kommenden Wochen angekündigt. Einen öffentlichen Speech-to-Speech-Endpunkt gibt es noch nicht.
Auf der Produktseite wird GPT-4o im kostenlosen ChatGPT-Tarif ausgerollt; Plus-Abonnenten erhalten fünffache Nachrichtenlimits. Der neue Voice Mode auf GPT-4o-Basis startet in den kommenden Wochen als Alpha für Plus-Nutzer, dazu kommt eine ChatGPT-Desktop-App für macOS. Wenn Sie heute einen Assistenten mit Sprache bauen, brauchen Sie weiterhin die alte Pipeline — GPT-4o verkürzt lediglich deren mittleres Glied.
Was GPT-4o nicht ändert
Das Kontextfenster bleibt bei 128K Tokens. Der Wissensstand liegt bei Oktober 2023 — zwei Monate vor dem Dezember 2023 von GPT-4 Turbo. Die Textintelligenz liegt auf dem Niveau von GPT-4 Turbo, nicht darüber; dieses Release kauft Geschwindigkeit, Preis und Modalität, nicht Reasoning. Halluzinationen und Prompt-Injection-Risiken bleiben unverändert bestehen, und die vollen Rate-Limits werden erst schrittweise freigeschaltet.
Natives Audio eröffnet zudem neue Risikoflächen: Stimmimitation und emotionale Manipulation. OpenAI gibt an, dass die Audioausgabe zunächst nur mit einer Auswahl voreingestellter Stimmen startet. Unabhängige Evaluationen der Audiomodalität existieren noch nicht — die veröffentlichten Latenz- und Qualitätswerte stammen vom Anbieter selbst.
Ausblick aus dem Mai 2024
Zwei Vorhersagen von diesem Standpunkt aus. Erstens: Eine öffentliche Speech-to-Speech-API kommt binnen Monaten, und Wettbewerber ziehen mit nativ multimodalen Modellen nach; die Drei-Modell-Pipeline wird zum Legacy-Muster — außer dort, wo das Zwischentranskript aus Audit-Gründen gebraucht wird. Zweitens: GPT-4 kostete im März 2023 30 $/60 $ pro Million Tokens; GPT-4o kostet vierzehn Monate später 5 $/15 $. Inferenz auf Frontier-Niveau kommoditisiert weiter.
Für unsere Arbeit bei Blue IT Systems folgt daraus eine konkrete Entscheidung: Sprachassistenten entstehen vorerst weiter als Pipeline, doch ihr mittleres Glied bleibt austauschbar, damit ein nativer Audio-Endpunkt bei Verfügbarkeit ohne Neuaufbau integriert werden kann. Echtzeit-Multimodalität ist damit keine reine Forschungsdemo mehr, sondern eine absehbare Deployment-Frage.