22.12.2023 AI Engineering 4 Minuten Lesezeit

Gemini und der neue Modellwettbewerb

Google hat am 6. Dezember 2023 Gemini 1.0 in drei Größen angekündigt: Ultra, Pro und Nano. Wir trennen gelieferte Fähigkeiten von Marketing — Benchmark-Methodik und das geschnittene Demo-Video — und ordnen ein, was ein zweiter Frontier-Anbieter für Entwickler bedeutet: Routing-Strategien, anbieterneutrale Schnittstellen und aufgabenbezogene Evals statt Single-Vendor-Wetten.

Ein einziger Frontier-Anbieter war nie eine Strategie

Zwölf Monate lang hatte die Spitze des Modellmarkts einen einzigen Bewohner. GPT-4, veröffentlicht im März 2023, setzte die Referenz für komplexes Schlussfolgern, und die meisten ernsthaften LLM-Anwendungen wurden gegen die API eines einzigen Anbieters gebaut. Das ist Konzentrationsrisiko: eine Preisliste, eine Deprecation-Politik, ein Satz Rate-Limits, eine einzige Ausfallgeschichte. Die Governance-Krise bei OpenAI im November 2023 machte das Risiko greifbar — fünf Tage lang war unklar, wer das Unternehmen hinter den meisten produktiven LLM-Workloads führen würde.

Am 6. Dezember 2023 hat Google Gemini 1.0 angekündigt. Ob Gemini Ultra GPT-4 schlägt, ist eine Benchmark-Debatte. Dass ein zweiter Anbieter glaubwürdig an der Frontier mitspielt, ist ein struktureller Fakt. Er verschiebt die Frage von "Welches Modell ist das beste?" zu "Wie bauen wir so, dass sich die Antwort ändern darf?"

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Was Google am 6. Dezember angekündigt hat

Gemini 1.0 kommt in drei Größen: Ultra für komplexe Aufgaben, Pro für das breite Aufgabenband, Nano für den Einsatz auf dem Gerät. Alle drei sind nativ multimodal — von Beginn an auf Text, Code, Audio, Bild und Video trainiert — mit einem Kontextfenster von 32.768 Token. Google meldet für Ultra Bestwerte auf 30 von 32 akademischen Benchmarks.

Am ersten Tag geliefert wurde weniger. Bard läuft seit dem 6. Dezember auf einem feinabgestimmten Gemini Pro (Englisch, über 170 Länder). Das Pixel 8 Pro nutzt Gemini Nano für Zusammenfassungen in der Recorder-App und Smart Reply in Gboard. Seit dem 13. Dezember ist Gemini Pro per API in Google AI Studio (kostenlos, 60 Anfragen pro Minute) und in Vertex AI verfügbar. Ultra bleibt in privater Vorschau; "Bard Advanced" ist für Anfang 2024 angekündigt.

Benchmarks genau lesen

Die Schlagzeile: 90,04 % auf MMLU, über der Human-Expert-Marke von 89,8 % und vor den 86,4 % von GPT-4. Die Fußnote: Die 90,04 % entstehen mit "CoT@32" — 32 gesampelte Gedankenketten mit Unsicherheits-Routing. Die 86,4 % von GPT-4 sind Standard-5-shot. Gleiche Methode, gleiche Metrik: Gemini Ultra erreicht 5-shot 83,7 % — und liegt damit hinter GPT-4.

Das ist kein Betrug; die Details stehen im Technical Report. Es zeigt aber, was Hersteller-Benchmarks sind: Marketing mit Fußnoten. Belastbarer ist das multimodale Ergebnis — 59,4 % auf MMMU sind Stand der Technik. Unsere Schlussfolgerung bleibt dieselbe: Benchmark-Differenzen von wenigen Punkten sagen nichts über die Leistung auf Ihrer Aufgabe voraus. Das leisten nur eigene Evals.

Die Demo und die gelieferte Realität

Das Launch-Video "Hands-on with Gemini" zeigte ein Modell, das flüssig, in Echtzeit und per Sprache auf Live-Video reagiert. Es wurde millionenfach angesehen. Am 7. Dezember berichtete Bloomberg — und Google bestätigte: Die Interaktionen entstanden aus Standbildern und Text-Prompts und wurden anschließend geschnitten; Latenz gekürzt, Ausgaben verkürzt. Echtzeit-Interaktion mit Sprache und Video wurde nicht demonstriert, weil sie nicht geliefert wurde.

Die tatsächliche Fähigkeit — starkes Bildverständnis auf Standbildern — liegt ungefähr auf dem Niveau von GPT-4V, das OpenAI im September 2023 vorgestellt hat. Native Multimodalität ist ein realer Architekturunterschied. Im Dezember 2023 ist sie noch kein Produktunterschied, den Sie über eine API abrufen können. Planen Sie gegen die API-Oberfläche, nicht gegen das Werbevideo.

Drei Größen ergeben ein Portfolio

Das haltbarere Signal ist die Paketierung: eine Familie, drei Größen, drei Zielplattformen. Das ist dieselbe Stufenlogik wie GPT-4 neben GPT-3.5 Turbo oder Claude 2.1 neben Claude Instant — plus eine explizite On-Device-Stufe. Nano-1 hat 1,8 Milliarden Parameter, Nano-2 hat 3,25 Milliarden, 4-Bit-quantisiert und aus den größeren Modellen destilliert.

Modellauswahl ist damit keine Einzelentscheidung mehr, sondern eine Routing-Strategie: Welche Aufgaben brauchen die Frontier-Stufe? Welche laufen auf einer mittleren Stufe zu einem Bruchteil der Kosten? Welche laufen auf dem Gerät, ohne dass Daten es verlassen? Diese Strategie muss neu bewertet werden, sobald ein Anbieter sich bewegt.

Modell	Parameter	Status am 22. Dezember 2023	Zielplattform
Gemini Ultra	nicht veröffentlicht	Private Vorschau für ausgewählte Partner; Bard Advanced für Anfang 2024 angekündigt	Rechenzentrum (TPU)
Gemini Pro	nicht veröffentlicht	Seit 6.12. in Bard; seit 13.12. per API in AI Studio und Vertex AI	Cloud-API
Gemini Nano	1,8 Mrd. (Nano-1) / 3,25 Mrd. (Nano-2)	Ausgeliefert auf dem Pixel 8 Pro (Recorder und Gboard)	On-Device via AICore unter Android 14

Was ein zweiter starker Anbieter ändert

Konkret vier Dinge. Erstens Preisdruck: Gemini Pro ist in der Vorschau kostenlos und wird zur allgemeinen Verfügbarkeit pro 1.000 Zeichen abgerechnet; Fähigkeit nahe der Frontier wird gegen GPT-3.5-Budgets bepreist. Zweitens Verhandlungsposition: Unternehmenskunden haben jetzt ein zweites Angebot. Drittens wird Failover realistisch: Zwei APIs vergleichbarer Fähigkeit machen Multi-Vendor-Betrieb zu einer Engineering-Aufgabe statt zu einem Wunsch.

Viertens erzwingt es Architektur. Wir behandeln Modellzugriff als austauschbare Abhängigkeit: eine dünne, anbieterneutrale Schnittstelle, Prompts unter Versionskontrolle, aufgabenbezogene Evals gegen jedes Kandidatenmodell. Eine Abstraktionsschicht macht Prompts dabei nicht portabel — Prompt-Verhalten unterscheidet sich pro Modell und muss bei jedem Wechsel neu evaluiert werden. Und beachten Sie die dritte Kraft: Mixtral 8x7B, am 11. Dezember mit offenen Gewichten unter Apache 2.0 veröffentlicht, meldet Ergebnisse auf GPT-3.5-Niveau. Das Portfolio besteht nicht nur aus zwei Anbietern.

Ausblick vom Dezember 2023

Prognosen, die wir festhalten: Gemini Ultra erscheint Anfang 2024 und landet ungefähr auf GPT-4-Niveau; die Frontier wird ein Band, kein Punkt mehr. Benchmark-Schlagzeilen verlieren Autorität; aufgabenbezogene Evals werden zum Beschaffungsinstrument. Die Preise pro Token fallen weiter, weil die mittlere Stufe zur Massenware wird.

Echtzeit-Multimodalität — das, was das Video vorwegnahm — kommt später als das Marketing suggeriert, aber sie kommt; das Video beschreibt einen Zielzustand, vielleicht 2024/25. Für Entwickler bleibt die Aufgabe unverändert: Architekturen, die einen Modellwechsel überleben. Der beste Zeitpunkt, eine harte Anbieterabhängigkeit zu entfernen, war vor dem 6. Dezember. Der zweitbeste ist jetzt.