Claude 3.5 Sonnet: Wenn die Mittelklasse das Flaggschiff schlägt
Claude 3.5 Sonnet, veröffentlicht am 20. Juni 2024, schlägt Anthropics Flaggschiff Claude 3 Opus zu einem Fünftel des Preises bei doppelter Geschwindigkeit. Wir analysieren die Benchmark-Daten, die fallende Kosten-pro-Qualität-Kurve seit GPT-4 und warum Artifacts den Wandel zu Arbeitsergebnissen statt Chat-Transkripten markiert — inklusive der Grenzen.
Der Flaggschiff-Aufpreis erodiert
Im März 2023 hatte Frontier-Qualität einen Preis. GPT-4 startete mit 30 Dollar pro Million Input-Tokens und 60 Dollar pro Million Output-Tokens in der 8K-Kontext-Variante. Wer das stärkste Modell brauchte, zahlte den Flaggschiff-Aufpreis — und dieser Aufpreis lag bei einer Größenordnung. Fünfzehn Monate später ist diese Kopplung gebrochen.
Am 20. Juni 2024 hat Anthropic Claude 3.5 Sonnet veröffentlicht. Es ist ausdrücklich ein Mid-Tier-Modell und entsprechend bepreist — und es übertrifft Claude 3 Opus, Anthropics Flaggschiff vom März 2024, in jedem Benchmark der von Anthropic publizierten Tabelle. Die relevante Frage für Engineering-Teams lautet nicht mehr, welches Modell das beste ist, sondern welchen Punkt auf der Kosten-Qualitäts-Kurve ein Workload tatsächlich benötigt.
Was Anthropic am 20. Juni veröffentlicht hat
Zuerst die Fakten. Claude 3.5 Sonnet ist das erste Release der Claude-3.5-Familie. Es kostet 3 Dollar pro Million Input-Tokens und 15 Dollar pro Million Output-Tokens, bietet ein Kontextfenster von 200K Tokens und läuft mit der doppelten Geschwindigkeit von Claude 3 Opus — zu einem Fünftel von dessen Preis. Verfügbar ist es kostenlos auf Claude.ai und in der Claude-iOS-App sowie über die Anthropic-API, Amazon Bedrock und Google Cloud Vertex AI.
Der Preis ist identisch mit Claude 3 Sonnet vom März 2024; Abonnenten von Claude Pro und Team erhalten deutlich höhere Rate-Limits. Auch die Bildverarbeitung verbessert sich messbar: 68,3 % auf MMMU gegenüber 59,4 % bei Opus. Claude 3.5 Haiku und Claude 3.5 Opus sind für später in 2024 angekündigt und sollen die Familie vervollständigen.
Benchmarks gegen zwei Flaggschiff-Generationen
Das Model-Card-Addendum von Anthropic meldet 59,4 % auf GPQA Diamond (0-shot CoT) gegenüber 50,4 % bei Claude 3 Opus, 88,7 % auf MMLU (5-shot CoT) gegenüber 86,8 % und 92,0 % auf HumanEval gegenüber 84,9 %. In einer internen agentischen Coding-Evaluation löste Claude 3.5 Sonnet 64 % der Aufgaben; Opus löste 38 %. GPT-4o, fünf Wochen zuvor erschienen, meldet 53,6 % auf GPQA und 90,2 % auf HumanEval — auf den meisten Achsen zwischen den beiden Claude-Generationen.
Ein Vorbehalt gehört neben jede solche Tabelle: Es sind herstellergemeldete Zahlen, die Prompting-Regime unterscheiden sich pro Zelle, und die GPT-4-Werte sind die Startwerte vom März 2023, wie sie Anthropics Model Cards zusammentragen. Benchmarks ranken Modelle. Sie sagen nicht voraus, wie sich ein Modell auf Ihren Daten verhält.
| Modell | Veröffentlicht | Input ($/Mio. Tokens) | Output ($/Mio. Tokens) | GPQA Diamond | HumanEval |
|---|---|---|---|---|---|
| Claude 3.5 Sonnet | Juni 2024 | 3 | 15 | 59,4 % | 92,0 % |
| GPT-4o | Mai 2024 | 5 | 15 | 53,6 % | 90,2 % |
| Claude 3 Opus | März 2024 | 15 | 75 | 50,4 % | 84,9 % |
| GPT-4 (8K) | März 2023 | 30 | 60 | 35,7 % | 67,0 % |
Kosten pro Qualität als entscheidende Metrik
Lesen Sie die Preisspalte gegen die Qualitätsspalten. GPT-4 im März 2023: 30 Dollar Input, 60 Dollar Output. GPT-4o im Mai 2024: 5 und 15 Dollar, der halbe Preis von GPT-4 Turbo. Claude 3.5 Sonnet im Juni 2024: 3 und 15 Dollar, ein Fünftel von Opus. Innerhalb von fünfzehn Monaten fiel der Input-Preis für Qualität oberhalb von GPT-4 um rund den Faktor zehn, während die Benchmark-Werte durchgängig stiegen.
Die Zahlen sind konkret. Eine Pipeline mit 100 Millionen Input-Tokens und 20 Millionen Output-Tokens pro Monat kostete zu GPT-4-Startpreisen 4.200 Dollar. Auf Claude 3.5 Sonnet kostet dasselbe Volumen 600 Dollar — eine Reduktion um den Faktor sieben, bei höherer gemessener Qualität.
Für das Systemdesign ändert das den Standardfall. Die Modellwahl wird zu einer Routing-Entscheidung, die quartalsweise überprüft wird — nicht zu einer Plattform-Festlegung, die einmal im Jahr fällt. In unseren Projekten bei Blue IT Systems spezifizieren wir inzwischen die benötigte Qualität pro Workload und wählen das günstigste Modell, das die Schwelle erreicht — und das ist zunehmend ein Mid-Tier-Modell.
Artifacts und der Wandel zu Arbeitsergebnissen
Die zweite Ankündigung des 20. Juni ist ein Interface, kein Modell. Artifacts ist ein Preview-Feature auf Claude.ai: Erzeugt Claude Inhalte wie Code-Snippets, Textdokumente oder Website-Entwürfe, erscheint das Ergebnis in einem eigenen Fenster neben der Konversation. Nutzer sehen es, bearbeiten es und iterieren direkt daran.
Die Bedeutung liegt in der veränderten Interaktionseinheit. Ein Chat-Transkript ist ein Protokoll; ein Artifact ist ein Arbeitsergebnis. Output ist keine Nachricht mehr, die man herauskopiert, sondern ein Objekt, auf dem man aufbaut. Anthropic beschreibt die eigene Langfrist-Richtung genauso: Teams, die Wissen, Dokumente und laufende Arbeit in einem gemeinsamen Raum bündeln — mit Claude daneben.
Wir lesen Artifacts als generelles Muster, nicht als Produktdetail. Derselbe Wandel gilt für interne Tools: Generierung ist billig, Review ist der Engpass, und Review braucht eine Oberfläche. Ein Diff, eine gerenderte Komponente, ein ausführbares Dokument — alles Prüfbare schlägt Prosa über Code. Interfaces, die Outputs prüfbar machen, übersetzen Modellqualität in gelieferte Arbeit.
Was dieses Release nicht löst
Die Abgrenzung ist wesentlich. 64 % in einer internen agentischen Coding-Evaluation bedeuten: Rund jede dritte Aufgabe scheitert weiterhin; unbeaufsichtigtes End-to-End-Coding liefert dieses Modell nicht. Das Kontextfenster bleibt bei 200K Tokens, unverändert seit Claude 3. Halluzinationen sind reduziert, nicht beseitigt. Und Hersteller-Benchmarks ersetzen keine Evaluationen auf Ihren eigenen Daten, bevor Produktionsverkehr das Modell wechselt.
Auch Artifacts hat Grenzen. Es ist eine Preview in einem einzelnen Consumer-Interface. Es führt keinen beliebigen Code aus, die angekündigte Team-Kollaboration und gemeinsame Wissensbasen sind noch nicht ausgeliefert, und API-Nutzer erhalten nichts davon. Wer Produkte baut, muss das Muster der Arbeitsergebnisse selbst implementieren.
Ausblick vom Juni 2024
Von unserem Standpunkt im Juni 2024 erscheinen zwei Entwicklungslinien stabil. Erstens: Claude 3.5 Haiku und Claude 3.5 Opus sind für dieses Jahr angekündigt, und die Kosten-pro-Qualität-Kurve halbiert sich im Takt von Monaten, nicht Jahren. Wir erwarten, dass die heutige Frontier-Qualität in etwa einem Jahr zu Mid-Tier-Preisen verfügbar ist. Der Vergleich mit dem Vorjahres-Flaggschiff wird zur Routine.
Zweitens: Die Interface-Richtung könnte so viel Gewicht bekommen wie die Modelle selbst. Werden Outputs zu editierbaren, persistenten Arbeitsergebnissen, verschiebt sich der Unterschied von Benchmark-Tabellen zu der Frage, wie zuverlässig sich Modell-Output in reale Toolchains einbinden lässt — versioniert, reviewt, getestet, deployt. Diese Integrationsarbeit ist Engineering, kein Prompting. Dort werden wir in den kommenden Quartalen unsere Zeit investieren.