Claude 3.5 Sonnet: Wenn die Mittelklasse das Flaggschiff schlägt
Claude 3.5 Sonnet, veröffentlicht am 20. Juni 2024, übertrifft Anthropics Flaggschiff Claude 3 Opus bei doppelter Geschwindigkeit und zu einem Fünftel des Preises. Wir ordnen die Benchmark-Daten und die seit GPT-4 fallenden Kosten pro Qualität ein und zeigen, warum Artifacts den Wechsel vom Chat-Transkript zum prüfbaren Arbeitsergebnis markiert — einschließlich der Grenzen.
Der Flaggschiff-Aufpreis erodiert
Im März 2023 war Frontier-Qualität untrennbar mit einem hohen Preis verbunden. GPT-4 startete in der 8K-Kontext-Variante mit 30 Dollar pro Million Input-Tokens und 60 Dollar pro Million Output-Tokens. Wer das stärkste Modell benötigte, zahlte einen Flaggschiff-Aufpreis von einer Größenordnung. Nur fünfzehn Monate später gilt diese Kopplung nicht mehr.
Am 20. Juni 2024 hat Anthropic Claude 3.5 Sonnet veröffentlicht. Es ist ausdrücklich ein Mid-Tier-Modell und entsprechend bepreist — und es übertrifft Claude 3 Opus, Anthropics Flaggschiff vom März 2024, in jedem Benchmark der von Anthropic publizierten Tabelle. Die relevante Frage für Engineering-Teams lautet nicht mehr, welches Modell das beste ist, sondern welchen Punkt auf der Kosten-Qualitäts-Kurve ein Workload tatsächlich benötigt.
Was Anthropic am 20. Juni veröffentlicht hat
Zuerst die Fakten. Claude 3.5 Sonnet ist das erste Release der Claude-3.5-Familie. Es kostet 3 Dollar pro Million Input-Tokens und 15 Dollar pro Million Output-Tokens, bietet ein Kontextfenster von 200K Tokens und läuft mit der doppelten Geschwindigkeit von Claude 3 Opus — zu einem Fünftel von dessen Preis. Verfügbar ist es kostenlos auf Claude.ai und in der Claude-iOS-App sowie über die Anthropic-API, Amazon Bedrock und Google Cloud Vertex AI.
Der Preis ist identisch mit Claude 3 Sonnet vom März 2024; Abonnenten von Claude Pro und Team erhalten deutlich höhere Rate-Limits. Auch die Bildverarbeitung verbessert sich messbar: 68,3 % auf MMMU gegenüber 59,4 % bei Opus. Claude 3.5 Haiku und Claude 3.5 Opus sind für später in 2024 angekündigt und sollen die Familie vervollständigen.
Benchmarks gegen zwei Flaggschiff-Generationen
Das Model-Card-Addendum von Anthropic meldet 59,4 % auf GPQA Diamond (0-shot CoT) gegenüber 50,4 % bei Claude 3 Opus, 88,7 % auf MMLU (5-shot CoT) gegenüber 86,8 % und 92,0 % auf HumanEval gegenüber 84,9 %. In einer internen agentischen Coding-Evaluation löste Claude 3.5 Sonnet 64 % der Aufgaben; Opus löste 38 %. GPT-4o, fünf Wochen zuvor erschienen, meldet 53,6 % auf GPQA und 90,2 % auf HumanEval — auf den meisten Achsen zwischen den beiden Claude-Generationen.
Ein Vorbehalt gehört neben jede solche Tabelle: Es sind herstellergemeldete Zahlen, die Prompting-Regime unterscheiden sich pro Zelle, und die GPT-4-Werte sind die Startwerte vom März 2023, wie sie Anthropics Model Cards zusammentragen. Benchmarks ranken Modelle. Sie sagen nicht voraus, wie sich ein Modell auf Ihren Daten verhält.
| Modell | Veröffentlicht | Input ($/Mio. Tokens) | Output ($/Mio. Tokens) | GPQA Diamond | HumanEval |
|---|---|---|---|---|---|
| Claude 3.5 Sonnet | Juni 2024 | 3 | 15 | 59,4 % | 92,0 % |
| GPT-4o | Mai 2024 | 5 | 15 | 53,6 % | 90,2 % |
| Claude 3 Opus | März 2024 | 15 | 75 | 50,4 % | 84,9 % |
| GPT-4 (8K) | März 2023 | 30 | 60 | 35,7 % | 67,0 % |
Kosten pro Qualität als entscheidende Metrik
Lesen Sie die Preisspalte gegen die Qualitätsspalten. GPT-4 im März 2023: 30 Dollar Input, 60 Dollar Output. GPT-4o im Mai 2024: 5 und 15 Dollar, der halbe Preis von GPT-4 Turbo. Claude 3.5 Sonnet im Juni 2024: 3 und 15 Dollar, ein Fünftel von Opus. Innerhalb von fünfzehn Monaten fiel der Input-Preis für Qualität oberhalb von GPT-4 um rund den Faktor zehn, während die Benchmark-Werte durchgängig stiegen.
Die Zahlen sind konkret. Eine Pipeline mit 100 Millionen Input-Tokens und 20 Millionen Output-Tokens pro Monat kostete zu GPT-4-Startpreisen 4.200 Dollar. Auf Claude 3.5 Sonnet kostet dasselbe Volumen 600 Dollar — eine Reduktion um den Faktor sieben, bei höherer gemessener Qualität.
Für das Systemdesign ändert das den Standardfall. Die Modellwahl wird zu einer Routing-Entscheidung, die quartalsweise überprüft wird — nicht zu einer Plattform-Festlegung, die einmal im Jahr fällt. In unseren Projekten bei Blue IT Systems spezifizieren wir inzwischen die benötigte Qualität pro Workload und wählen das günstigste Modell, das die Schwelle erreicht — und das ist zunehmend ein Mid-Tier-Modell.
Artifacts und der Wandel zu Arbeitsergebnissen
Die zweite Ankündigung des 20. Juni ist ein Interface, kein Modell. Artifacts ist ein Preview-Feature auf Claude.ai: Erzeugt Claude Inhalte wie Code-Snippets, Textdokumente oder Website-Entwürfe, erscheint das Ergebnis in einem eigenen Fenster neben der Konversation. Nutzer sehen es, bearbeiten es und iterieren direkt daran.
Entscheidend ist die neue Einheit der Interaktion. Ein Chat-Transkript dokumentiert den Verlauf; ein Artifact ist das Arbeitsergebnis selbst. Der Output muss nicht mehr aus einer Nachricht kopiert werden, sondern wird zu einem Objekt, das Nutzer direkt weiterentwickeln. Anthropic beschreibt auch die langfristige Richtung so: Teams bündeln Wissen, Dokumente und laufende Arbeit in einem gemeinsamen Raum — Claude arbeitet darin mit.
Wir lesen Artifacts als generelles Muster, nicht als Produktdetail. Derselbe Wandel gilt für interne Tools: Generierung ist billig, Review ist der Engpass, und Review braucht eine Oberfläche. Ein Diff, eine gerenderte Komponente, ein ausführbares Dokument — alles Prüfbare schlägt Prosa über Code. Interfaces, die Outputs prüfbar machen, übersetzen Modellqualität in gelieferte Arbeit.
Was dieses Release nicht löst
Die Abgrenzung ist wesentlich. 64 % in einer internen agentischen Coding-Evaluation bedeuten: Rund jede dritte Aufgabe scheitert weiterhin; unbeaufsichtigtes End-to-End-Coding liefert dieses Modell nicht. Das Kontextfenster bleibt bei 200K Tokens, unverändert seit Claude 3. Halluzinationen sind reduziert, nicht beseitigt. Und Hersteller-Benchmarks ersetzen keine Evaluationen auf Ihren eigenen Daten, bevor Produktionsverkehr das Modell wechselt.
Auch Artifacts hat Grenzen. Es ist eine Preview in einem einzelnen Consumer-Interface. Es führt keinen beliebigen Code aus, die angekündigte Team-Kollaboration und gemeinsame Wissensbasen sind noch nicht ausgeliefert, und API-Nutzer erhalten nichts davon. Wer Produkte baut, muss das Muster der Arbeitsergebnisse selbst implementieren.
Ausblick vom Juni 2024
Von unserem Standpunkt im Juni 2024 erscheinen zwei Entwicklungslinien stabil. Erstens: Claude 3.5 Haiku und Claude 3.5 Opus sind für dieses Jahr angekündigt, und die Kosten-pro-Qualität-Kurve halbiert sich im Takt von Monaten, nicht Jahren. Wir erwarten, dass die heutige Frontier-Qualität in etwa einem Jahr zu Mid-Tier-Preisen verfügbar ist. Der Vergleich mit dem Vorjahres-Flaggschiff wird zur Routine.
Zweitens könnte die Richtung des Interfaces ebenso wichtig werden wie die Modelle selbst. Sobald Outputs editierbare, persistente Arbeitsergebnisse sind, verlagert sich die Differenzierung von Benchmark-Tabellen auf die zuverlässige Einbindung in reale Toolchains — versioniert, reviewt, getestet und deployt. Diese Integration ist Engineering, nicht Prompting. Darin werden wir in den kommenden Quartalen investieren.