07.03.2024 AI Engineering5 Minuten Lesezeit

Claude 3: Portfolio statt Einheitsmodell

Anthropics Claude-3-Familie — Opus, Sonnet und Haiku — ersetzt das Einheitsmodell durch ein gestaffeltes Portfolio: eine API, drei Preispunkte, Bildeingabe und 200K Kontext auf jeder Stufe. Wir ordnen die verifizierten Startzahlen und ihre Kompromisse ein und skizzieren ein Routing-Muster, das jeder Arbeitslast das günstigste Modell zuweist, das ihre Evaluation besteht.

Ein Modell für alles

Anfang 2024 setzen die meisten produktiven LLM-Systeme für jede Aufgabe dasselbe Modell ein. Ein Flaggschiff übernimmt Klassifikation, Extraktion, Zusammenfassung, Code-Review und mehrstufiges Schlussfolgern. Die Entscheidung fällt zu Projektbeginn und wird danach selten überprüft. Das vereinfacht den Betrieb, verteuert ihn aber unnötig: Die meisten Aufrufe sind einfach, nur eine Minderheit ist anspruchsvoll — und beide Kategorien brauchen unterschiedliche Werkzeuge.

Ein Flaggschiff auf einer Routing- oder Tagging-Aufgabe verschwendet Geld und Latenz. Ein kleines Modell auf komplexer Analyse liefert falsche Antworten. Keines der beiden Fehlermuster wird sichtbar, solange niemand die Arbeitslast pro Aufgabe misst. Mit der am 4. März 2024 angekündigten Claude-3-Familie macht Anthropic die gestaffelte Alternative explizit: drei Modelle — Haiku, Sonnet, Opus — hinter einer API, zu drei Preispunkten.

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Die Claude-3-Familie im Überblick

Claude 3 umfasst drei Modelle aufsteigender Leistungsfähigkeit: Haiku, Sonnet und Opus. Alle drei teilen ein Kontextfenster von 200K Token, akzeptieren Bildeingaben und haben einen Wissensstand von August 2023. Laut Anthropic können alle drei technisch Eingaben jenseits von einer Million Token verarbeiten; diese Option ist nicht allgemein verfügbar und ausgewählten Kunden vorbehalten.

Zum Start sind Opus und Sonnet über die Anthropic-API allgemein verfügbar. Sonnet treibt die kostenlose Stufe von claude.ai an; Opus erfordert ein Claude-Pro-Abonnement für 20 US-Dollar pro Monat. Sonnet steht zudem auf Amazon Bedrock bereit und in privater Vorschau auf Google Cloud Vertex AI. Haiku ist angekündigt, aber noch nicht veröffentlicht.

Leistung und Preis pro Stufe

Die Preisspreizung ist die zentrale Designentscheidung. Opus kostet pro Token das Sechzigfache von Haiku, bei Ein- und Ausgabe gleichermaßen. Ein Team, das jede Anfrage an die oberste Stufe schickt, zahlt diesen Faktor auf das gesamte Volumen — unabhängig davon, ob die Aufgabe es erfordert. Die publizierten Zahlen:

Die Benchmark-Werte stammen aus Anthropics Model Card und sind Indizien, kein Eignungsnachweis für eine konkrete Anwendung. Zwei Details fallen auf. Opus meldet 86,8 % auf MMLU (5-shot), knapp über dem publizierten GPT-4-Wert von 86,4 %. Und Haiku schneidet auf HumanEval besser ab als Sonnet — 75,9 % gegenüber 73,0 %. Kleine Modelle sind nicht uniform schlechter; die Fähigkeitsprofile unterscheiden sich je Aufgabe.

Modell	Eingabe $/Mio. Token	Ausgabe $/Mio. Token	MMLU 5-shot	HumanEval 0-shot	Kontext
Claude 3 Opus	$15	$75	86,8 %	84,9 %	200K
Claude 3 Sonnet	$3	$15	79,0 %	73,0 %	200K
Claude 3 Haiku	$0,25	$1,25	75,2 %	75,9 %	200K

Bildeingabe auf allen Stufen

Alle drei Modelle akzeptieren Bilder als Eingabe: Fotos, Diagramme, technische Zeichnungen, Dokumentseiten. Die Fähigkeit ist nicht der obersten Stufe vorbehalten. Für dokumentenlastige Organisationen ist das relevant; Anthropic nennt Enterprise-Kunden, deren Wissensbasen zu bis zu 50 % aus Formaten wie PDFs und Präsentationsfolien bestehen. Auf dem AI2D-Benchmark für wissenschaftliche Diagramme meldet Sonnet 89,2 %, Opus 88,3 % und Haiku 80,6 % (0-shot).

Der Zuschnitt ist eng: Vision ist reine Eingabe. Die Modelle erzeugen keine Bilder und liefern keine verlässlichen Pixelkoordinaten oder Bounding Boxes. Ein Diagramm lesen funktioniert; Objektdetektion nicht. Ein System, das Lokalisierung oder Segmentierung braucht, braucht weiterhin ein dediziertes Vision-Modell. Behandeln Sie Claude-3-Vision als Dokumentenverständnis, nicht als Computer Vision.

Langer Kontext mit gemessenem Recall

Ein Fenster von 200K Token entspricht grob 150.000 englischen Wörtern. Langer Kontext nützt nur, wenn das Modell zuverlässig daraus abrufen kann. In Anthropics Needle-in-a-Haystack-Evaluation — ein eingepflanzter Satz wird aus einem großen Korpus abgerufen — erreicht Opus 99,4 % mittleren Recall und 98,3 % bei voller 200K-Länge. Sonnet und Haiku liegen um 95 % und damit vor Claude 2.1.

Zwei Einschränkungen. NIAH misst den Abruf eines einzelnen eingepflanzten Satzes, nicht das Schlussfolgern über ein ganzes Fenster; ein hoher Wert garantiert keine korrekte Synthese von 200K Token. Und langer Kontext wird pro Token abgerechnet: Ein voller 200K-Prompt an Opus kostet allein an Eingabe rund 3 US-Dollar, vor jeder Ausgabe. Retrieval-Infrastruktur ersetzt das nur bei geringem Anfragevolumen.

Modellwahl pro Aufgabe

Die technische Konsequenz ist eine Routing-Entscheidung pro Arbeitslast, nicht pro Projekt. Klassifikation, Extraktion, Moderation und einfache Transformationen gehen an das kleinste Modell, das die Evaluation der Aufgabe besteht — Haiku, sobald es ausgeliefert ist. Retrieval-gestütztes Antworten und regulärer Produktionsverkehr liegen bei Sonnet. Mehrstufiges Schlussfolgern, schwierige Analysen und seltene Aufgaben mit hohem Einsatz rechtfertigen Opus.

Als zweites Muster bietet sich die Eskalation an: Zunächst bearbeitet die günstige Stufe die Anfrage. Scheitert die Ausgabevalidierung oder ist die Konfidenz niedrig, läuft dieselbe Anfrage auf einer höheren Stufe erneut. Weil alle drei Modelle dieselbe API-Form nutzen, bleibt der Wechsel eine Konfigurationsänderung statt eines Umbaus. Ohne ein Evaluationsset pro Aufgabe lässt sich die Eskalationsgrenze allerdings nicht belastbar bestimmen.

Was die Staffelung nicht löst

Prompts übertragen sich nicht unverändert zwischen Stufen. Ein auf Opus optimierter Prompt kann auf Haiku abfallen; jede Stufe braucht ihren eigenen Evaluationslauf — drei Modelle verdreifachen die Testfläche. Das Routing selbst wird zu einer Komponente, die gebaut, überwacht und versioniert werden muss. Und Haiku ist angekündigt, nicht ausgeliefert; Produktionsplanung sollte noch nicht darauf aufbauen.

Auch die Kosten sinken nicht automatisch. Billige Token laden zu Volumen ein; die Gesamtausgaben können steigen, während die Stückkosten fallen. Schließlich beseitigt die Staffelung kein Modellrisiko: Anthropic berichtet weniger unnötige Verweigerungen und höhere Genauigkeit gegenüber Claude 2.1, aber Halluzinationen bleiben, auf jeder Stufe. Ausgabevalidierung bleibt Pflicht, unabhängig vom erzeugenden Modell.

Ausblick vom März 2024

Wir erwarten, dass gestaffelte Portfolios binnen Jahresfrist über alle Anbieter hinweg zur Norm werden. Das Muster ist ökonomisch zu offensichtlich, um exklusiv zu bleiben: OpenAI verteilt Arbeitslasten bereits über GPT-4 Turbo und GPT-3.5 Turbo, und Google positioniert Gemini in den Stufen Ultra, Pro und Nano. Die Einheit der Modellwahl verschiebt sich vom Anbieter zur Aufgabe.

Daraus folgen zwei Prognosen. Erstens erreichen Mittelklasse-Modelle in etwa einem Jahr die heutige Flaggschiff-Qualität zu einem Bruchteil des Preises; wer jetzt Routing aufbaut, kann diesen Gewinn ohne Architekturwechsel nutzen. Zweitens werden Evaluationssets pro Aufgabe zum dauerhaften Engineering-Asset: Modelle wechseln, Evals bleiben. Bei Blue IT Systems behandeln wir die Modellwahl deshalb als Konfiguration, nicht als Architektur. Claude 3 ist die erste Veröffentlichung, die dieses Vorgehen ausdrücklich nahelegt.