21.04.2024 AI Engineering 5 Minuten Lesezeit

Llama 3: Offene Gewichte werden zur ernsthaften Option

Metas Llama 3 (18. April 2024) verkleinert den Abstand zwischen offenen Gewichten und geschlossenen APIs. Wir betrachten die Benchmarks der 8B- und 70B-Modelle, die Wirkung von 4-Bit-Quantisierung auf die Hardwareanforderungen, die Auslastungsrechnung des Self-Hosting gegenüber API-Preisen und die datenschutzgebundenen Workloads, in denen nur ein offenes Modell in Frage kommt.

Die Lücke zwischen offen und geschlossen

Bis zu dieser Woche standen Teams mit datenschutzgebundenen Workloads vor einer unbequemen Wahl. Die beste Modellqualität lag hinter gehosteten APIs — und Daten wie Patientenakten, Personalunterlagen oder Mandantendokumente dürfen die eigene Infrastruktur nicht verlassen. Offene Modelle ließen sich selbst betreiben, lagen aber rund eine Generation zurück: Das Llama-2-70B-Basismodell erreichte 69,7 Punkte im MMLU (5-shot), OpenAI meldete 86,4 für GPT-4. Fähigkeit oder Kontrolle — selten beides.

Diese Lücke war das Argument. Jede Architekturdiskussion über On-Premise-Inferenz endete mit demselben Vorbehalt: Das Modell, das Sie betreiben dürfen, ist messbar schlechter als das, das Sie nicht betreiben dürfen. Wir bei Blue IT Systems sehen das wöchentlich in Projekten mit Gesundheits- und Rechtsdaten. Llama 3 ändert die Größe dieses Vorbehalts. Es beseitigt ihn nicht.

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Was Meta veröffentlicht hat

Am 18. April 2024 hat Meta Llama 3 in zwei Größen veröffentlicht, 8B und 70B Parameter, jeweils als vortrainiertes Basismodell und als instruktionsfeinabgestimmte Variante. Beide wurden auf über 15 Billionen Tokens vortrainiert — dem Siebenfachen des Llama-2-Korpus — mit viermal mehr Code und über 5 % nicht-englischen Daten aus mehr als 30 Sprachen. Die Architektur ist ein Standard-Decoder-Transformer mit 128K-Token-Vokabular, Grouped Query Attention in beiden Größen und einem Kontextfenster von 8.192 Tokens. Wissensstände: März 2023 (8B) und Dezember 2023 (70B).

Die Lizenz ist die Meta Llama 3 Community License. Kommerzielle Nutzung ist erlaubt, sofern der Lizenznehmer zum Release nicht mehr als 700 Millionen monatlich aktive Nutzer hatte; Produkte müssen "Built with Meta Llama 3" ausweisen; Ausgaben dürfen nicht zur Verbesserung anderer LLMs verwendet werden. Das sind offene Gewichte, nicht Open Source: Trainingsdaten und Trainingscode bleiben geschlossen. Für das Self-Hosting genügen die Gewichte.

Benchmarks im Kontext

Die instruktionsfeinabgestimmten Modelle tragen den Release. Metas veröffentlichter Vergleich stellt das 70B-Modell auf oder über Claude 3 Sonnet, Anthropics mittleres API-Modell. Die Shot-Zahlen unterscheiden sich zwischen den Anbietern — Meta misst GSM-8K mit 8-shot Chain of Thought, Anthropic mit 0-shot. Die Tabelle ist daher indikativ, kein kontrolliertes Experiment.

Meta berichtet zusätzlich eine Humanevaluation über 1.800 Prompts in zwölf Anwendungsfällen, in der Annotatoren Llama 3 70B gegenüber Claude 3 Sonnet, Mistral Medium und GPT-3.5 bevorzugten. Herstellereigene Humanevaluationen verdienen Skepsis, aber die Richtung deckt sich mit den automatisierten Benchmarks.

Was die Zahlen nicht sagen: Das Kontextfenster beträgt 8K Tokens, gegenüber 128K bei GPT-4 Turbo und 200K bei Claude 3. Llama 3 ist ein reines Textmodell. Und GPT-4 (86,4 MMLU) sowie Claude 3 Opus (86,8) bleiben klar vorn. Die Lücke ist auf eine Stufe geschrumpft, nicht auf null.

Benchmark	Llama 3 8B Instruct	Llama 3 70B Instruct	Claude 3 Sonnet
MMLU (5-shot)	68,4	82,0	79,0
HumanEval (0-shot)	62,2	81,7	73,0
GSM-8K (CoT)	79,6	93,0	92,3

Quantisierung macht 70B praktikabel

In FP16 belegen 70 Milliarden Parameter rund 140 GB — ein Multi-GPU-Deployment vor dem ersten Token. Post-Training-Quantisierung ändert die Rechnung: Mit 4 Bit pro Gewicht (GPTQ, AWQ oder die GGUF-Formate von llama.cpp) schrumpfen die 70B-Gewichte auf etwa 35 bis 40 GB und passen auf eine einzelne A100 oder H100 mit 80 GB, mit Platz für den KV-Cache. Das 8B-Modell fällt von 16 GB auf rund 5 GB und läuft auf einer Consumer-GPU oder einem Laptop.

Quantisierung ist nicht gratis. Unter 4 Bit degradiert die Qualität messbar, und auch 4-Bit-Varianten brauchen vor dem Produktivbetrieb eine aufgabenspezifische Evaluation. Community-Konvertierungen vom ersten Tag enthalten regelmäßig Tokenizer- und Chat-Template-Fehler; die ersten GGUF-Builds von Llama 3 waren keine Ausnahme. Der Serving-Stack ist dagegen bereit: vLLM, Hugging Face TGI, llama.cpp und Ollama unterstützten Llama 3 zum Start.

Die Ökonomie des Self-Hosting

API-Preise im April 2024, je Million Input-/Output-Tokens: GPT-4 Turbo 10/30 USD, Claude 3 Sonnet 3/15 USD, Claude 3 Haiku 0,25/1,25 USD. Das sind Listenpreise; Mengenrabatte existieren auf beiden Seiten. Self-Hosting ersetzt Grenzkosten durch Fixkosten: Eine A100 mit 80 GB kostet on-demand je nach Anbieter grob zwei bis vier US-Dollar pro Stunde — unabhängig davon, wie viele Tokens sie liefert.

Der Break-even ist damit eine Auslastungsfrage. Ein gebatchtes vLLM-Deployment eines quantisierten 70B-Modells, das rund um die Uhr nahe der Kapazität läuft, unterbietet die Token-Preise der mittleren API-Klasse; dieselbe GPU bei 5 % Last kehrt die Rechnung um. Hinzu kommen die Kosten, die der API-Preis bereits enthält: Monitoring, Patching, Kapazitätsplanung, Bereitschaft. Self-Hosting lohnt sich bei stetiger Last oder harten Datenauflagen — nicht bei sporadischen kleinen Volumina.

Wann offene Gewichte die API schlagen

Manche Anforderungen beenden den Vergleich, bevor er beginnt: Daten, die Ihre Infrastruktur unter DSGVO-Auftragsverarbeitung, Berufsgeheimnis oder Betriebsvereinbarungen nicht verlassen dürfen. Modellversionen, die für Audits fixiert und reproduzierbar sein müssen. Fine-Tuning auf vertraulichen Daten, die kein Dritter sehen darf. Air-Gapped-Betrieb. In diesen Fällen ist eine API nicht die schwächere Option — sie ist keine Option.

Die Gegenliste ist ebenso real: Spitzen-Reasoning, Kontexte jenseits von 8K Tokens, multimodale Eingaben und stark schwankende Last sprechen für die API. Was Llama 3 ändert, ist der Preis der Auflage: Der Qualitätsabschlag für den Betrieb auf eigener Hardware ist von einer ganzen Generation auf einen messbaren, aber kleinen Abstand bei vielen Aufgaben gefallen. Der EU AI Act, vom Parlament am 13. März 2024 verabschiedet, wird die Dokumentationspflichten auf beiden Wegen erhöhen.

Ausblick

Meta erklärt, die 8B- und 70B-Modelle seien der Anfang: Modelle mit über 400 Milliarden Parametern sind noch im Training, längere Kontextfenster, Multimodalität und weitere Sprachen sind für die kommenden Monate angekündigt. Hält die Trajektorie des 70B-Modells, ist ein Modell mit offenen Gewichten auf GPT-4-Niveau noch in diesem Jahr plausibel.

Unsere Erwartung mit Stand April 2024: ein dichtes Ökosystem aus Fine-Tunes und quantisierten Builds binnen Wochen, gehostete Open-Model-Endpunkte, die die Token-Preise weiter drücken, und — für regulierte europäische Branchen — selbst gehostete offene Gewichte als Standard-Ausgangspunkt, mit Frontier-APIs für Aufgaben, die sie nachweislich brauchen. Wir richten unsere Referenzarchitekturen entsprechend aus. Die Lücke hat aufgehört, das Argument zu sein.