13.08.2023 AI Engineering 5 Minuten Lesezeit

Llama 2: Was offene Gewichte für Unternehmen bedeuten

Meta hat Llama 2 am 18. Juli 2023 unter einer Lizenz veröffentlicht, die kommerzielle Nutzung erlaubt. Wir untersuchen, was offene Gewichte für Unternehmensarchitekturen ändern: Datenresidenz ohne Drittlandtransfer, fixe Inferenzkosten statt Token-Abrechnung, die gemessene Qualitätslücke zu GPT-4 und der heutige Einsatzbereich der Modelle mit 7B, 13B und 70B Parametern.

Das Problem der API-Abhängigkeit

Die meisten LLM-Integrationen in Unternehmen folgen Mitte 2023 einem Muster: Anwendungsdaten gehen an eine gehostete API, der Anbieter betreibt das Modell, abgerechnet wird pro Token. Das funktioniert. Es erzeugt aber drei Abhängigkeiten, die in jedem unserer Architektur-Reviews wiederkehren: Prompts verlassen die eigene Infrastruktur, die Kosten skalieren linear mit der Nutzung, und Modellversionen ändern sich nach dem Zeitplan des Anbieters — nicht nach Ihrem.

Für Prototypen ist das akzeptabel. Für Produktivsysteme, die regulierte oder vertraglich geschützte Daten verarbeiten, oft nicht. Bis zu diesem Sommer gab es kein kommerziell nutzbares Open-Weight-Modell mit glaubwürdiger Qualität. Am 18. Juli 2023 hat Meta diese Ausgangslage mit Llama 2 verändert.

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Was Llama 2 konkret ist

Llama 2 ist eine Familie vortrainierter und feinabgestimmter Sprachmodelle, die Meta am 18. Juli 2023 in drei Größen veröffentlicht hat: 7, 13 und 70 Milliarden Parameter. Alle Modelle wurden auf 2 Billionen Tokens öffentlich verfügbarer Daten trainiert; das Kontextfenster beträgt 4.096 Tokens. Die 70B-Variante nutzt Grouped-Query Attention für schnellere Inferenz. Eine 34B-Variante wurde trainiert, aber nicht veröffentlicht.

Die Chat-Varianten (Llama-2-Chat) wurden mit Supervised Fine-Tuning und RLHF auf über einer Million menschlicher Annotationen ausgerichtet. Die Gewichte sind nach Annahme der Lizenz herunterladbar; die Modelle stehen im Azure-AI-Modellkatalog, bei AWS und auf Hugging Face bereit. Was Sie erhalten, sind die Parameter — nicht die Trainingsdaten und nicht die Trainingspipeline.

Die Lizenz genau lesen

Meta nennt Llama 2 Open Source. Nach der Open-Source-Definition ist es das nicht — die Open Source Initiative hat das am 20. Juli 2023 öffentlich klargestellt. Die Llama 2 Community License gewährt ein gebührenfreies Recht zur kommerziellen Nutzung, mit zwei Einschränkungen: Dienste mit mehr als 700 Millionen monatlich aktiven Nutzern zum Veröffentlichungsdatum benötigen eine gesonderte Lizenz von Meta, und Ausgaben von Llama 2 dürfen nicht zur Verbesserung anderer großer Sprachmodelle verwendet werden. Dazu kommt eine Acceptable-Use-Policy.

Für die meisten Unternehmen ist die 700-Millionen-Klausel irrelevant. Die praktische Konsequenz ist eine andere: Ihre Rechtsprüfung muss den Lizenztext lesen, nicht das Etikett. Wir verwenden den Begriff offene Gewichte. Er benennt präzise, was offen ist — und was nicht.

Datenresidenz unter eigener Kontrolle

Selbst gehostete Gewichte bedeuten: Prompts und Ausgaben verlassen Ihre Infrastruktur nicht. Das Modell läuft on-premises oder in einem dedizierten EU-Cloud-Tenant. Es findet kein Drittlandtransfer statt, kein Unterauftragsverarbeiter sieht die Daten, kein Anbieter speichert sie. Für Workloads unter DSGVO, Berufsgeheimnispflichten oder Betriebsvereinbarungen entfallen damit die schwierigsten Fragen der Datenschutzprüfung.

Ehrliche Abgrenzung: Selbsthosting macht ein System nicht von allein DSGVO-konform. Rechtsgrundlage, Zweckbindung und die Kontrolle der Modellausgaben bleiben Ihre Verantwortung — wie zuvor. Was sich ändert, ist der Prüfumfang: Die Transferfrage und die Frage des Anbieterzugriffs entfallen, weil kein Anbieter im Anfragepfad steht.

Die Ökonomie des Selbstbetriebs

API-Preise skalieren linear mit dem Tokenvolumen. Selbsthosting kehrt das um: fixe GPU-Kosten, bei hoher Auslastung Grenzkosten nahe null. Die Zahlen sind konkret. Llama 2 70B benötigt in 16-Bit-Präzision rund 140 GB allein für die Gewichte — zwei A100 mit je 80 GB. Mit 4-Bit-Quantisierung (GPTQ, llama.cpp) sinkt der Bedarf auf etwa 35 bis 40 GB. Die 7B- und 13B-Modelle laufen auf einer einzelnen Workstation-GPU. Serving-Stacks existieren: Hugging Face Text Generation Inference sowie vLLM (Juni 2023) mit PagedAttention für durchsatzstarkes Batching.

Der Trade-off ist ebenso konkret. Der Break-even gegenüber einer API erfordert dauerhaft hohes Volumen. Betrieb, Monitoring, Sicherheitsupdates und Kapazitätsplanung wandern in Ihr Team. Bei niedrigem oder stark schwankendem Traffic bleibt die gehostete API die günstigere und einfachere Option. Kostenkontrolle heißt Planbarkeit — nicht automatisch eine niedrigere Rechnung.

Die Qualitätslücke zu GPT-4

Metas Paper ist ungewöhnlich offen, was die Einordnung der eigenen Modelle betrifft. Auf akademischen Benchmarks — in Tabelle 4 des Papers neben OpenAIs veröffentlichten GPT-4-Werten berichtet — erreicht das 70B-Modell bei Wissensaufgaben das Niveau von GPT-3.5, bei Code und Mathematik nicht:

Die Lesart ist eindeutig. Llama 2 70B hält bei Wissen und Grundschulmathematik mit GPT-3.5 mit, liegt bei Code deutlich dahinter und überall weit hinter GPT-4. Jeder Einsatzplan, der von Llama 2 GPT-4-Niveau erwartet, scheitert. Die richtige Frage lautet nicht, ob Llama 2 GPT-4 schlägt — das tut es nicht —, sondern welche Ihrer Aufgaben GPT-4 gar nicht brauchen.

Benchmark	Llama 2 70B	GPT-3.5	GPT-4
MMLU (5-shot)	68,9	70,0	86,4
GSM8K (8-shot)	56,8	57,1	92,0
HumanEval (0-shot)	29,9	48,1	67,0

Wo offene Gewichte heute passen

Der passende Einsatzbereich sind eng umrissene, datensensible Aufgaben mit hohem Volumen: Klassifikation, Informationsextraktion, Zusammenfassung interner Dokumente, Retrieval-gestützte Fragebeantwortung über Unternehmensdaten, Erstentwürfe. Diese Aufgaben brauchen selten Frontier-Niveau beim Schlussfolgern. Sie brauchen Datenresidenz und planbare Volumenkosten — genau das liefern offene Gewichte.

Fine-Tuning verschiebt die Abwägung weiter. Mit LoRA und QLoRA (Mai 2023) lässt sich ein 7B- oder 13B-Modell auf einer einzelnen GPU mit 24 bis 48 GB Speicher an eine Domänenaufgabe anpassen. Ein kleines, auf Ihre Aufgabe und Ihre Daten abgestimmtes Modell kann ein per Prompt gesteuertes Generalmodell auf dieser Aufgabe übertreffen — und nur auf dieser. Die pragmatische Architektur im August 2023 ist ein Router: sensibler und volumenstarker Traffic an selbst gehostetes Llama 2, schweres Schlussfolgern an eine Frontier-API.

Ausblick aus dem August 2023

Drei Erwartungen leiten unsere Planung. Erstens: Die Qualitätslücke wird sich verkleinern. Llama 2 70B liegt bei Wissensbenchmarks bereits auf GPT-3.5-Niveau; wir erwarten innerhalb von zwölf Monaten stärkere offene Gewichte, auch code-spezialisierte Varianten. Zweitens: Die Inferenzkosten fallen schneller, als die Modellqualität steigt — Quantisierung und Serving-Optimierungen wie PagedAttention sind Monate alt und verbessern sich wöchentlich.

Drittens: Die Regulierung wirkt in dieselbe Richtung. Das EU-Parlament hat seine Verhandlungsposition zum AI Act im Juni 2023 beschlossen; europäische Unternehmen werden zunehmend Deployments benötigen, die sie prüfen und kontrollieren können. Unsere Arbeitshypothese: Der Zielzustand ist nicht ein Modell, sondern ein Portfolio — mehrere kleine, spezialisierte Open-Weight-Modelle neben einer Frontier-API. Gewichte werden Infrastruktur. Unternehmen sollten sie ab jetzt so behandeln.