07.10.2024 AI Engineering5 Minuten Lesezeit

Small Language Models: Wenn 3 bis 9 Milliarden Parameter genügen

Phi-3 und Gemma 2 zeigen, dass Modelle mit 3 bis 9 Milliarden Parametern einen großen Teil des Produktions-Traffics zu einem Bruchteil der Frontier-Kosten bewältigen können. Wir klären, für welche Aufgaben sie genügen, was On-Premises- und Edge-Betrieb erfordern, wie Routing einfache Anfragen gezielt zuweist und wie Teams Qualität pro Euro belastbar messen.

Frontier-Modelle als teurer Standard

2023 schien die Standardarchitektur für Sprachfeatures einfach: Jede Anfrage ging an das größte verfügbare Modell. Bezahlt wurde dieser Default in drei Währungen. Frontier-APIs berechnen Premiumpreise pro Token, große Modelle antworten in Sekunden statt Millisekunden, und jeder Prompt verlässt die eigene Infrastruktur. In den Produktionssystemen, die wir bei Blue IT Systems betreiben, entfällt ein großer Teil der Anfragen auf Klassifikation, Extraktion oder kurze Zusammenfassungen — Aufgaben weit unterhalb der Fähigkeitsgrenze eines Frontier-Modells. Für diesen Traffic Frontier-Preise zu zahlen, ist eine Gewohnheit, keine bewusste Entscheidung.

2024 hat die Rechnung verändert. Microsoft veröffentlichte Phi-3 im April, Google Gemma 2 im Juni. Beide sind offene Modellfamilien im Bereich von 2 bis 27 Milliarden Parametern, die auf einer einzelnen GPU laufen — die kleinsten auf einem Telefon. Die Frage ist nicht mehr, ob kleine Modelle gut sind, sondern welchen Traffic sie tragen können und wie er sich dorthin leiten lässt.

Eine Anfrage kommt an — der Router stuft die Schwierigkeit ein. 1/4

Was kleine Modelle 2024 leisten

Phi-3-mini hat 3,8 Milliarden Parameter und wurde auf 3,3 Billionen Tokens aus stark gefilterten Webdaten und synthetischen Daten trainiert. Microsoft berichtet 69 % auf MMLU und 8,38 auf MT-Bench — vergleichbar mit Mixtral 8x7B und GPT-3.5, Modellen mit einem Vielfachen der Größe. Gemma 2 9B wurde per Knowledge Distillation von einem größeren Lehrermodell auf 8 Billionen Tokens trainiert und erreicht 71,3 % auf MMLU, vor Llama 3 8B. Der Mechanismus ist in beiden Fällen derselbe: Bessere Trainingsdaten und Distillation ersetzen Parameter.

Die Tabelle zeigt Herstellerangaben. Sie stammen aus unterschiedlichen Evaluationspipelines und sind Richtwerte, nicht direkt vergleichbar. GPT-4o mini ist als gehosteter Referenzpunkt aufgeführt: höherer Score, aber geschlossene Gewichte, und jede Anfrage verlässt Ihre Infrastruktur. Benchmark-Werte sagen zudem wenig über Ihre konkrete Aufgabe; ein eigenes Evaluationsset mit einigen hundert Beispielen sagt mehr.

Modell	Parameter	Release	MMLU (5-shot)	Kontext
Phi-3-mini	3,8 Mrd.	Apr 2024	69 %	4K / 128K
Phi-3-small	7 Mrd.	Mai 2024	75 %	8K / 128K
Gemma 2 9B	9 Mrd.	Jun 2024	71,3 %	8K
GPT-4o mini (gehostete Referenz)	nicht publiziert	Jul 2024	82 %	128K

Wo 3 bis 9 Milliarden Parameter genügen

Kleine Modelle genügen dort, wo Sprachkompetenz wichtiger ist als Weltwissen: Intent-Klassifikation, Entitäten- und Feldextraktion, kurze Zusammenfassungen, Umformulierung, strukturierte Ausgaben wie JSON und die Beantwortung von Fragen über per Retrieval bereitgestellten Kontext. In einer RAG-Pipeline liefert der Retriever die Fakten; das Modell muss nur lesen, auswählen und formulieren. Genau das ist das Profil eines Modells mit 3 bis 9 Milliarden Parametern — und es deckt einen überraschend großen Teil typischer Unternehmens-Workloads ab.

Diese Eignung hat klare Grenzen. Kleine Parameterbudgets speichern weniger Faktenwissen — der Phi-3-Report nennt selbst schwache TriviaQA-Ergebnisse und empfiehlt eine Suchanbindung. Mehrschrittiges Schließen degradiert schneller als bei großen Modellen, die Qualität außerhalb des Englischen ist dünner, und lange agentische Ketten verstärken die Fehlerrate jedes einzelnen Schritts. Benennen Sie diese Grenzen offen im Design-Review: Ein kleines Modell ist eine Komponente mit engem Vertrag, kein genereller Ersatz.

On-Premises- und Edge-Betrieb

Offene Gewichte ermöglichen Deployments, die API-Modelle ausschließen. Unter DSGVO und branchenspezifischen Regeln dürfen viele unserer Kunden keine Dokumente an eine US-gehostete API senden. Ein 4-Bit-quantisiertes Phi-3-mini belegt rund 2,3 GB und läuft laut Microsofts Report mit über 12 Tokens pro Sekunde auf einem iPhone 14. Gemma 2 9B passt auf eine einzelne Consumer-GPU mit 24 GB; die 27B-Variante läuft auf einer H100. Das Tooling ist ausgereift: llama.cpp, Ollama, ONNX Runtime und vLLM decken alles vom Laptop bis zum Server ab.

Der Preis ist operativ. Modell-Updates, Sicherheitspatches, Evaluation und Kapazitätsplanung liegen bei Ihnen. Eine gehostete API verbessert sich stillschweigend; Ihr On-Premises-Modell nicht. Kalkulieren Sie das in Euro und Personal ein — Self-Hosting ist eine Produktentscheidung, keine reine Infrastrukturentscheidung.

Routing einfacher Anfragen auf kleine Modelle

Ein Router platziert jede Anfrage: Einfacher Traffic geht an das kleine Modell, schwerer an das große. RouteLLM von LMSYS (Juli 2024) trainierte Router auf Präferenzdaten der Chatbot Arena und berichtet 95 % der GPT-4-Qualität auf MT-Bench bei Kostenreduktionen von bis zu 85 % gegenüber reiner GPT-4-Nutzung. Framework und Datensätze sind Open Source.

In Produktion bewähren sich meist einfachere Varianten: regelbasiertes Routing nach Endpunkt oder Aufgabentyp sowie Kaskaden, die zunächst das kleine Modell nutzen und bei niedriger Konfidenz oder fehlgeschlagener Validierung eskalieren. Zwei Einschränkungen bleiben. Ein modellbasierter Router kann selbst falsch entscheiden und braucht deshalb ein eigenes Evaluationsset samt Monitoring. Außerdem lassen sich publizierte Einsparungen nicht übertragen; sie hängen vollständig von Ihrem Traffic-Mix ab. Messen Sie zuerst den Anteil einfacher Anfragen, bevor Sie Einsparungen beziffern.

Qualität pro Euro

Gehostete kleine Modelle setzen den Referenzpreis. GPT-4o mini kostet seit Juli 2024 0,15 US-Dollar pro Million Input-Tokens und 0,60 US-Dollar pro Million Output-Tokens — eine Größenordnung unter Frontier-Preisen. Jedes Self-Hosted-Deployment muss diesen Preis inklusive Hardware, Energie und Engineering-Zeit schlagen. Bei niedrigem oder stark schwankendem Volumen gelingt das selten: Eine gemietete GPU im Leerlauf ist teurer als jeder API-Aufruf, den sie nie macht.

Self-Hosting gewinnt unter drei Bedingungen: konstant hohe Auslastung, Datenresidenz-Anforderungen, die externe APIs ausschließen, oder harte Latenzbudgets. Die entscheidende Metrik ist Qualität pro Euro pro Aufgabe — gemessen auf Ihrem eigenen Evaluationsset, nicht auf MMLU. Wir haben Kostenreduktionen um den Faktor 10 gesehen, wo das Traffic-Profil passt — und keine, wo es nicht passt.

Ausblick im Oktober 2024

Drei Entwicklungen erscheinen aus heutiger Sicht robust. Erstens: Distillation-Pipelines werden Frontier-Fähigkeiten weiter mit sechs bis zwölf Monaten Verzögerung in kleine Modelle komprimieren; die Release-Kadenz von Phi und Gemma 2024 zeigt, dass das inzwischen Routine ist. Zweitens: Consumer-Hardware wird für lokale Inferenz gebaut — Copilot+-PCs werden mit NPUs ausgeliefert, und Apple hat für Apple Intelligence ein On-Device-Modell mit rund 3 Milliarden Parametern angekündigt.

Drittens erwarten wir, dass heterogene Modellflotten — ein Frontier-Modell, mehrere kleine Spezialisten und ein Router — 2025 zur üblichen Produktionsarchitektur werden. Trifft das ein, unterscheiden sich Engineering-Teams nicht mehr primär durch ihre Modellwahl, sondern durch die Qualität ihres Routings und ihrer Evaluationsinfrastruktur. Das Frontier-Modell bleibt wichtig, wechselt aber seine Rolle: vom Standard zum gezielten Eskalationspfad.