Das kleine Modell, das im Betrieb geblieben ist
Der Plan war, es zu ersetzen, sobald Budget da ist. Zwei Jahre später läuft es unverändert, und der Grund ist nicht, dass es besser geworden wäre — wir haben endlich die Aufgabe richtig zugeschnitten.
Warum es eingesetzt wurde
Der Schritt war Routing: entscheiden, welcher von sechs Kategorien eine eingehende Anfrage angehört, damit der richtige nachgelagerte Handler sie aufnimmt. Wir waren im Prototyp und wollten für etwas, das sich wie ein Klassifikator anfühlte, kein Spitzenmodell bezahlen.
Die Absicht war ausdrücklich vorläufig. Es läuft noch, weil bei jeder Überprüfung die ehrliche Antwort lautete, dass der Schritt nicht mehr braucht.
Was sich im Feld geändert hat
Ende 2023 hörten kleine offene Modelle auf, ein Kompromiss zu sein, den man verteidigen musste. Jiang und Kollegen veröffentlichten Mistral 7B in diesen Moment hinein, und bedeutsam war für uns weniger das konkrete Modell als die Botschaft: Diese Größenklasse war für begrenzte Aufgaben wirklich brauchbar geworden.
Das verschob die Frage von „wie klein können wir davonkommen“ zu „wie gut haben wir den Schritt zugeschnitten“ — und das ist die ergiebigere Fassung.
Der Zuschnitt, der es tragfähig gemacht hat
Ein Routing-Schritt scheitert auf zwei Arten: Die Kategorien sind mehrdeutig, oder die Eingabe trägt Information, die der Klassifikator nicht sehen kann. Wir haben beides behoben, bevor wir das Modell anfassten. Zwei überlappende Kategorien wurden zusammengelegt. Eine, die von der Kontohistorie abhing, bekam eine Abfrage statt einer Vermutung.
Danach war der Schritt wirklich leicht, und ein leichter Schritt braucht kein großes Modell. Der größte Teil des Genauigkeitsgewinns kam aus dem Kategorienschnitt, nicht aus irgendetwas Modellförmigem.
| Wo ein kleines Modell trägt | Wo wir ein großes nehmen |
|---|---|
| Begrenzte Klassifikation mit klaren Kategorien | Offenes Schlussfolgern über lange Ketten |
| Extraktion gegen ein festes Schema | Ermessensfragen mit unklaren Kriterien |
| Hohes Volumen, latenzempfindlich | Geringes Volumen, hoher Einsatz |
| Fehler sind billig und sichtbar | Fehler sind teuer oder still |
Wie wir heute entscheiden
Wir wählen nicht erst ein Modell und entwerfen dann darum herum. Wir schneiden den Schritt zu, bauen das Referenzset und lassen dann das günstigste Modell laufen, das die Latte schafft. Schafft kein kleines es, ist das eine Information: Meist erledigt der Schritt zwei Aufgaben und sollte geteilt werden.
Die Messung, die Streit beendet, ist Genauigkeit auf dem Referenzset bei Produktionslatenz. Diskussionen darüber, welches Modell allgemein besser sei, überleben den Kontakt mit einer Zahl auf den eigenen Daten nicht.
Was es kostet, es zu behalten
Ein eigenes kleines Modell zu betreiben hat eigenen Aufwand: noch etwas zu hosten, zu patchen und zu überwachen, und es profitiert nicht davon, dass ein Anbieter seine Verbesserungen kostenlos nachliefert. Für einen Schritt dieser Größe ist der Tausch in Ordnung. Für sechs davon wäre er es nicht.
Wir halten den Wechselpfad offen. Der Schritt liegt hinter einer Schnittstelle, und die Umstellung auf ein gehostetes Modell ist eine Konfigurationsänderung, keine Neuschreibung. Gebraucht haben wir sie nicht.
Was wir nicht behaupten
Wir behaupten nicht, kleine Modelle ersetzten große im Allgemeinen. Wo die Arbeit offen ist, tun sie es nicht, und das Gegenteil anzunehmen erzeugt Systeme, die genau bei den wichtigen Fällen still versagen.
Wir verkaufen es auch nicht als Kostengeschichte. Die Ersparnis ist real, aber bei unserem Volumen bescheiden. Das kleine Modell ist geblieben, weil der Schritt richtig zugeschnitten wurde — und das hätte sich unabhängig davon gelohnt, welches Modell darin läuft.