Was wir tun, wenn eine Arbeit viral geht
Eine neue Netzwerkarchitektur schaffte es in die allgemeine Technikpresse, und innerhalb weniger Tage wurden wir dreimal gefragt, ob sie unsere Empfehlungen ändert. Sie tat es nicht — und in zwei Sätzen sagen zu können, warum, erwies sich als wertvoller, als eine Meinung zur Architektur zu haben.
Drei Anrufe in einer Woche
Liu und Kollegen veröffentlichten Ende jenes April eine Arbeit zu Kolmogorov-Arnold-Netzen: lernbare Aktivierungsfunktionen auf den Kanten eines Netzes statt fester Aktivierungen auf den Knoten, mit günstigen Ergebnissen zu Genauigkeit und Interpretierbarkeit auf den kleinen wissenschaftlichen Problemen, die sie untersuchen.
Sie verbreitete sich binnen Tagen weit über ihr Feld hinaus. Wir wurden in einer Woche dreimal darauf angesprochen, und die Frage lautete jedes Mal sinngemäß, ob unsere Kunden warten, umdenken oder anders planen sollten. Diese Frage verdient eine echte Antwort statt eines Schulterzuckens.
Die Frage nach der Schicht
Unsere erste Frage zu jedem Ergebnis lautet, zu welcher Schicht es gehört. Es gibt die Architektur des Netzes, das Training eines konkreten Modells, das System um ein Modell herum und die Daten und Abläufe, denen das System dient. Das meiste, was ein allgemeines Publikum erreicht, betrifft die erste Schicht — und fast nichts, was wir bauen, fasst sie an.
Das ist keine Abwertung. Architekturforschung ist die Quelle des langfristigen Fortschritts im Feld. Es ist eine Aussage über den Abstand zwischen dieser Schicht und einem Liefertermin: Ergebnisse ganz unten erreichen einen Kunden über mehrere Zwischenschritte, von denen jeder Zeit braucht und mancher nie stattfindet.
Die vier Fragen
Wir fragen, was wahr sein müsste, damit das den Betrieb erreicht; ob irgendetwas in unserer heutigen Pipeline an dem hängt, was das Ergebnis verbessert; was es kostete, das herauszufinden; und wer es sonst reproduziert hat. Vier Fragen, zwanzig Minuten, meist eine klare Antwort.
Für diese Architektur lauteten die Antworten: Sie müsste im großen Maßstab trainieren, in den von uns genutzten Frameworks umgesetzt sein und ein Modell hervorbringen, das jemand betreibt. Nichts in unseren Pipelines hängt am Entwurf von Aktivierungsfunktionen. Es herauszufinden kostete Wochen. Und zu dem Zeitpunkt war sie wenige Tage alt.
| Wo ein Ergebnis sitzt | Wie schnell es uns erreichen kann |
|---|---|
| Netzarchitektur | Jahre, über mehrere Zwischenschritte |
| Trainingsverfahren | Monate, sobald jemand ein Modell ausliefert |
| Systemtechnik, etwa Retrieval | Wochen. Wir können es direkt testen |
| Prompting oder Ablauf | Tage. Oft ein Nachmittag |
Was wir den Kunden tatsächlich gesagt haben
Dass es interessante Arbeit ist, dass sie auf der Architekturschicht liegt, dass in ihrem System derzeit nichts an dieser Schicht hängt — und dass wir es merken würden, wenn daraus ein brauchbares Modell entstünde, weil wir beobachten, was betrieben wird, nicht was veröffentlicht wird.
Einer der drei widersprach, mit gutem Grund: Woher wissen wir, dass uns nicht das nächste große Ding entgeht? Die ehrliche Antwort ist, dass es uns entgehen könnte — und dass eine Beratung, die auf jede Arbeit reagiert, schlechter liefert als eine, die gelegentlich spät zu einem echten Umbruch kommt.
Wo wir stattdessen schnell sind
Die dritte und vierte Zeile der Tabelle sind, wohin unsere Aufmerksamkeit geht. Eine Retrieval-Technik oder ein Prompt-Muster lässt sich an einem Nachmittag gegen unser Referenzset testen, und der Preis des Irrtums ist dieser Nachmittag. Wir probieren deutlich mehr davon aus, als wir übernehmen.
Von dort kamen die meisten unserer tatsächlichen Verbesserungen. Keine davon schaffte es in die allgemeine Presse, und einige waren unspektakulär: besseres Chunking, ein strafferes Schema, eine entfernte Stufe. Die sichtbare Forschung und die nützlichen Änderungen waren weitgehend getrennte Mengen.
Was uns umstimmen würde
Ein trainiertes Modell in brauchbarer Größe, das wir aufrufen können, eine unabhängige Reproduktion der Kernaussage und ein Benchmark, der der Arbeit unserer Kunden ähnelt. Eines davon allein reicht nicht; die Kombination reicht, und ungefähr danach sehen wir, bevor wir Zeit investieren.
Wir führen eine kurze Liste von Ergebnissen, bei denen wir uns gern irren würden, und sehen sie etwa zweimal im Jahr durch. Zwei Punkte sind seit Beginn dieser Liste in den produktiven Einsatz gewandert — eine niedrige Trefferquote und genau die, die wir erwarten würden.
Warum das eine Leistung ist und kein Reflex
Kunden sind einer Menge Lärm ausgesetzt, und vieles davon ist darauf angelegt, Dringlichkeit zu erzeugen. Klar sagen zu können, dass ein breit diskutiertes Ergebnis ihre Planung nicht berührt, und die Begründung so zu erklären, dass sie überprüfbar ist, ist ein erheblicher Teil dessen, wofür sie bezahlen.
Die Alternative ist ein Anbieter, der allem zustimmt, was wichtig klingt — und daraus wird ein Budget, das von der Presseberichterstattung geformt ist. Wir sind lieber die, die sagen, dass sich in diesem Monat nichts geändert hat, wenn sich nichts geändert hat.
Was wir nicht behaupten
Wir behaupten nicht, die fragliche Architektur sei unwichtig. Die Arbeit ist sorgfältig, ihre Autoren sind ausdrücklich über die getesteten Bedingungen, und ob der Ansatz skaliert, ist eine offene Frage, die zu entscheiden wir nicht qualifiziert sind.
Wir behaupten auch nicht, unser Filter sei sicher. Er ist gerade gegen die Art von Veränderung voreingenommen, die am Ende am meisten zählt, und die Absicherung ist die Wiedervorlageliste — nicht irgendeine Zuversicht, einen Umbruch früh zu bemerken.