Wir haben die Prompt-Techniken durchprobiert. Die meisten brachten nichts.
Eine Übersichtsarbeit jenes Juni zählte weit über fünfzig eigenständige Prompt-Techniken in der Literatur. Wir haben die elf genommen, die plausibel auf unsere Arbeit passen, und sie gegen dasselbe Referenzset laufen lassen. Die Ergebnisse waren langweiliger, als der Katalog vermuten lässt — und die Langeweile ist der nützliche Teil.
Der Katalog und die Frage
Schulhoff und Kollegen veröffentlichten in jenem Juni eine systematische Übersicht zum Prompt Engineering, die Terminologie und eine Taxonomie über eine große Zahl von Arbeiten zusammenträgt und Dutzende eigenständig benannte Techniken für textbasiertes Prompting katalogisiert.
Die Lektüre warf eine naheliegende und leicht unangenehme Frage auf. Wir setzen vielleicht vier davon bewusst ein. Verschenken wir Qualität, oder handelt der größte Teil dieses Katalogs von Aufgaben, die unseren nicht ähneln? Das ließ sich nur durch Ausprobieren klären.
Wie wir es durchgeführt haben
Zwei unserer Referenzsets: das Extraktionsset mit achtzig Fällen und ein Frage-Antwort-Set mit sechzig. Elf Techniken aus der Taxonomie, die plausibel passten, jede einmal umgesetzt, jede gegen beide Sets, alles andere unverändert.
Drei Läufe je Konfiguration, denn ein einzelner Lauf über sechzig Fälle hat genug Streuung, um ein Ergebnis zu erfinden. Dieses Detail wiegt schwerer als die Auswahl der Techniken: Ohne Wiederholungen hätten wir zwei der acht Nullergebnisse als Verbesserung gemeldet.
Was geholfen hat
Zwei Dinge. Dem Modell wenige durchgerechnete Beispiele zu geben, die der Eingabe ähneln, statt fester Beispiele, verbesserte die Extraktionsgenauigkeit durchgängig und um einen Abstand, der die Wiederholungen überstand.
Das Zweite war, vor der Antwort eine Begründung zu verlangen — allerdings nur beim Frage-Antwort-Set. Bei der Extraktion brachte es nichts, was passt: Extraktion ist Nachschlagen mit Formatierung, es gibt keine Zwischenüberlegung offenzulegen. Dass eine Technik bei einer Aufgabe wirkt und bei der anderen nicht, war das häufigste Muster.
| Technik | Wirkung auf unseren Sets |
|---|---|
| Ähnliche durchgerechnete Beispiele | Deutlicher Gewinn bei Extraktion |
| Begründung vor der Antwort | Gewinn bei Frage-Antwort, keiner bei Extraktion |
| Dem Modell eine Rolle zuweisen | Messbar schlechter bei Extraktion |
| Selbstkritik und Überarbeitung | Keine messbare Änderung, doppelte Kosten |
| Emotionale oder dringliche Rahmung | Keine messbare Änderung |
| Die Frage zuerst wiederholen lassen | Keine messbare Änderung |
Die eine, die geschadet hat
Dem Modell zu sagen, es sei ein erfahrener Logistiksachbearbeiter, machte die Extraktion schlechter. Nicht dramatisch, aber durchgängig über die Wiederholungen und bei beiden Dokumenttypen. Unsere Lesart: Eine Rolle drängt zu plausibel wirkender Fachausgabe, und plausibel ist genau der falsche Druck, wenn das richtige Verhalten wäre, ein fehlendes Feld leer zu lassen.
Wir führen das an, weil Rollenzuweisung zu den am häufigsten wiederholten Prompt-Ratschlägen gehört und die einzige Technik in unserem Durchlauf war, die eine Zahl in die falsche Richtung bewegte. Das ist eine Messung auf unseren Aufgaben, keine Widerlegung — aber genug, dass wir es gelassen haben.
Was die Nullergebnisse wert sind
Acht von elf brachten keine messbare Änderung. Das ist ein echtes Ergebnis, und wir behandeln es als solches: Diese Techniken sind nicht dort, wo unsere restliche Qualität liegt, und Zeit für ihre Feinjustierung ist Zeit, die nicht in Retrieval oder Schema fließt — dort kamen unsere messbaren Gewinne her.
Es heißt auch, dass wir sie in Gesprächen ohne Schulterzucken ablehnen können. Fragt jemand, warum wir eine Technik nicht nutzen, lautet die Antwort: Wir haben sie auf unserem Set laufen lassen, sie bewegte nichts, hier ist die Zahl. Das ist eine deutlich bessere Antwort als eine Vorliebe.
Warum ein Katalog trotzdem nützt
Eine solche Übersicht ist eine Liste von Dingen zum Testen, keine Liste von Dingen zum Übernehmen. Ihr Wert liegt darin, dass sie Techniken präzise genug benennt, damit zwei Entwickler dasselbe meinen, und dass sie Abdeckung sichtbar macht: Wir konnten sehen, welche Teile des Raums wir nie ausprobiert hatten.
Genau daher kamen die zwei, die wir übernommen haben. Keine davon war uns als Idee neu, und keine wäre priorisiert worden ohne eine Taxonomie, die zeigte, dass wir eine Ecke des Raums abgetastet und das Prompt Engineering genannt hatten.
Was wir anders machen würden
Früher und auf kleineren Sets laufen lassen. Der ganze Durchlauf kostete etwa drei Tage inklusive Umsetzung, und über mehrere dieser Techniken hatten wir informell weit länger diskutiert. Die Messung war billiger als das Gespräch, das sie ersetzte.
Wir würden außerdem beim nächsten Mal zuerst den Prompt aufräumen. Zwei unserer Nullergebnisse sind verdächtig, weil der Ausgangsprompt eigene Anweisungen angesammelt hatte — und eine Technik kann keinen Effekt zeigen, den der Ausgangszustand schon anderweitig abdeckt.
Was wir nicht behaupten
Wir behaupten nicht, diese Techniken funktionierten nicht. Wir behaupten, sie bewegten unsere zwei Aufgaben nicht, die schmal, schemagebunden und retrieval-gestützt sind. Eine Übersicht über ein breites Aufgabenspektrum berichtet Gewinne, die unsere Sets gar nicht zeigen können — das ist eine Grenze unserer Messung, nicht der Techniken.
Wir behaupten auch nicht, elf sei gründlich. Wir haben die plausibel passenden gewählt, und das ist ein Urteil, das leicht ausgerechnet die übersprungen haben könnte, die am meisten gebracht hätte.