Die Prüfung funktioniert, bis der Monat endet
Wir haben einen Menschen in den Ablauf gesetzt und das Problem für gelöst erklärt. Dann haben wir die Freigabequoten nach Monatstag ausgewertet und festgestellt, dass die Prüfung, auf die wir bauten, genau in der Zeit aufhörte zu wirken, in der Menge und Druck am höchsten waren.
Die Zahl, die es uns sagte
Extrahierte Datensätze, die eine Validierungsregel verfehlen, gehen in eine Prüfwarteschlange, in der eine Person bestätigt oder korrigiert. Den größten Teil des Monats änderten Prüfer an rund elf Prozent der geöffneten Datensätze etwas.
In den letzten vier Arbeitstagen des Monats fiel das auf unter drei Prozent, während sich die Menge in der Warteschlange etwa verdoppelte. Die Datensätze waren in dieser Zeit nicht besser. Wir haben später eine Stichprobe geprüft, und die Fehlerquote im Freigegebenen lag etwa viermal so hoch wie im übrigen Monat.
Was wir angenommen hatten
Dass eine menschliche Prüfung eine Konstante ist. Wir hatten die Pipeline darum herum entworfen: Alles Unsichere geht in die Prüfung, und die Prüfung fängt es. Diese Annahme steckt implizit in fast jedem Diagramm mit einem Menschen im Ablauf — auch in denen, die wir Kunden gezeichnet haben.
Sie ist keine Konstante. Sie ist eine Komponente mit Durchsatz, einer Ermüdungskurve und einer Abhängigkeit davon, wie viel Zeit der Prüfende zu haben glaubt — und nichts davon steht im Diagramm. Wir hatten die Menschen als unfehlbar und die Warteschlange als kostenlos modelliert.
Die Forschung, die dazu passt
Haduong und Kollegen veröffentlichten in jenem Oktober eine Untersuchung dazu, wie Leistungsdruck die Zusammenarbeit von Menschen mit KI-Unterstützung verändert, und prüfen, ob Druck Menschen eher dazu bringt, sich auf das System zu verlassen statt auf das eigene Urteil.
Wertvoll war für uns keine bestimmte Zahl, sondern die Neurahmung. Wie sehr sich jemand auf einen Assistenten verlässt, ist keine feste Eigenschaft der Person, sondern hängt von den Bedingungen ab — und damit ist eine für ruhige Bedingungen entworfene Prüfung nicht die Prüfung, die zum Monatsende läuft.
| Was wir geändert haben | Warum |
|---|---|
| Warteschlange je Prüfer und Stunde deckeln | Darüber fällt Qualität schneller als Menge |
| Einen Datensatz zeigen, keine Liste | Eine Liste lädt zum Freigeben im Block ein |
| Freigegebenes stichprobenhaft auditieren | Die einzige Art, den Fehler zu sehen |
| Nicht Dringendes später einplanen | Arbeit aus der Spitze nehmen, nicht durchdrücken |
Was wir an der Warteschlange geändert haben
Nicht die Menschen. Wir haben gedeckelt, wie viele Datensätze ein Prüfer je Stunde sieht; darüber hinaus wartet der Rest oder geht an jemand anderen. Das klingt, als bremse es das Monatsende, und das tut es — um einen Betrag, den wir beziffern können.
Wir haben außerdem die Listenansicht entfernt. Prüfer sehen heute einen Datensatz mit seinem Quelldokument und den nächsten erst nach einer Entscheidung. Die Liste hatte es möglich gemacht, vierzehn Datensätze in einer Minute freizugeben, was keine Prüfung ist — sie zu entfernen war die Einzeländerung mit der größten Wirkung.
Das Audit, das es sichtbar macht
Zwei Prozent der freigegebenen Datensätze werden von einer zweiten Person nachgeprüft, mit einer Stichprobe, die Zeiten hoher Menge übergewichtet. Das ist der einzige Mechanismus, der uns das Problem gezeigt hätte, und wir hatten ihn nicht — deshalb lief der Fehler monatelang, bevor jemand etwas merkte.
Die Auditquote ist bewusst klein und bewusst kein Geheimnis. Prüfer wissen, dass es sie gibt, und wissen, dass es nicht um sie persönlich geht; wir berichten die Summe statt personenbezogener Werte, denn die Alternative erzeugt sorgfältig aussehendes Verhalten statt sorgfältigen Verhaltens.
Was das über den Entwurf sagt
Trägt eine menschliche Prüfung Last, braucht sie dieselbe Behandlung wie jede andere Komponente: eine benannte Kapazität, Überwachung und ein definiertes Verhalten bei Überschreitung. Unsere hat heute alle drei, und das definierte Verhalten ist, dass Arbeit wartet, statt ungeprüft durchzugehen.
Dieses Prinzip hat eine unangenehme Folge. Eine Pipeline, deren Sicherheit an der Prüfung hängt, kann nicht mehr verarbeiten, als ihre Prüfer schaffen — der Durchsatz des automatisierten Teils ist also durch den menschlichen begrenzt. Wir sagen das heute im Entwurf, denn Kunden nehmen berechtigterweise an, Automatisierung hebe diese Grenze auf.
Die Alternative, gegen die wir uns entschieden haben
Wir hätten weniger in die Prüfung schicken können, indem wir die Validierungsregeln lockern, die Datensätze dorthin leiten. Das hätte die Warteschlange in der Spitze verkürzt und ist die falsche Richtung: weniger geprüfte Datensätze sind nicht dasselbe wie weniger prüfungsbedürftige.
Stattdessen haben wir den Prüfbedarf gesenkt, indem wir die Extraktionsfehler behoben haben, die die Warteschlange fing. Das dauerte länger und hat die Menge dauerhaft gesenkt: Die Warteschlange zum Monatsende ist heute rund vierzig Prozent dessen, was sie war — bei gleicher Dokumentenmenge.
Was wir nicht behaupten
Wir behaupten nicht, unsere Deckel seien richtig. Sie liegen dort, wo die Auditstichprobe keinen Unterschied mehr zeigte, gemessen an einem Team bei einer Art von Prüfung — eine andere Aufgabe hätte eine andere Kurve.
Wir behaupten auch nicht, dies sei eine Kritik an Prüfern. Sie taten genau das, was die Lage von ihnen verlangte, und der Fehler war unserer: Wir haben einen Prozess gebaut, der still voraussetzte, dass Menschen unabhängig von der Last gleich schnell arbeiten, und das Ergebnis dann als Qualitätsproblem behandelt.