Vierzigtausend Tickets, zweitausend brauchbar
Das Archiv war das Kapital, so nahmen jedenfalls alle an. Vierzigtausend gelöste Tickets über sechs Jahre und ein naheliegender Plan, alles davon zu nutzen. Die Fassung, die auf zweitausend davon aufsetzte, war besser — und das zu erklären dauerte länger, als sie zu bauen.
Das Kapital, das alle annahmen
Sechs Jahre gelöster Support-Tickets, jedes mit einer Kundenfrage und einer Mitarbeiterantwort. Es ist die Art Archiv, die ein Projekt leicht aussehen lässt: die Fragen, die Nutzer stellen, und die Antworten, die funktioniert haben, bereits gepaart, bereits in der Fachsprache.
Die erste Fassung indexierte alles davon. Sie antwortete flüssig, sie antwortete selbstsicher, und eine Prüfung durch zwei erfahrene Mitarbeiter ergab, dass etwa jede sechste Antwort auf eine Weise falsch war, die einen Rückruf ausgelöst hätte.
Was tatsächlich im Archiv stand
Auskünfte, die 2019 richtig waren und heute falsch sind. Antworten zu einer Produktkonfiguration, die es nicht mehr gibt. Mitarbeiter, die höflich und plausibel raten, wie Menschen es tun, wenn ein Kunde wartet. Tickets, die mit dem Vermerk geschlossen wurden, der Kunde habe stattdessen angerufen.
Nichts davon ist eine Kritik am Support-Team. Es ist, was ein Support-Archiv ist: eine Aufzeichnung von Gesprächen, kein gepflegter Wissensbestand. Wir hatten ein Protokoll als Wissensbasis behandelt — derselbe Kategorienfehler wie ein Gesprächsprotokoll als Faktenverzeichnis zu lesen.
Wonach wir gefiltert haben
Vier Regeln, alle bewusst grob. Das Ticket muss als gelöst geschlossen sein, nicht als ohne Rückmeldung. Die Antwort muss mindestens zwei Sätze haben, was die aussortiert, die auf ein Telefonat verweisen. Das genannte Produkt oder Bauteil muss noch existieren. Und die Antwort darf nicht durch eine spätere dokumentierte Änderung überholt sein.
Die letzte Regel leistete die meiste Arbeit und brauchte dafür die Änderungshistorie des Kunden. Sie lässt sich auch nicht durch Aktualität ersetzen: Eine vier Jahre alte Antwort zu einem stabilen Bauteil ist in Ordnung, eine sechs Monate alte zu einem letzten Monat geänderten Bauteil nicht.
| Behalten | Verworfen |
|---|---|
| Gelöst, mit inhaltlicher schriftlicher Antwort | Ohne Rückmeldung oder telefonisch geschlossen |
| Nennt ein noch existierendes Bauteil | Zu einer eingestellten Konfiguration |
| Nicht durch spätere Änderung widerlegt | Überholte Auskunft, gleich welchen Alters |
| Für die größten Cluster fachlich geprüft | Alles andere, aufgelistet und einsehbar |
Die Forschung, die es eingeordnet hat
Li und Kollegen veröffentlichten in jenem Monat DataComp-LM, einen Benchmark, bei dem das Trainingsverfahren festgehalten wird und der Datensatz die Variable ist, sodass sich Filter- und Kuratierungsstrategien direkt gegeneinander vergleichen lassen.
Übernommen haben wir den Gedanken, die Methode konstant zu halten und die Daten zu variieren. Wir hatten Retrieval-Einstellungen gegen einen festen Bestand verglichen, während der Bestand der größte verfügbare Hebel war — und schlicht umzudrehen, welche Seite wir als fest behandeln, änderte, womit wir die nächsten zwei Wochen verbrachten.
Was sich in den Zahlen geändert hat
Falsche Antworten auf dem Prüfset fielen von etwa jeder sechsten auf etwa jede fünfundzwanzigste. Die Abdeckung fiel ebenfalls: Das gefilterte System hatte zu einer Reihe von Fragen nichts zu sagen, die das volle Archiv beantwortet hätte, und etwa die Hälfte davon war zuvor richtig beantwortet worden.
Wir haben diesen Handel angenommen, weil die Fehlerarten nicht symmetrisch sind. Eine an einen Menschen weitergeleitete Frage kostet ein paar Minuten. Eine selbstsichere Antwort, die eine vor zwei Jahren geänderte Regelung zitiert, kostet einen Rückruf, eine Korrektur und etwas Vertrauen.
Das Verwerfen prüfbar machen
Dem Kunden war verständlicherweise unwohl dabei, fünfundneunzig Prozent seines Archivs zu verwerfen. Der Filter ist deshalb keine Blackbox: Jedes ausgeschlossene Ticket trägt die Regel, die es ausgeschlossen hat, und die Zahlen je Regel stehen auf einer Seite, die er ansehen kann.
Das machte aus einem Streit eine Prüfung. Er sah sich die größte Ausschlussgruppe an, widersprach einer Regel, und wir haben sie geändert — was rund vierhundert Tickets zurückbrachte. Ein Filter, den jemand einsehen und bestreiten kann, ist ein anderes Ding als einer, der nur eine kleinere Zahl erzeugt.
Was mit dem Rest passiert
Er wird nicht gelöscht, und darauf legen wir Wert. Das vollständige Archiv bleibt für Mitarbeiter durchsuchbar, die eine überholte Antwort lesen und den Zusammenhang darum verstehen können. Geändert hat sich, dass es den automatisierten Assistenten nicht speist.
Diese Unterscheidung löste das meiste Unbehagen. Niemand wollte sechs Jahre Arbeit wegwerfen; der Vorschlag war, dass ein Protokoll vergangener Gespräche die falsche Eingabe für ein System ist, das mit Kunden spricht, als wäre es maßgeblich.
Was wir nicht behaupten
Wir behaupten nicht, fünf Prozent sei ein brauchbares Verhältnis. Es ist, was vier Regeln auf einem Archiv ergaben, und eine gepflegte Wissensbasis behielte fast alles von sich. Die Zahl sagt etwas über dieses Archiv, nicht über Support-Archive.
Wir behaupten auch nicht, unser Filter sei richtig. Er kodiert eine Auffassung davon, was eine Antwort brauchbar macht, diese Auffassung wurde einmal bestritten und geändert, und sie wird wieder falsch sein — auf Weisen, die wir an den Fragen merken werden, die er nicht beantwortet.