Deutsche Fragen, englische Dokumente
Eine deutsche Frage nach einem Wartungsintervall holt keine englische Passage über ein maintenance interval, solange nichts in der Pipeline weiß, dass beides dasselbe ist. Lange wusste bei uns nichts davon, und der Fehler sah nach schlechter Abdeckung aus statt nach einem Sprachproblem.
Ein Fehler, der nach etwas anderem aussah
Unsere Support-Kennzahlen zeigten, dass deutschsprachige Gespräche etwa doppelt so oft an einen Menschen eskalierten wie englische. Die ersten Erklärungen, nach denen wir griffen, handelten von Formulierungen oder davon, dass deutsche Nutzer schwerere Fragen stellten — keine überlebte den Blick in die Protokolle.
Die tatsächliche Ursache war mechanisch. Die Dokumentation ist auf Englisch geschrieben, die Anfragen kommen auf Deutsch, und der Abrufschritt verglich Text mit Text auf eine Weise, die keinen Grund hat, die beiden Wortschätze zu verbinden.
Die vier Möglichkeiten
Die Anfrage vor der Suche ins Englische übersetzen. Die Dokumente ins Deutsche übersetzen und beide Sprachen indexieren. Den englischen Text indexieren, aber mit deutschen Metadaten und Überschriften. Oder ein Embedding-Modell nutzen, das beide Sprachen in einen gemeinsamen Raum legt.
Wir haben alle vier gegen dasselbe Referenzset gebaut, das dafür neu entstehen musste: sechzig deutsche Fragen mit der richtigen englischen Passage, markiert von jemandem, der beides beherrscht. Dieses Set zu erstellen dauerte länger als drei der vier Umsetzungen.
Was die Messungen sagten
Die Anfrage zu übersetzen funktionierte gut und wurde Dritter. Es ist einfach, günstig und scheitert genau an den Begriffen, auf die es ankommt: Produktnamen, Komposita, die schon halb englisch sind, und das Fachvokabular, wo ein Übersetzungsmodell das allgemeine Wort statt des technischen wählt.
Die Dokumente zu übersetzen erreichte die beste Retrieval-Qualität, und wir haben es nicht gewählt: Es verdoppelt den Bestand, verdoppelt die Kosten der Neuindexierung und schafft eine Pflegepflicht, bei der eine deutsche Passage still hinter ihr englisches Original zurückfallen kann.
| Ansatz | Ergebnis auf unserem Set |
|---|---|
| Anfrage übersetzen | Gut, scheitert an Fachbegriffen |
| Dokumente übersetzen | Bestes Retrieval, doppelte Pflege |
| Mehrsprachige Embeddings | Knapp Zweiter, kein Zusatzbestand |
| Nur deutsche Metadaten | Half bei Überschriften, nicht im Fließtext |
Was wir gewählt haben und warum
Ein mehrsprachiges Embedding-Modell, knapp hinter der Dokumentübersetzung und ohne deren laufende Kosten. Sturua und Kollegen veröffentlichten in jenem September jina-embeddings-v3, ein mehrsprachiges Modell mit aufgabenspezifischen Adaptern — stellvertretend für das, was damals praktikabel wurde.
Ausschlaggebend war nicht der Wert. Ausschlaggebend war, dass diese Option nichts zu pflegen hinzufügt: ein Bestand, ein Index, und die Sprachbehandlung sitzt in einer Komponente, die wir ohnehin gehabt hätten. Jede andere Option fügte ein Artefakt hinzu, das driften kann.
Der Teil, der weiterhin Behandlung braucht
Komposita. Deutsche Fachsprache erzeugt Begriffe, die im englischen Text als Einheit nirgends vorkommen, und wo ein Nutzer nach einer Wartungsintervallüberschreitung sucht, verteilt sich der nützliche Treffer über einen englischen Satz, statt sich in einer Wortgruppe zu bündeln.
Unser hybrider Index trägt das größtenteils, weil die Volltextseite Teilenummern und Typbezeichnungen trifft, die in beiden Sprachen identisch sind — und daran hängt ein Kompositum häufig. Das ist eine Teilantwort, und eine vollständige haben wir nicht gefunden.
Was wir Kunden zur Antwortsprache sagen
Die Antwort kommt in der Sprache der Frage und zitiert eine englische Quelle. Manche Kunden mögen das nicht und wünschen, auch die Quelle zu übersetzen — wovon wir abraten: Ein übersetztes Zitat ist unsere Übersetzung ihres Dokuments, dargeboten als ihr Dokument.
Stattdessen zeigt der Beleg die Originalpassage mit einer Übersetzung daneben, als unsere gekennzeichnet. Diese Unterscheidung hat zweimal in Streitfällen darüber gezählt, was ein Handbuch tatsächlich sagte — eine kleine Zahl, und beide Male war es der ganze Punkt.
Warum das nicht nur von Deutsch handelt
Dieselbe Messung gilt für jede Paarung, in der Anfragesprache und Dokumentsprache auseinandergehen, und der Punkt reicht über Sprache hinaus: Ein Retrieval-Fehler, der sich in einem Nutzersegment konzentriert, sieht üblicherweise nach einem Qualitätsproblem aus, bevor jemand auf die Idee kommt, die Kennzahl zu segmentieren.
Wir schlüsseln Retrieval-Qualität heute selbstverständlich nach Anfragesprache auf. Das hinzuzufügen kostete nichts und ist der Grund, warum wir es überhaupt gefunden haben — die Gesamtzahlen sahen die ganze Zeit annehmbar aus, in der die Hälfte unserer Nutzer schlecht bedient wurde.
Was wir nicht behaupten
Wir behaupten nicht, mehrsprachige Embeddings seien allgemein die richtige Antwort. Die Dokumentübersetzung schnitt besser ab, und für einen kleinen stabilen Bestand mit tragbarer Pflegelast ist sie eine vertretbare Wahl, die wir treffen würden.
Wir behaupten auch nicht, unser Set aus sechzig Fragen sei repräsentativ für deutsche Fachanfragen. Es ist eine Domäne, geschrieben von einer zweisprachigen Fachkraft, und sein Hauptverdienst ist, überhaupt zu existieren, wo wir vorher über das Problem nachdachten, ohne es zu messen.