Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Ein Kunde fragte nach seinem Anteil an unseren Modellkosten, und wir konnten nicht antworten: eine Rechnung, keine Zuordnung. Das Gateway kostete eine Woche und hat sich vierfach bezahlt gemacht — vor allem dadurch, dass ein Modellwechsel Konfiguration wurde statt einer Änderung an elf Stellen. Was es festhält, was es ablehnt, und was es nie werden darf.
Ein gemeinsamer Antwort-Cache senkte die Kosten um rund ein Fünftel und funktionierte wie entworfen. Er bedeutete aber auch, dass eine schnelle Antwort verriet, dass jemand anderes kürzlich Ähnliches gefragt hatte — bei einer Plattform mit konkurrierenden Unternehmen eine Offenlegung, der niemand zugestimmt hat. Wo wir heute cachen und welcher Zeitkanal auch dann bleibt.
Die Hälfte unserer Nutzer fragt auf Deutsch gegen englische Dokumentation, und lange sah dieser Fehler nach schlechter Abdeckung aus statt nach einem Sprachproblem. Wir haben vier Wege gemessen: Fragen übersetzen, Dokumente übersetzen, beides indexieren, mehrsprachige Embeddings. Der naheliegende wurde Dritter, und der Sieger hängt an etwas, das die meisten Vergleiche weglassen.
Seit ihrer Veröffentlichung am 12. September 2024 tauschen OpenAIs o1-preview und o1-mini Latenz und Kosten gegen Genauigkeit: Rechenzeit fließt zur Inferenz in verborgene Reasoning-Tokens. Wir untersuchen, wo trainiertes Schlussfolgern hilft — Mathematik, Code, Planung —, was es kostet, warum die Gedankenkette verborgen bleibt und was Test-Time Compute für die Praxis bedeutet.
Ein Kontextfenster ist Arbeitsgedächtnis, kein dauerhaftes Gedächtnis. Dieser Artikel trennt beide Begriffe und beschreibt die drei Mechanismen, die 2024 produktiv im Einsatz sind — Gesprächszusammenfassungen, Vektorgedächtnis und strukturierter Zustand — samt ihrer Fehlermodi. Dazu: warum gezieltes Vergessen die Korrektheit verbessert und welche Grenzen die DSGVO persistentem Agentengedächtnis setzt.
Wir trainieren keine Modelle, also hatten wir Trainingsrisiken als nicht unser Problem abgelegt. Eine Bestandsaufnahme fand elf Modell- und Embedding-Artefakte aus öffentlichen Registries in Systemen, die wir betreiben — bei vieren konnten wir die Herkunft benennen. Was wir festnageln, was wir spiegeln, warum ein Hash die billigste Kontrolle ist, und die ehrliche Grenze.
Ein Werkzeugaufruf bestand jede Prüfung: gültiges JSON, richtige Feldnamen, passende Typen — und eine Auftragsnummer, die es nie gab. Form und Referenz sind zwei verschiedene Fragen, und nur eine wurde gestellt. Was wir heute prüfen, bevor ein Aufruf den Prozess verlässt, warum wir das blinde Wiederholen abgeschafft haben, und das Argument, das kein Schema fangen kann.
Ein Schritt einer neunstufigen Pipeline scheiterte, und die naheliegende Behebung wäre ein größeres Modell für alles gewesen. Snell und Kollegen zeigen, dass mehr Rechenzeit bei der Ausführung mehr bringen kann als mehr Modellgröße. Wir haben sie in einen Schritt gesteckt: drei Kandidatenpläne, je eine deterministische Prüfung, der erste gültige gewinnt — für rund drei Prozent der Kosten eines System-Upgrades.
Anthropics Prompt-Caching-Beta verändert die Kostenstruktur langer Prompts: Cache-Schreibvorgänge kosten 25 Prozent mehr als Basis-Input-Tokens, Cache-Lesevorgänge 90 Prozent weniger. Wir rechnen Preise und Break-even durch, benennen die Grenzen der fünfminütigen TTL und zeigen, was die Zahlen für RAG-Pipelines und Agenten-Loops bedeuten.
Alle paar Monate fragt jemand, ob lange Kontextfenster Retrieval überflüssig machen. Das ist eine Rechenfrage. Bei einem unserer Bestände passt alles hinein, und wir legen es hinein; bei einem anderen hätte es je Frage das Vierzigfache gekostet — für einen Qualitätsunterschied, den wir nicht messen konnten. Die drei Eigenschaften, die es entscheiden, und die Mischform dazwischen.
Seit Juni 2024 ersetzt ColPali die OCR-Parsing-Pipeline durch direktes Einbetten von Seitenbildern. Wir erklären den Late-Interaction-Mechanismus aus ColBERT, die ViDoRe-Ergebnisse — 81,3 gegenüber 66,1 nDCG@5 — sowie die Speicher- und Skalierungskompromisse und ordnen ein, wo visuelles Retrieval in produktiven RAG-Systemen im Juli 2024 steht.
Ein Lieferant kopierte eine Notiz für einen Kollegen in die Fußzeile eines Lieferscheins, unser Extraktionsschritt las sie als Anweisung und befolgte sie. Es brauchte nichts Böswilliges, um zu zeigen, dass wir keine Grenze zwischen Inhalt und Befehl hatten. Was wir geändert haben, warum Musterfilter die schwächste der vier Maßnahmen sind, und welche wirklich hält.