Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Vierhundert modellerzeugte Testfälle ließen unsere Suite gründlich aussehen und maßen fast nichts: Sie stimmten dem System zu, weil sie demselben Aufgabenverständnis entstammten. Wo modellerzeugte Daten sich wirklich lohnen, welche Linie wir zwischen erzeugter Eingabe und erwarteter Antwort ziehen, und was ein Prüfer leisten muss, damit Selbsttraining etwas bedeutet.
Vier Fehlerklassen strukturieren diese RAG-Taxonomie vom Januar 2024: Retrieval-Misses, veraltete Indizes, der Lost-in-the-Middle-Effekt und Citation Drift. Wir definieren jede Fehlerklasse, belegen sie mit Messungen aus der Literatur und begründen, warum Retrieval und Generierung als getrennte Systeme evaluiert werden müssen — Recall@k auf der einen, Faithfulness-Metriken auf der anderen Seite.
Alle paar Monate fragt ein Kunde, ob er das Modell selbst betreiben soll, und fast nie wegen der Leistungsfähigkeit. Offene Gewichte auf Augenhöhe haben eine Beschaffungsfrage verändert, keine technische. Die vier Punkte, die wir abwägen, was Eigenbetrieb wirklich kostet, sobald jemand dafür Rufbereitschaft hat, und die zwei Fälle, in denen wir ohne Zögern dazu raten.
Dieser Überblick vom Januar 2024 vergleicht JSON Mode vom OpenAI DevDay 2023, Function Calling als Schema-Vertrag, grammatikbeschränktes Decoding mit Outlines und llama.cpp sowie Validation-First-Pipelines auf Basis von Pydantic v2. Er zeigt, was jede Methode garantiert, was keine von ihnen garantiert und warum Struktur das Parsen von Prosa schlägt.
Referenz-Pipelines zeigen acht oder neun Stufen. Unsere hat vier, und zwei davon existieren nur, weil ein konkreter Fehler sie erzwungen hat. Eine Übersichtsarbeit aus jenem Dezember gab dem Namen, was wir eher zufällig zusammengebaut hatten — und machte damit sagbar, was wir bewusst weggelassen haben.
Am 6. Dezember 2023 kündigte Google Gemini 1.0 in drei Größen an: Ultra, Pro und Nano. Wir trennen gelieferte Fähigkeiten von Marketing — Benchmark-Methodik und das geschnittene Demo-Video — und ordnen ein, was ein zweiter Frontier-Anbieter für Entwickler bedeutet: Routing-Strategien, anbieterneutrale Schnittstellen und aufgabenbezogene Evals statt Single-Vendor-Wetten.
Ein Kunde bat uns, einen Schritt zu automatisieren, den seine Mitarbeiter in vierzig Sekunden erledigen. Wir haben abgelehnt, denn kurz heißt nicht einfach: Die Aufgabe stützte sich auf Kontext, den es in keinem für einen Assistenten erreichbaren System gibt. Die drei Prüfungen vor jeder Automatisierungszusage und warum unsere Ablehnungsliste länger geworden ist.
Reine Vektorsuche scheitert an Artikelnummern, Fehlercodes und anderen exakten Bezeichnern. Wir erklären den strukturellen Grund, definieren BM25 und Dense Retrieval präzise, zeigen wie Reciprocal Rank Fusion beide Verfahren ohne Score-Normalisierung kombiniert und ordnen die gemessenen Gewinne hybrider Suche sowie früher Reranker wie Cohere Rerank ein — mit Zahlen aus Benchmarks des Jahres 2023.
Unser System-Prompt war auf neunhundert Wörter angewachsen, zusammengetragen von sechs Personen über vier Monate, jede Zeile aus einem Grund ergänzt und kein Grund notiert. Niemand löschte etwas, weil niemand die Folgen vorhersagen konnte. Wie wir Prompts prüfbar gemacht haben, was ein Test je Anweisung verändert hat und welche zweihundert Wörter nichts bewirkten.
Auf dem DevDay am 6. November 2023 kündigte OpenAI GPT-4 Turbo mit 128K-Kontextfenster, die Assistants API mit Retrieval und Code Interpreter sowie GPTs an. Wir fassen die belegten Zahlen, die neuen API-Primitive und die konkreten Grenzen zusammen — und benennen, was in Ihrer Verantwortung bleibt: Evaluation, Data Governance, Kostenkontrolle und Anbieterrisiko.
Unser Assistent widersprach sich bei einem Liefertermin, den er sechs Minuten zuvor bestätigt hatte. Der Reflex ist ein größeres Fenster; geholfen hat, Entscheidungen im Moment ihres Entstehens in einen Speicher zu schreiben und sie als Fakten statt als Verlauf zurückzulesen. Was wir einlagern, was nie, und der Fehler, der die Regel unverhandelbar gemacht hat.
Demos und Bauchgefühl sind keine Evaluationsstrategie für LLM-Anwendungen. Wir behandeln goldene Testsets, modellgestützte Bewertung mit GPT-4 als Judge, die von Zheng et al. 2023 quantifizierten Positions- und Verbositätsverzerrungen sowie einen gestaffelten Evaluationsstack für die CI — einschließlich dessen, was jede Technik nicht misst.