Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Wir haben ein 7B-Modell als Übergangslösung für einen Klassifikationsschritt eingesetzt und nie ersetzt. Nicht weil kleine Modelle aufgeholt hätten, sondern weil wir den Schritt endlich so zugeschnitten haben, dass seine Schwierigkeit zum Modell passt. Wie dieser Zuschnitt aussieht, wo wir ohne Zögern ein großes Modell nehmen, und welche Messung den Streit entscheidet.
Am 22. August 2023 gab OpenAI das Fine-Tuning für GPT-3.5 Turbo frei. Wir definieren, was Fine-Tuning tatsächlich verbessert — Ausgabeformat, Ton, eng umrissene Aufgaben — und was nicht: Wissen hinzufügen. Mit der Preisliste vom Oktober 2023 rechnen wir Trainingskosten, den achtfachen Inferenzaufschlag und den Break-even durch und zeigen, warum Retrieval-Augmented Generation der richtige Kanal für Fakten bleibt.
Bei jeder Anfrage abzurufen machte unseren Assistenten bei den leichten Fragen schlechter: drei lose verwandte Auszüge und eine Relativierung, wo ein Satz gereicht hätte. Wo wir die Abrufentscheidung hinlegen, warum wir sie in der Pipeline behalten statt sie ins Modell zu trainieren, und welche zwei Signale sie gut genug vorhersagen.
Autonome Agenten erlebten im Frühjahr 2023 einen Höhenflug: AutoGPT sammelte in Wochen 74.000 GitHub-Sterne, BabyAGI passte in 140 Zeilen Python. Sechs Monate später läuft kaum einer produktiv. Wir erklären das ReAct-Muster hinter dem Hype, beziffern Endlosschleifen und Kosten und beschreiben die begrenzte Tool-Schleife, die funktioniert: Budgets, Schemata, Kontrollpunkte.
Sechs Wochen lang stieg unser Treue-Wert, und die Supportanfragen stiegen mit. Die automatische RAG-Bewertung war nicht kaputt, sie beantwortete eine engere Frage als gedacht. Was referenzfreie Metriken wirklich fangen, welchen Fehler sie bauartbedingt nicht sehen, und welche günstige menschliche Prüfung wir seitdem darunterlegen.
Prompt Injection ist ein Jahr nach der Benennung durch Simon Willison weiterhin ungelöst. Wir definieren direkte und indirekte Injection, erklären, warum Retrieval-Augmented Generation und Tool-Nutzung die Angriffsfläche vergrößern, prüfen die im September 2023 verfügbaren Mitigationen und benennen offen, was jede einzelne nicht leistet. Eine vollständige Lösung existiert nicht.
Ein Kunde wollte ein feinabgestimmtes Modell für Fakten, die sich wöchentlich änderten. Wir haben Retrieval gebaut und erklärt, warum ein Trainingslauf eine Momentaufnahme mit Haltbarkeit ist. Die Regel, nach der wir entscheiden, die zwei Fälle wo Abstimmung wirklich richtig ist, und was die Ära der günstigen Feinabstimmung am Gespräch geändert hat.
Chunking bestimmt, was ein Document-QA-System überhaupt finden kann. Wir stellen Fixed-Size- und rekursives Splitting gegenüber, quantifizieren die Trade-offs von Chunk-Größe und Overlap gegen die Kontextfenster von 2023 und erklären, warum Metadaten Pflicht sind. Mit verifizierten Zahlen von Pinecone, OpenAI und dem Lost-in-the-Middle-Paper — und einem Ausblick vom September 2023.
Jenseits von dreißig Werkzeugen wählte unser Agent plausibel falsche, und keine Prompt-Arbeit half. Die Kürzung auf neun schon. Warum wir Werkzeugkästen nach Aufgabe statt nach System schneiden, was uns das an Routing kostet und warum die Forschungsrichtung, Modellen tausende APIs beizubringen, woanders hinzielt als die meisten Produkte müssen.
Unternehmen für Vektordatenbanken nahmen allein im Frühjahr 2023 mehr als 160 Millionen Dollar auf. Wir erklären, was Approximate-Nearest-Neighbor-Suche tatsächlich leistet, wie der HNSW-Index funktioniert und warum Postgres mit dem heute erschienenen pgvector 0.5.0 oft ausreicht — samt konkreter Kriterien, wann sich ein dediziertes System wirklich lohnt.
Zwei Agenten im Gespräch lösten die Aufgabe in der Demo und waren im Betrieb nicht mehr zu debuggen: kein Schritt zum Draufzeigen, kein Zustand zum Nachsehen, keine Antwort auf die Frage warum. Was wir vom Konversationsmuster behalten haben, was wir durch einen Zustandsautomaten ersetzt haben und wo wir Agenten weiterhin frei verhandeln lassen.
Ein Agent mit guten Benchmark-Werten scheiterte im dritten von fünf Prozessschritten, auf eine Art, nach der kein Benchmark gefragt hatte. Warum wir Agenten-Benchmarks als Filter statt als Entscheidung behandeln, wie ein Journey-Test stattdessen aussieht und warum sich das simulierte Gegenstück wirklich rechnet.