Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Einen fremden Werkzeugserver einzubinden dauert eine Minute — der Wert einer Standardschnittstelle und der Grund, warum niemand prüft, was er einbindet. Eine Werkzeugbeschreibung ist Text, den das Modell liest und dem es folgt: also ebenso Eingabekanal wie Fähigkeit. Was wir vor dem Betrieb prüfen, was wir rundheraus ablehnen, und warum die Zugangsdaten schwerer wiegen als der Code.
Vektorspeicher war bei zweihunderttausend Chunks ein Rundungsfehler und bei vier Millionen eine eigene Position — weil er mit dem Bestand wächst, nicht mit der Nutzung. Quantisierung senkte den Speicher um rund drei Viertel, zu einem messbaren und vertretbaren Qualitätspreis. Was wir vorher gemessen haben, die zweistufige Anordnung am Ende, und die billigere Behebung, die zuerst gehört hätte.
Manus startete im März 2025 mit viralen Demos und State-of-the-Art-Behauptungen auf GAIA. Der Beitrag vergleicht die Eigenangaben mit den ersten unabhängigen Tests, zeigt, was der Benchmark nicht misst, und begründet, warum begrenzte Agenten mit Freigabeschritten heute produktiv laufen — allgemeine Autonomie noch nicht.
Wir haben Namen, Adressen und Kundennummern entfernt, bevor Tickets an ein gehostetes Modell gingen — ein Kollege erkannte den Kunden am Rest in etwa zehn Sekunden. Direkte Kennzeichen sind die leichte Hälfte. Was wir geändert haben, nachdem wir akzeptiert hatten, dass Schwärzen die Preisgabe begrenzt statt sie zu beseitigen, und wo wir gar keine Daten mehr senden.
Wer nach Feintuning fragt, meint das antwortende Modell. In den zwei Projekten, in denen Training auf Kundendaten sich gelohnt hat, war es der Retriever: deutlich billiger, deutlich kleiner und auf den Fehler gerichtet, der uns wirklich kostete — die falsche Passage zu finden, nicht über die richtige schlecht zu schreiben. Was die Trainingsdaten leisten müssen und welche Pflege niemand erwähnt.
Acht Kundensysteme, je ein Nachmittag. Keines fiel als hochriskant aus, das war der langweilige Teil. Nützlich war, dass das Aufschreiben — was ein System tut, was es entscheidet, was ein Mensch entscheidet — Fragen erzwang, die unsere Entwurfsprüfungen nie gestellt hatten. Zwei Systeme haben sich dadurch geändert. Und warum wir deutlich sagen, dass dies keine Rechtsberatung ist.
Unser Ansatz für LLM-Guardrails nutzt Anfang 2025 mehrschichtige Policies mit bekannten Fehlerraten, PII-Redaktion mit Presidio, Output-Filterung mit Llama Guard 3 und Moderations-APIs, menschliche Freigaben für irreversible Aktionen sowie Guardrails als versionierter Code mit Angriffs-, Gutfall- und Regressionstests in der CI — ehrlich abgegrenzt, was jede Schicht nicht leistet.
Beim vierten Adapter, damit ein Modell ein Auftragssystem abfragen kann, dauerte es zwei Tage und sah aus wie die drei davor. Eine Standardschnittstelle beseitigte die Doppelarbeit und verschob die verbleibende Arbeit dorthin, wo sie hingehört: zu entscheiden, was ein Werkzeug überhaupt anbieten soll. Was wir vereinheitlicht haben, was bewusst nicht, und die Sicherheitseigenschaft, die dadurch leichter zu benennen und leichter zu verfehlen ist.
Wir haben alle neun Schritte einer Pipeline gegen ein Modell laufen lassen, das vor der Antwort nachdenkt. Zwei wurden klar besser, sechs blieben gleich, einer wurde messbar schlechter. Das Muster ist nicht Schwierigkeit, sondern ob ein Schritt überhaupt eine Zwischenentscheidung hat. Dazu der häufigste Irrtum: Die sichtbare Gedankenkette liest sich wie eine Begründung und taugt nicht als Prüfpfad.
Deep-Research-Agenten verbringen Minuten mit Planung, Recherche und Synthese, statt in einem Schritt zu antworten. Wir definieren das Muster, betrachten Googles Gemini Deep Research vom Dezember 2024 und quantifizieren die Schwachstelle Zitationsqualität. Gemessene Referenzwerte zeigen, warum die Prüfpflicht beim Leser bleibt — und was das für Engineering-Teams bedeutet.
Zwei Prozent der Extraktionen ließen sich nicht parsen, eine Wiederholung behob es, und das sah gelöst aus. Die Erzeugung an die Grammatik zu binden beseitigte die Fehler — und zeigte, was die Wiederholungen verdeckt hatten: Gerade die nicht parsbaren Dokumente waren die, bei denen der Schritt inhaltlich danebenlag. Wo wir binden, wo es schadet, und warum gültig nicht richtig heißt.
Klassisches RAG ruft einmal ab und generiert einmal. Agentisches RAG lässt das Modell dagegen Anfragen zerlegen, iterativ suchen und den eigenen Kontext kritisieren. Wir definieren das Muster, fassen die Evidenz aus IRCoT, Self-RAG und CRAG zusammen, benennen die Fälle, in denen eine Retrieval-Schleife den Einzelabruf schlägt, und zeigen, wie die Kosten von Schleifen begrenzt bleiben.