Engineering-Notizen
Seit 2023 dokumentieren wir hier, was in KI-Systemen wirklich funktioniert — mit Zahlen, Quellen und ehrlichen Grenzen.
Agentische Workflows ersetzen das einmalige Prompting durch iterative Schleifen: Reflexion, Tool-Nutzung, Planung und Multi-Agenten-Kollaboration. Wir prüfen die gemessenen Zugewinne hinter jedem Muster — von den HumanEval-Ergebnissen des Reflexion-Papers bis zu Devins SWE-bench-Wert — benennen, was die Techniken nicht leisten, und plädieren dafür, mit der einfachsten Schleife zu beginnen, die eine Evaluation verifizieren kann.
Anthropics Claude-3-Familie — Opus, Sonnet und Haiku — ersetzt das Einheitsmodell durch ein gestaffeltes Portfolio: eine API, drei Preispunkte, Bildeingabe und 200K Kontext auf allen Stufen. Wir ordnen die verifizierten Startzahlen ein, benennen die Kompromisse und skizzieren ein Routing-Muster, das jeder Arbeitslast das günstigste Modell zuweist, das ihre Evaluation besteht.
Googles Gemini 1.5 Pro verarbeitet bis zu einer Million Token Kontext. Macht das Retrieval-Augmented Generation überflüssig? Wir rechnen nach: Kosten pro Anfrage, Latenz, Multi-Needle-Recall, Aktualität und Zugriffskontrolle. Das Fazit vom Februar 2024: Langer Kontext verändert den Bau von Retrieval-Pipelines — er ersetzt sie nicht.
OpenAIs text-embedding-3-Modelle vom 25. Januar 2024 erlauben das Kürzen von Vektoren über einen dimensions-Parameter. Wir erklären die Technik dahinter — Matryoshka Representation Learning —, prüfen die Benchmark-Zahlen, rechnen die Speicherersparnis im Maßstab durch und zeigen, warum die Migration von ada-002 dennoch eine vollständige Neu-Einbettung des Korpus bedeutet.
Eine Feldtaxonomie der RAG-Fehlerklassen mit Stand Januar 2024: Retrieval-Misses, veraltete Indizes, der Lost-in-the-Middle-Effekt und Citation Drift. Wir definieren jede Fehlerklasse, belegen sie mit Messungen aus der Literatur und begründen, warum Retrieval und Generierung als getrennte Systeme evaluiert werden müssen — Recall@k auf der einen, Faithfulness-Metriken auf der anderen Seite.
JSON Mode vom OpenAI DevDay 2023, Function Calling als Schema-Vertrag, grammatikbeschränktes Decoding mit Outlines und llama.cpp sowie Validation-First-Pipelines auf Basis von Pydantic v2. Ein Überblick über Structured-Output-Techniken im Januar 2024: was jede Methode garantiert, was keine von ihnen garantiert und warum Struktur das Parsen von Prosa schlägt.
Google hat am 6. Dezember 2023 Gemini 1.0 in drei Größen angekündigt: Ultra, Pro und Nano. Wir trennen gelieferte Fähigkeiten von Marketing — Benchmark-Methodik und das geschnittene Demo-Video — und ordnen ein, was ein zweiter Frontier-Anbieter für Entwickler bedeutet: Routing-Strategien, anbieterneutrale Schnittstellen und aufgabenbezogene Evals statt Single-Vendor-Wetten.
Reine Vektorsuche scheitert an Artikelnummern, Fehlercodes und anderen exakten Bezeichnern. Wir erklären warum, definieren BM25 und Dense Retrieval präzise, zeigen wie Reciprocal Rank Fusion beide Verfahren ohne Score-Normalisierung kombiniert und ordnen die gemessenen Gewinne hybrider Suche sowie früher Reranker wie Cohere Rerank ein — mit Zahlen aus Benchmarks des Jahres 2023.
Am 6. November 2023 kündigte OpenAI GPT-4 Turbo mit 128K-Kontextfenster, die Assistants API mit Retrieval und Code Interpreter sowie GPTs an. Wir fassen die belegten Zahlen, die neuen API-Primitive und die konkreten Grenzen zusammen — und benennen, was in Ihrer Verantwortung bleibt: Evaluation, Data Governance, Kostenkontrolle und Anbieterrisiko.
Warum Demos und Bauchgefühl keine Evaluationsstrategie für LLM-Anwendungen sind. Wir behandeln goldene Testsets, modellgestützte Bewertung mit GPT-4 als Judge, die von Zheng et al. 2023 quantifizierten Positions- und Verbositätsverzerrungen sowie einen gestaffelten Evaluationsstack für die CI — einschließlich dessen, was jede Technik nicht misst.
OpenAI hat am 22. August 2023 das Fine-Tuning für GPT-3.5 Turbo freigegeben. Wir definieren, was Fine-Tuning tatsächlich verbessert — Ausgabeformat, Ton, eng umrissene Aufgaben — und was nicht: Wissen hinzufügen. Mit der Preisliste vom Oktober 2023 rechnen wir Trainingskosten, den achtfachen Inferenzaufschlag und den Break-even durch und zeigen, warum Retrieval-Augmented Generation der richtige Kanal für Fakten bleibt.
Im Frühjahr 2023 wurden autonome Agenten berühmt: AutoGPT sammelte in Wochen 74.000 GitHub-Sterne, BabyAGI passte in 140 Zeilen Python. Sechs Monate später läuft kaum einer produktiv. Wir erklären das ReAct-Muster hinter dem Hype, beziffern Endlosschleifen und Kosten und beschreiben die begrenzte Tool-Schleife, die funktioniert: Budgets, Schemata, Kontrollpunkte.