Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Seit dem 18. April 2024 verkleinert Metas Llama 3 den Abstand zwischen offenen Gewichten und geschlossenen APIs. Wir betrachten die Benchmarks der 8B- und 70B-Modelle, die Wirkung von 4-Bit-Quantisierung auf die Hardwareanforderungen, die Auslastungsrechnung des Self-Hosting gegenüber API-Preisen und die datenschutzgebundenen Workloads, in denen nur ein offenes Modell in Frage kommt.
Der Scan war sauber, die Zeichenerkennung genau, und die extrahierten Daten waren falsch: Eine dreispaltige Tabelle von links nach rechts gelesen ergibt korrekte Wörter in einer Reihenfolge, die etwas anderes bedeutet. Wo wir heute das Bild statt des Textes schicken, warum wir die Texterkennung für die meisten Dokumente trotzdem behalten haben, und die eine Prüfung, die beide Wege unbeaufsichtigt betreibbar macht.
Seit dem 11. März 2024 behandelt Coheres Command R Grounded Generation als trainierte Fähigkeit statt als Prompt-Trick — mit Zitaten auf Span-Ebene, nativem Tool Use, 128k Kontext und offenen Forschungsgewichten. Wir analysieren, was ein RAG-getuntes Modell für Produktionssysteme ändert, was es nicht löst und wohin sich die Kategorie entwickelt.
Die Änderung war eine Zeile Konfiguration. Die Folge war ein Index, der einen Arbeitstag lang halb im alten und halb im neuen Vektorraum antwortete — mit einem Symptom, das nach Qualitätsproblem aussah. Warum Vektoren zweier Modelle gar nicht vergleichbar sind, das Doppelindex-Verfahren, das wir heute nutzen, und warum ein besserer Benchmark-Wert allein keine Neuindexierung rechtfertigt.
Agentische Workflows ersetzen das einmalige Prompting durch iterative Schleifen: Reflexion, Tool-Nutzung, Planung und Multi-Agenten-Kollaboration. Wir vergleichen die gemessenen Zugewinne hinter jedem Muster — von den HumanEval-Ergebnissen des Reflexion-Papers bis zu Devins SWE-bench-Wert — benennen, was die Techniken nicht leisten, und plädieren dafür, mit der einfachsten Schleife zu beginnen, die eine Evaluation verifizieren kann.
Ein Kunde fragte, warum wir nicht das Modell an der Spitze einer Rangliste nutzen. Wir haben den Wechsel auf unserem eigenen Set durchgespielt: Das höher platzierte Modell war schlechter für unsere Arbeit — schöner formuliert, weniger verlässlich am Schema. Genau diesen Handel belohnt eine Präferenzrangliste. Was eine Rangliste misst, was sie strukturell nicht kann, und wie stattdessen achtzig eigene Fälle entscheiden.
Mit Claude 3 ersetzt Anthropic das Einheitsmodell durch drei Stufen — Opus, Sonnet und Haiku: eine API, drei Preispunkte, Bildeingabe und 200K Kontext auf allen Stufen. Wir ordnen die verifizierten Startzahlen ein, benennen die Kompromisse und skizzieren ein Routing-Muster, das jeder Arbeitslast das günstigste Modell zuweist, das ihre Evaluation besteht.
Gemini 1.5 Pro von Google verarbeitet bis zu einer Million Token Kontext. Macht das Retrieval-Augmented Generation überflüssig? Wir rechnen nach: Kosten pro Anfrage, Latenz, Multi-Needle-Recall, Aktualität und Zugriffskontrolle. Das Fazit vom Februar 2024: Langer Kontext verändert den Bau von Retrieval-Pipelines — er ersetzt sie nicht.
Niemand hat entschieden, zwanzigtausend Token Kontext zu senden. Es sammelte sich in kleinen, vertretbaren Schritten an, und die Qualität fiel, ohne dass eine einzelne Änderung die Ursache war. In das Fenster zu passen ist nicht dasselbe wie nutzbar zu sein — und ein Budget wirkt nur, wenn Hinzufügen bedeutet, etwas zu entfernen.
Seit dem 25. Januar 2024 erlauben OpenAIs text-embedding-3-Modelle das Kürzen von Vektoren über einen dimensions-Parameter. Wir erklären die Technik dahinter — Matryoshka Representation Learning —, prüfen die Benchmark-Zahlen, rechnen die Speicherersparnis im Maßstab durch und zeigen, warum die Migration von ada-002 dennoch eine vollständige Neu-Einbettung des Korpus bedeutet.
Ein Klassifikationsschritt widersprach sich bei sechs Prozent der Eingaben. Fünf Läufe und eine Mehrheitsentscheidung beseitigten das. Derselbe Trick auf einem Zusammenfassungsschritt kostete das Fünffache und brachte nichts. Der Unterschied liegt darin, ob sich Ausgaben überhaupt vergleichen lassen — und im schwierigeren Fall: Eine falsche Antwort, die sich wiederholt, wird dadurch nicht richtig.
Ein Handbuch mit dreihundert Seiten lieferte zu jedem Anzugsmoment perfekte Treffer und scheiterte an der Frage, wofür die Maschine da ist. Die Antwort auf eine globale Frage steht in keiner einzelnen Passage, also findet sie auch besseres Ranking nicht. Was wir ergänzt haben, was eine Zusammenfassungsschicht kostet und warum wir sie nur bauen, wo die Fragen es rechtfertigen.