Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Vier datierte Releases strukturieren diesen Rückblick auf 2024: OpenAI Structured Outputs im August, o1-preview im September, Anthropic Computer Use im Oktober und das Model Context Protocol im November. Wir fassen die belegten Zahlen zusammen, benennen die Grenzen jeder Fähigkeit, die Lehren aus dem Produktionsbetrieb und unsere Vorhersagen für 2025.
OpenAIs o1 machte Test-Time-Reasoning zur Frontier-Fähigkeit des Jahres 2024 — geschlossen, teuer und nur per API. Dagegen zeigen DeepSeeks R1-Lite-Preview und Alibabas QwQ-32B-Preview: Offene Alternativen sind Wochen entfernt, nicht Jahre. Wir analysieren, was Reinforcement-gelerntes Reasoning leistet, was offene Gewichte mit der Kostenstruktur machen und warum das für europäische Datensouveränität zählt.
Ein Kunde wollte eine halbe Stelle durch einen Agenten ersetzen. Wir haben die elf Aufgaben dieser Stelle aufgelistet und einzeln bewertet: vier lohnten die Automatisierung, drei waren verkappt die Arbeit anderer, vier hängen an Urteilen, die wir nicht abgeben würden. Warum Abschlussquoten auf echten Büroaufgaben die ehrliche Zahl sind — und was die verbleibende Koordination kostet.
Anthropic veröffentlichte das Model Context Protocol als offenen Standard: JSON-RPC 2.0 mit Servern, Clients, Tools, Ressourcen und Prompts. Wir erklären die Architektur, den stdio-Transport und die bewussten Lücken des Protokolls — und warum eine einzige Integrationsfläche die heutigen N-mal-M-Spezialkonnektoren ersetzen kann. Ein Überblick zum Start am 25. November 2024.
Microsoft Research verschiebt mit LazyGraphRAG die gesamte LLM-Zusammenfassung von der Indexierung in die Anfragezeit. Die Indexierungskosten sinken auf 0,1 % von vollem GraphRAG — identisch mit Vektor-RAG —, während die Antwortqualität GraphRAG Global Search bei einem Bruchteil der Anfragekosten erreicht oder übertrifft. Wir analysieren Mechanismus, Benchmark-Zahlen und die Kompromisse für den Produktiveinsatz.
Wir haben einen Menschen in den Ablauf gesetzt und die Sache für erledigt erklärt. Die Freigabequoten nach Monatstag zeigten eine Prüfung, die drei Wochen wirkt und in der vierten zusammenbricht, wenn Menge und Druck am höchsten sind. Was wir an der Warteschlange geändert haben statt an den Menschen — und warum eine menschliche Prüfung für uns heute eine Komponente mit Kapazitätsgrenze ist.
Drei Wochen Arbeit senkten die mittlere Antwortzeit um ein Drittel, und die Rückmeldungen blieben gleich. Nutzer erleben keine Gesamtdauer, sie erleben die Stille, bevor etwas erscheint — und unser Abruf samt Reranking lief vollständig in dieser Stille. Was wir umgestellt haben, warum eine Fortschrittsmeldung einen Spinner schlägt, und wann Streaming die falsche Antwort ist.
Trotz messbarer Fortschritte bei AutoGen, CrewAI und LangGraph zahlen Multi-Agenten-Systeme 2024 weiterhin eine hohe Steuer: Koordinationsaufwand, sich potenzierende Fehler und fragmentierter Kontext. Wir vermessen die Framework-Landschaft zum Stand November 2024, zeigen woher der Overhead kommt und begründen, warum ein einzelner Agent mit guten Tools für die meisten Produktionsaufgaben der richtige Standard bleibt.
Ein Kunde zeigte uns einen Agenten, der sein ERP über die Oberfläche bediente, und fragte nach dem Liefertermin. Ein Bildschirm ist eine Darstellung eines Systems, nicht das System — und dagegen zu automatisieren heißt, von einem Layout abzuhängen, dessen Beständigkeit niemand zugesagt hat. Die drei Fragen vorab, das eine Projekt mit Ja, und die Bedingung für unbeaufsichtigten Betrieb.
Anthropic veröffentlichte Computer Use am 22. Oktober 2024 als Public Beta: Claude 3.5 Sonnet bedient Desktops über Screenshots, Maus und Tastatur. Wir erklären die Agentenschleife, die OSWorld-Ergebnisse (14,9 Prozent gegenüber rund 72 Prozent beim Menschen), bekannte Fehlermodi, Sicherheitsschranken und welche Workflows sich damit heute automatisieren lassen und welche nicht.
Ein umbenanntes Feld zerlegte einen Schritt, der monatelang achtzig Fälle bestand, ohne dass sich an der Aufgabe etwas geändert hätte. Die Fälle waren echt und alle gleich formuliert — das Set maß also die Passung an unsere Formulierung statt an die Aufgabe. Was wir heute erzeugen, um es ehrlich zu halten, und warum genau hier modellerzeugte Daten ihren Platz verdienen.
Phi-3 und Gemma 2 zeigen: Modelle mit 3 bis 9 Milliarden Parametern tragen einen großen Teil des Produktions-Traffics zu einem Bruchteil der Frontier-Kosten. Wir zeigen, welche Aufgaben kleine Modelle abdecken, was On-Premises- und Edge-Betrieb erfordert, wie Routing einfache Anfragen auf günstige Modelle lenkt und wie sich Qualität pro Euro messen lässt.