Engineering-Notizen
Seit 2023 dokumentieren wir hier, was in KI-Systemen wirklich funktioniert — mit Zahlen, Quellen und ehrlichen Grenzen.
Am 26. März 2025 kündigte OpenAI Unterstützung für Anthropics Model Context Protocol an, zunächst verfügbar im Agents SDK. Wir analysieren, was das Protokoll standardisiert, was es bewusst offenlässt, warum herstellerübergreifende Konvergenz die Integrationsstrategie verändert und was die zeitgleiche Spezifikationsrevision für Remote-MCP-Server bedeutet.
Manus startete im März 2025 mit viralen Demos und State-of-the-Art-Behauptungen auf GAIA. Wir vergleichen die Eigenangaben mit den ersten unabhängigen Tests, zeigen was der Benchmark nicht misst, und begründen warum begrenzte Agenten mit Freigabeschritten heute produktiv laufen — allgemeine Autonomie noch nicht.
So bauen wir Anfang 2025 Guardrails für LLM-Systeme: mehrschichtige Policies mit bekannten Fehlerraten, PII-Redaktion mit Presidio, Output-Filterung mit Llama Guard 3 und Moderations-APIs, menschliche Freigaben für irreversible Aktionen sowie Guardrails als versionierter Code mit Angriffs-, Gutfall- und Regressionstests in der CI — ehrlich abgegrenzt, was jede Schicht nicht leistet.
Deep-Research-Agenten planen, browsen und synthetisieren über Minuten statt in einem Schritt zu antworten. Wir definieren das Muster, betrachten Googles Gemini Deep Research vom Dezember 2024 und quantifizieren die Schwachstelle Zitationsqualität. Gemessene Referenzwerte zeigen, warum die Prüfpflicht beim Leser bleibt — und was das für Engineering-Teams bedeutet.
Klassisches RAG ruft einmal ab und generiert einmal. Agentisches RAG lässt das Modell Anfragen zerlegen, iterativ suchen und den eigenen Kontext kritisieren. Wir definieren das Muster, fassen die Evidenz aus IRCoT, Self-RAG und CRAG zusammen, benennen die Fälle, in denen eine Retrieval-Schleife den Einzelabruf schlägt, und zeigen, wie die Kosten von Schleifen begrenzt bleiben.
Eine Retrospektive auf 2024 anhand von vier datierten Releases: OpenAI Structured Outputs im August, o1-preview im September, Anthropic Computer Use im Oktober und das Model Context Protocol im November. Wir fassen die belegten Zahlen zusammen, benennen die Grenzen jeder Fähigkeit, die Lehren aus dem Produktionsbetrieb und unsere Vorhersagen für 2025.
OpenAIs o1 machte Test-Time-Reasoning zur Frontier-Fähigkeit des Jahres 2024 — geschlossen, teuer und nur per API. DeepSeeks R1-Lite-Preview und Alibabas QwQ-32B-Preview zeigen: Offene Alternativen sind Wochen entfernt, nicht Jahre. Wir analysieren, was Reinforcement-gelerntes Reasoning leistet, was offene Gewichte mit der Kostenstruktur machen und warum das für europäische Datensouveränität zählt.
Anthropic hat das Model Context Protocol als offenen Standard veröffentlicht: JSON-RPC 2.0 mit Servern, Clients, Tools, Ressourcen und Prompts. Wir erklären die Architektur, den stdio-Transport und die bewussten Lücken des Protokolls — und warum eine einzige Integrationsfläche die heutigen N-mal-M-Spezialkonnektoren ersetzen kann. Ein Überblick zum Start am 25. November 2024.
LazyGraphRAG von Microsoft Research verschiebt die gesamte LLM-Zusammenfassung von der Indexierung in die Anfragezeit. Die Indexierungskosten sinken auf 0,1 % von vollem GraphRAG — identisch mit Vektor-RAG —, während die Antwortqualität GraphRAG Global Search bei einem Bruchteil der Anfragekosten erreicht oder übertrifft. Wir analysieren Mechanismus, Benchmark-Zahlen und die Kompromisse für den Produktiveinsatz.
AutoGen, CrewAI und LangGraph sind 2024 messbar gereift. Trotzdem zahlen Multi-Agenten-Systeme eine hohe Steuer: Koordinationsaufwand, sich potenzierende Fehler und fragmentierter Kontext. Wir vermessen die Framework-Landschaft zum Stand November 2024, zeigen woher der Overhead kommt und begründen, warum ein einzelner Agent mit guten Tools für die meisten Produktionsaufgaben der richtige Standard bleibt.
Am 22. Oktober 2024 veröffentlichte Anthropic Computer Use als Public Beta: Claude 3.5 Sonnet bedient Desktops über Screenshots, Maus und Tastatur. Wir erklären die Agentenschleife, die OSWorld-Ergebnisse (14,9 Prozent gegenüber rund 72 Prozent beim Menschen), bekannte Fehlermodi, Sicherheitsschranken und welche Workflows sich damit heute automatisieren lassen und welche nicht.
Phi-3 und Gemma 2 zeigen: Modelle mit 3 bis 9 Milliarden Parametern tragen einen großen Teil des Produktions-Traffics zu einem Bruchteil der Frontier-Kosten. Wir untersuchen, welche Aufgaben kleine Modelle abdecken, was On-Premises- und Edge-Betrieb erfordert, wie Routing einfache Anfragen auf günstige Modelle lenkt und wie sich Qualität pro Euro messen lässt.