27.12.2024 AI Engineering5 Minuten Lesezeit

2024 im Rückblick: Das Jahr, in dem LLMs echte Werkzeuge bekamen

Vier datierte Releases prägten das KI-Jahr 2024: OpenAI Structured Outputs im August, o1-preview im September, Anthropic Computer Use im Oktober und das Model Context Protocol im November. Wir ordnen die belegten Zahlen ein, markieren die Grenzen der Fähigkeiten und leiten daraus Produktionslehren sowie Erwartungen für 2025 ab.

Die Lücke zwischen Demo und Produktion

Anfang 2024 wiederholte sich ein vertrautes Muster: Ein Sprachmodell beeindruckte in der Demo und enttäuschte im Betrieb. Seine Ausgabe kam als Prosa, die reguläre Ausdrücke in Struktur zurückverwandeln mussten. Mehrstufige Logik brach an schwierigen Aufgaben ab, und jede Verbindung zu Datenbank, Ticketsystem oder Browser blieb eine Individualintegration. Drei Lücken trennten die Demo vom Produkt: verlässliche Struktur, belastbares Schlussfolgern und eine Standardschnittstelle zu realen Systemen.

Vier Releases lieferten zwischen August und November konkrete Antworten auf diese Lücken. Alle vier sind datiert, messbar und über eine öffentliche API verfügbar; jedes kam mit Benchmark-Wert und Preis statt nur mit einem Versprechen. Wir betrachten deshalb nicht die Ankündigungen, sondern das Ausgelieferte: Was belegen die Zahlen, welche Grenzen zeigten sich im Betrieb, und was folgt daraus für 2025? Die Tabelle fasst die vier aus unserer Sicht entscheidenden Releases zusammen.

Structured Output beendet die Parsing-Lotterie

Am 6. August 2024 veröffentlichte OpenAI Structured Outputs. Der Entwickler liefert ein JSON-Schema; die API garantiert, dass die Antwort ihm entspricht. Der Mechanismus ist Constrained Decoding: Das Schema wird in eine kontextfreie Grammatik kompiliert, die ungültige Tokens beim Sampling ausblendet. In OpenAIs Evals zur Schema-Treue erreicht gpt-4o-2024-08-06 mit striktem Modus 100 Prozent. gpt-4-0613 lag unter 40 Prozent. Der JSON-Modus vom November 2023 garantierte nur gültiges JSON, keine bestimmte Form.

Die Garantie endet jedoch an der Syntax. Eine Antwort kann dem Schema vollständig entsprechen und inhaltlich dennoch falsch sein. Hinzu kommen technische Grenzen: Unterstützt wird nur eine Teilmenge von JSON Schema, jedes Objekt braucht additionalProperties auf false, und jeder Schlüssel muss als required markiert sein. Außerdem trägt die erste Anfrage pro Schema die Latenz der Grammatik-Kompilierung. Structured Output beseitigt die Parsing-Lotterie; die Semantik bleibt ein Evaluationsproblem.

Reasoning-Modelle tauschen Latenz gegen Genauigkeit

Am 12. September 2024 veröffentlichte OpenAI o1-preview und o1-mini. Die Modelle sind per Reinforcement Learning darauf trainiert, vor der Antwort eine lange interne Gedankenkette zu erzeugen. Auf harten Aufgaben sind die Zahlen eindeutig: Auf AIME 2024 löst GPT-4o 9,3 Prozent der Aufgaben bei pass@1; o1-preview löst 44,6 Prozent. Auf Codeforces erreicht o1-preview das 62. Perzentil menschlicher Teilnehmer. Das vollständige o1-Modell, dessen Evaluationszahlen OpenAI im September publizierte, ist zum Zeitpunkt dieses Artikels nicht verfügbar.

Die Kompromisse sind ebenso eindeutig. o1-preview kostet 15 Dollar pro Million Input-Tokens und 60 Dollar pro Million Output-Tokens; GPT-4o kostet 5 und 15. Antworten dauern Sekunden bis Minuten. Die Reasoning-Tokens werden berechnet, bleiben aber verborgen. Bei routinemäßiger Extraktion oder Zusammenfassung bringt der Aufpreis wenig. Reasoning-Modelle sind ein Werkzeug für harte, verifizierbare Probleme — kein Standard.

Computer Use ist noch nicht produktionsreif

Am 22. Oktober 2024 veröffentlichte Anthropic Computer Use als Public Beta. Das aktualisierte Claude 3.5 Sonnet betrachtet Screenshots, bewegt einen Cursor, klickt und tippt — ohne anwendungsspezifische API. Auf OSWorld, das genau dies testet, erreicht es 14,9 Prozent in der Screenshot-Kategorie. Das nächstbeste System lag bei 7,8 Prozent. Menschen erreichen etwa 70 bis 75 Prozent. Anthropics eigene Formulierung: experimentell, zeitweise umständlich und fehleranfällig.

Dasselbe Release brachte agentisches Coding voran. Das neue Claude 3.5 Sonnet hob SWE-bench Verified von 33,4 auf 49,0 Prozent — das Modell löst im Benchmark-Harness knapp die Hälfte realer GitHub-Issues. Unsere Einordnung: Steuerung auf Bildschirmebene ist eine echte Fähigkeit, aber ein verdoppelter Stand der Technik bei 14,9 Prozent ist eine Forschungsvorschau. Betreiben Sie sie in einer Sandbox, für risikoarme Aufgaben, mit einem Menschen, der Seiteneffekte bestätigt.

MCP greift das Integrationsproblem an

Am 25. November 2024 — neun Tage vor diesem Artikel — stellte Anthropic das Model Context Protocol als Open Source bereit. Das Zielproblem ist quadratisch: M Anwendungen mal N Datenquellen bedeuten M×N Individual-Konnektoren. MCP ersetzt das durch ein Client-Server-Protokoll. Ein Server stellt Resources, Tools und Prompts bereit; jeder MCP-Client kann sie nutzen. Das Release umfasst die Spezifikation, SDKs für TypeScript und Python, lokale Server-Unterstützung in Claude Desktop und vorgefertigte Server für GitHub, Slack, Postgres und das Dateisystem.

Die ehrliche Einordnung: MCP läuft heute nur lokal. Remote-Server mit Unternehmens-Authentifizierung sind angekündigt, nicht ausgeliefert. Frühe Anwender existieren — Block, Apollo, Replit, Codeium und Sourcegraph —, aber nur ein Modellanbieter steht hinter dem Standard; OpenAI und Google haben ihn nicht übernommen. Ob MCP das USB der LLM-Integrationen wird oder einer von mehreren konkurrierenden Steckern, ist offen. Der Bedarf, den es adressiert, ist es nicht.

Was Produktionsteams gelernt haben

Aus unseren ausgelieferten Projekten und den Berichten dieses Jahres ergeben sich vier wiederkehrende Lehren. Erstens: Validieren Sie an der Systemgrenze. Schema-Garantien sichern die Syntax; nur aufgabenspezifische Evals sichern die Semantik. Zweitens: Kleine, präzise beschriebene Tools schlagen breite Werkzeuge. Mit wachsender Tool-Zahl wird die Auswahl unzuverlässiger, und der Beschreibungstext ist Teil der Schnittstelle. Drittens: Routen Sie nach Aufgabe. Ein günstiges Standardmodell plus ein Reasoning-Modell bei Bedarf ist einer Einzellösung bei Kosten und Qualität überlegen.

Viertens: Seiteneffekte brauchen Schranken. Ein Modell, das liest, darf autonom laufen; ein Modell, das schreibt, löscht oder bezahlt, braucht einen Bestätigungsschritt oder eine reversible Transaktion. Keines der vier Releases hebt diese Anforderung auf. Sie verkleinern die Fehlerfläche — fehlerhaft formatierte Ausgaben, flaches Schlussfolgern, brüchigen Glue-Code — und lassen die Verantwortung dort, wo sie hingehört: im Systemdesign.

Unsere Erwartungen für 2025

Die folgenden Aussagen sind am 4. Dezember 2024 formulierte Vorhersagen, keine Berichterstattung. Wir erwarten deutlich fallende Preise für Reasoning-Modelle und vergleichbare Angebote von mindestens zwei weiteren Anbietern. OSWorld-Werte dürften sich vom Ausgangspunkt 14,9 Prozent vervielfachen, 2025 aber unter menschlichem Niveau bleiben. Und MCP wird voraussichtlich konkurrierende Protokolle bekommen, bevor eine Konsolidierung beginnt.

Unsere größere Prognose lautet: 2025 wird das Jahr des komponierten Agenten. Structured Output liefert den Datenvertrag, ein Reasoning-Modell die Planung, Tools und Computer Use die Handlungsebene, ein Protokoll wie MCP die Integration. Die Bausteine existieren nun einzeln. Sie zu beobachtbaren, testbaren und sicher betreibbaren Systemen zu verbinden, ist keine offene Forschungsfrage mehr, sondern Ingenieursarbeit. Genau diese Arbeit planen wir ein. 2024 bekamen die Modelle echte Werkzeuge; 2025 brauchen diese Werkzeuge echtes Engineering.

Quellen

• OpenAI: Introducing Structured Outputs in the API (2024-08-06)
• OpenAI: Learning to Reason with LLMs (2024-09-12)
• Anthropic: Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku (2024-10-22)
• Anthropic: Developing a computer use model (2024-10-22)
• Anthropic: Introducing the Model Context Protocol (2024-11-25)