27.12.2024 AI Engineering 5 Minuten Lesezeit

2024 im Rückblick: Das Jahr, in dem LLMs echte Werkzeuge bekamen

Eine Retrospektive auf 2024 anhand von vier datierten Releases: OpenAI Structured Outputs im August, o1-preview im September, Anthropic Computer Use im Oktober und das Model Context Protocol im November. Wir fassen die belegten Zahlen zusammen, benennen die Grenzen jeder Fähigkeit, die Lehren aus dem Produktionsbetrieb und unsere Vorhersagen für 2025.

Die Lücke zwischen Demo und Produktion

Anfang 2024 war das Muster vertraut. Ein Sprachmodell lieferte beeindruckenden Text in der Demo und unzuverlässigen Text in der Produktion. Die Ausgabe kam als Prosa, die mit regulären Ausdrücken geparst werden musste. Mehrstufige Logik scheiterte an harten Problemen. Jede Anbindung an eine Datenbank, ein Ticketsystem oder einen Browser war eine Individualintegration. Drei Lücken trennten die Demo vom Produkt: keine verlässliche Struktur, kein tiefes Schlussfolgern, keine Standardschnittstelle zu realen Systemen.

Zwischen August und November 2024 erhielten genau diese Lücken konkrete Antworten in Form von vier Releases. Jedes ist datiert, messbar und in einer öffentlichen API verfügbar. Keines davon ist Hype; jedes erschien mit einem Benchmark-Wert und einem Preis. Diese Retrospektive beschreibt, was ausgeliefert wurde, was die Zahlen sagen, was Produktionsteams im Betrieb gelernt haben und was wir für 2025 erwarten. Die Tabelle listet die vier Releases, die wir für entscheidend halten.

Structured Output beendet die Parsing-Lotterie

Am 6. August 2024 veröffentlichte OpenAI Structured Outputs. Der Entwickler liefert ein JSON-Schema; die API garantiert, dass die Antwort ihm entspricht. Der Mechanismus ist Constrained Decoding: Das Schema wird in eine kontextfreie Grammatik kompiliert, die ungültige Tokens beim Sampling ausblendet. In OpenAIs Evals zur Schema-Treue erreicht gpt-4o-2024-08-06 mit striktem Modus 100 Prozent. gpt-4-0613 lag unter 40 Prozent. Der JSON-Modus vom November 2023 garantierte nur gültiges JSON, keine bestimmte Form.

Was das nicht leistet: korrekten Inhalt garantieren. Eine Antwort kann dem Schema entsprechen und trotzdem falsch sein. Unterstützt wird nur eine Teilmenge von JSON Schema; jedes Objekt braucht additionalProperties auf false, und jeder Schlüssel muss als required markiert sein. Die erste Anfrage pro Schema zahlt Latenz für die Grammatik-Kompilierung. Structured Output löst die Syntax. Die Semantik bleibt ein Evaluationsproblem.

Reasoning-Modelle tauschen Latenz gegen Genauigkeit

Am 12. September 2024 veröffentlichte OpenAI o1-preview und o1-mini. Die Modelle sind per Reinforcement Learning darauf trainiert, vor der Antwort eine lange interne Gedankenkette zu erzeugen. Auf harten Aufgaben sind die Zahlen eindeutig: Auf AIME 2024 löst GPT-4o 9,3 Prozent der Aufgaben bei pass@1; o1-preview löst 44,6 Prozent. Auf Codeforces erreicht o1-preview das 62. Perzentil menschlicher Teilnehmer. Das vollständige o1-Modell, dessen Evaluationszahlen OpenAI im September publizierte, ist zum Zeitpunkt dieses Artikels nicht verfügbar.

Die Kompromisse sind ebenso eindeutig. o1-preview kostet 15 Dollar pro Million Input-Tokens und 60 Dollar pro Million Output-Tokens; GPT-4o kostet 5 und 15. Antworten dauern Sekunden bis Minuten. Die Reasoning-Tokens werden berechnet, bleiben aber verborgen. Bei routinemäßiger Extraktion oder Zusammenfassung bringt der Aufpreis wenig. Reasoning-Modelle sind ein Werkzeug für harte, verifizierbare Probleme — kein Standard.

Computer Use ist noch nicht produktionsreif

Am 22. Oktober 2024 veröffentlichte Anthropic Computer Use als Public Beta. Das aktualisierte Claude 3.5 Sonnet betrachtet Screenshots, bewegt einen Cursor, klickt und tippt — ohne anwendungsspezifische API. Auf OSWorld, das genau dies testet, erreicht es 14,9 Prozent in der Screenshot-Kategorie. Das nächstbeste System lag bei 7,8 Prozent. Menschen erreichen etwa 70 bis 75 Prozent. Anthropics eigene Formulierung: experimentell, zeitweise umständlich und fehleranfällig.

Dasselbe Release brachte agentisches Coding voran. Das neue Claude 3.5 Sonnet hob SWE-bench Verified von 33,4 auf 49,0 Prozent — das Modell löst im Benchmark-Harness knapp die Hälfte realer GitHub-Issues. Unsere Einordnung: Steuerung auf Bildschirmebene ist eine echte Fähigkeit, aber ein verdoppelter Stand der Technik bei 14,9 Prozent ist eine Forschungsvorschau. Betreiben Sie sie in einer Sandbox, für risikoarme Aufgaben, mit einem Menschen, der Seiteneffekte bestätigt.

MCP greift das Integrationsproblem an

Am 25. November 2024 — neun Tage vor diesem Artikel — stellte Anthropic das Model Context Protocol als Open Source bereit. Das Zielproblem ist quadratisch: M Anwendungen mal N Datenquellen bedeuten M×N Individual-Konnektoren. MCP ersetzt das durch ein Client-Server-Protokoll. Ein Server stellt Resources, Tools und Prompts bereit; jeder MCP-Client kann sie nutzen. Das Release umfasst die Spezifikation, SDKs für TypeScript und Python, lokale Server-Unterstützung in Claude Desktop und vorgefertigte Server für GitHub, Slack, Postgres und das Dateisystem.

Die ehrliche Einordnung: MCP läuft heute nur lokal. Remote-Server mit Unternehmens-Authentifizierung sind angekündigt, nicht ausgeliefert. Frühe Anwender existieren — Block, Apollo, Replit, Codeium und Sourcegraph —, aber nur ein Modellanbieter steht hinter dem Standard; OpenAI und Google haben ihn nicht übernommen. Ob MCP das USB der LLM-Integrationen wird oder einer von mehreren konkurrierenden Steckern, ist offen. Der Bedarf, den es adressiert, ist es nicht.

Was Produktionsteams gelernt haben

Vier Lehren wiederholen sich in den Projekten, die wir ausgeliefert haben, und in den Berichten dieses Jahres. Erstens: Validieren Sie an der Grenze. Schema-Garantien sichern die Syntax; nur aufgabenspezifische Evals sichern die Semantik. Zweitens: Kleine, präzise beschriebene Tools schlagen breite. Die Tool-Auswahl degradiert mit der Anzahl, und der Beschreibungstext ist Teil der Schnittstelle. Drittens: Routen Sie nach Aufgabe. Ein günstiges Modell als Standard plus ein Reasoning-Modell bei Bedarf schlägt jede Einzellösung bei Kosten und Qualität.

Viertens: Seiteneffekte brauchen Schranken. Ein Modell, das liest, darf autonom laufen; ein Modell, das schreibt, löscht oder bezahlt, braucht einen Bestätigungsschritt oder eine reversible Transaktion. Keines der vier Releases hebt diese Anforderung auf. Sie verkleinern die Fehlerfläche — fehlerhaft formatierte Ausgaben, flaches Schlussfolgern, brüchigen Glue-Code — und lassen die Verantwortung dort, wo sie hingehört: im Systemdesign.

Unsere Erwartungen für 2025

Geschrieben am 4. Dezember 2024 sind dies Vorhersagen, keine Berichterstattung. Wir erwarten, dass die Preise für Reasoning-Modelle binnen Monaten deutlich fallen und vergleichbare Modelle von mindestens zwei weiteren Anbietern erscheinen. Wir erwarten, dass sich OSWorld-Werte von 14,9 Prozent aus vervielfachen, aber 2025 unter menschlichem Niveau bleiben. Wir erwarten, dass MCP konkurrierende Protokolle bekommt, bevor sich etwas konsolidiert.

Die größere Vorhersage: 2025 wird das Jahr des komponierten Agenten. Structured Output als Datenvertrag, ein Reasoning-Modell für die Planung, Tools und Computer Use für das Handeln, ein Protokoll wie MCP für die Integration — die Bausteine existieren jetzt einzeln. Sie zu Systemen zu verbinden, die beobachtbar, testbar und sicher zu betreiben sind, ist Ingenieursarbeit, keine Forschung. Das ist die Arbeit, die wir einplanen. Die Modelle bekamen 2024 echte Werkzeuge. 2025 brauchen die Werkzeuge echtes Engineering.

Quellen

• OpenAI: Introducing Structured Outputs in the API (2024-08-06)
• OpenAI: Learning to Reason with LLMs (2024-09-12)
• Anthropic: Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku (2024-10-22)
• Anthropic: Developing a computer use model (2024-10-22)
• Anthropic: Introducing the Model Context Protocol (2024-11-25)