10.10.2023 AI Engineering 5 Minuten Lesezeit

Die ersten Agenten: Vom AutoGPT-Hype zur zuverlässigen Tool-Schleife

Im Frühjahr 2023 wurden autonome Agenten berühmt: AutoGPT sammelte in Wochen 74.000 GitHub-Sterne, BabyAGI passte in 140 Zeilen Python. Sechs Monate später läuft kaum einer produktiv. Wir erklären das ReAct-Muster hinter dem Hype, beziffern Endlosschleifen und Kosten und beschreiben die begrenzte Tool-Schleife, die funktioniert: Budgets, Schemata, Kontrollpunkte.

Das Versprechen voller Autonomie

Geben Sie einem Sprachmodell ein Ziel, einen Satz Werkzeuge und eine Schleife — und es arbeitet, bis das Ziel erreicht ist. Das war das Versprechen des Frühjahrs 2023. AutoGPT erschien am 30. März 2023 auf GitHub und überschritt bis Mitte April 74.000 Sterne — mehr, als PyTorch in sechs Jahren gesammelt hatte. BabyAGI folgte wenige Tage später. Demo-Videos selbst-promptender Agenten, die Märkte recherchieren, Code schreiben und Firmen gründen, füllten jede Timeline.

Sechs Monate später ist das Bild nüchtern. Kaum einer dieser Agenten hat es in den Produktivbetrieb geschafft. Die Fehlerbilder sind über alle Projekte hinweg konsistent: Endlosschleifen, halluzinierte Ergebnisse, unbegrenzte API-Rechnungen. Dieser Artikel trennt das Muster, das funktioniert — die Tool-Use-Schleife — von der Architektur, die heute nicht funktioniert: offene Autonomie. Die Unterscheidung ist nicht akademisch. Sie entscheidet, ob ein LLM-Feature ausgeliefert wird oder Budget verbrennt.

Eine Aufgabe kommt an — der Agent plant den nächsten Schritt. 1/4

ReAct definiert die Schleife

Das zugrunde liegende Muster ist älter als der Hype. Yao et al. veröffentlichten ReAct („Reasoning and Acting“) im Oktober 2022 (arXiv:2210.03629); das Paper wurde zur ICLR 2023 angenommen. Die Idee ist kompakt: Das Modell wechselt zwischen einem Denkschritt (Thought), einer Aktion (einem Werkzeugaufruf, etwa einer Wikipedia-Abfrage) und einer Beobachtung (dem Ergebnis des Werkzeugs). Jede Beobachtung wird an den Kontext angehängt; der nächste Denkschritt stützt sich damit auf Evidenz statt allein auf das parametrische Gedächtnis des Modells.

ReAct ist keine Autonomie. Es ist eine Prompting-Struktur. In der Fehleranalyse des Papers reduzierte sie Halluzinationen auf HotpotQA deutlich gegenüber reinem Chain-of-Thought und erzeugte Traces, die ein Mensch Schritt für Schritt prüfen kann. Nichts in ReAct besagt, dass das Modell eigene Ziele wählt oder selbst entscheidet, wann es fertig ist. Diese beiden Zusätze kamen später — und genau dort beginnen die Probleme.

AutoGPT und BabyAGI erscheinen

AutoGPT, veröffentlicht von Toran Bruce Richards am 30. März 2023, verpackt GPT-4 in eine unbeaufsichtigte Schleife im ReAct-Stil. Das Modell erhält ein übergeordnetes Ziel, wählt ein Kommando — Websuche, Dateizugriff, Code-Ausführung —, beobachtet das Ergebnis und macht weiter. Ergebnisse früherer Schritte liegen als Embeddings in einer Vektordatenbank. Die menschliche Bestätigung jeder Aktion ist optional und lässt sich im Continuous-Modus vollständig abschalten.

BabyAGI macht die Struktur noch expliziter. Yohei Nakajima beschrieb sie am 28. März 2023 als „Task-driven Autonomous Agent“ und veröffentlichte sie Anfang April als Skript von rund 140 Zeilen Python: Ein Execution-Agent erledigt die aktuelle Aufgabe, ein Task-Creation-Agent leitet aus dem Ergebnis neue Aufgaben ab, ein Prioritization-Agent sortiert die Warteschlange neu. Die Schleife läuft, bis die Warteschlange leer ist — oder unbegrenzt. Beide Projekte sind ehrliche Experimente. Der Hype um sie war es nicht.

Endlosschleifen und reale Kosten

Zwei Fehlerbilder dominieren die Praxisberichte. Das erste ist Divergenz. Ohne externe Ground Truth bewertet das Modell seinen eigenen Fortschritt, und Fehler akkumulieren: Bei 95 % Erfolgswahrscheinlichkeit pro Schritt bleibt eine Kette von 50 Schritten nur mit etwa 8 % Wahrscheinlichkeit intakt (0,95^50). Agenten wiederholen bereits gelöste Teilaufgaben, weil die Evidenz das Kontextfenster verlassen hat. Andrej Karpathy führt die Entgleisungen genau auf dieses endliche Kontextfenster zurück.

Das zweite sind Kosten. Han Xiao von Jina AI rechnete es am 13. April 2023 vor: Zu GPT-4-8K-Preisen — 0,03 $ pro 1.000 Prompt-Token, 0,06 $ pro 1.000 Completion-Token — kostet ein Schritt, der das Kontextfenster füllt, etwa 0,288 $. Eine kleine Aufgabe mit 50 Schritten: rund 14,40 $. Eine Schleife, die über Nacht läuft, ohne zu konvergieren, produziert eine Rechnung und kein Ergebnis. Beide Fehlerbilder haben dieselbe Wurzel: Die Schleife besitzt kein Abbruchkriterium außerhalb des Modells.

Warum die Schleife divergiert

Die autonomen Architekturen machen drei strukturelle Fehler. Erstens ist der Kontrollfluss generiert: Was als Nächstes passiert, ist eine Modell-Completion, kein Code — jeder Schritt erbt die Fehlerrate des Modells. Zweitens ist der Fortschritt selbst bewertet: Dasselbe Modell, das den Fehler gemacht hat, benotet den Schritt als Erfolg. Drittens ist nichts serialisierbar: Eine gelöste Aufgabe lässt sich nicht als festes Programm erneut abspielen; der nächste, fast identische Lauf kostet wieder den vollen Betrag.

Nichts davon spricht gegen das Modell. GPT-4 führt einzelne, sauber umrissene Schritte zuverlässig aus. Der Defekt sitzt in der äußeren Architektur: offene Ziele, selbst erzeugte Aufgabenlisten und unbegrenzte Iteration verwandeln kleine Fehlerraten pro Schritt in nahezu sicheres Scheitern. Das ist ein Engineering-Problem — und es hat eine Engineering-Antwort.

Zuverlässige Tool-Schleifen bauen

Die zuverlässige Variante kehrt die Kontrolle um. Der Anwendungscode besitzt die Schleife; das Modell trifft pro Iteration genau eine Entscheidung: welches Werkzeug, mit welchen Argumenten. Seit dem 13. Juni 2023 unterstützt die OpenAI-API das nativ — Function Calling in gpt-4-0613 und gpt-3.5-turbo-0613 liefert ein JSON-Objekt zu einer deklarierten Funktionssignatur statt Freitext, der heuristisch geparst werden muss. Das Schema ist ein Vertrag, keine Garantie: Argumente müssen aufrufseitig weiterhin validiert werden.

Unsere Arbeitsregeln bei Blue IT Systems sind bewusst unspektakulär: ein kleiner Werkzeugsatz (fünf bis zehn Tools, präzise beschrieben), schema-validierte Argumente, ein hartes Schritt- und Token-Budget pro Lauf, Werkzeugfehler als typisierte Beobachtungen mit begrenzten Wiederholungen und ein menschlicher Kontrollpunkt vor jeder irreversiblen Aktion. Eine Schleife, die mit „Budget überschritten“ stoppt, ist ein Feature. Die Tabelle fasst den Kontrast zusammen.

Aspekt	Autonomer Agent (Frühjahr 2023)	Begrenzte Tool-Schleife
Kontrollfluss	Modell generiert den nächsten Schritt	Code besitzt die Schleife
Terminierung	Selbstbewertete Zielerreichung	Hartes Schritt- und Token-Budget
Werkzeug-Schnittstelle	Freitext heuristisch geparst	JSON-Schema mit Validierung
Fehlerbehandlung	Ungeprüft ans Modell zurückgeführt	Typisierte Beobachtung mit begrenzten Retries
Rolle des Menschen	Optionale Bestätigung	Kontrollpunkt vor irreversiblen Aktionen

Ausblick vom Oktober 2023

Wir erwarten, dass das Wort „Agent“ überlebt und sich die Architektur darunter ändert. Die wertvolle Einheit wird kein autonomer Zielverfolger sein, sondern eine begrenzte Tool-Schleife, eingebettet in gewöhnliche Software: aufgerufen wie eine Funktion, budgetiert wie ein Batch-Job, beobachtbar wie ein Service. Die Modellanbieter werden die Werkzeugauswahl weiter feinjustieren; Benchmarks wie AgentBench (August 2023) messen sie inzwischen systematisch statt anekdotisch.

Zwei Prognosen. Erstens werden sich Werkzeug-Schnittstellen standardisieren. Heute beschreibt jedes Team seine Tools in einem eigenen JSON-Dialekt; ein anbieterneutrales Beschreibungsformat ist der naheliegende nächste Schritt. Zweitens wird Autonomie zurückkehren — in engen Domänen mit verifizierbarem Feedback; Code gegen eine Test-Suite ist der klarste Kandidat. Bis dahin gilt unser Fazit: Das Modell liefert das Denken. Die Schleife schreiben wir.