21.03.2024 AI Engineering5 Minuten Lesezeit

Agentische Workflow-Muster

Reflexion, Tool-Nutzung, Planung und Multi-Agenten-Kollaboration versprechen mehr als Single-Pass-Prompting. Wir prüfen die gemessenen Zugewinne und dokumentierten Grenzen jedes Musters und leiten eine einfache Regel ab: Erst Evaluation, dann die kleinste Schleife, die nachweislich hilft.

Warum Single-Pass-Prompting an eine Grenze stößt

Im März 2024 arbeiten die meisten produktiven Sprachmodell-Anwendungen noch in einem Durchlauf: Ein Prompt geht hinein, Token kommen heraus, und der erste Entwurf wird zur endgültigen Antwort. Das Modell führt seinen Code nicht aus, prüft keine Behauptung gegen eine Quelle und überarbeitet nichts. Es ist, als sollte ein Entwickler ein Feature von oben nach unten tippen, nie die Rücktaste benutzen und den ersten Stand unmittelbar ausliefern.

Ein agentischer Workflow ersetzt diesen Einmal-Durchlauf durch eine kontrollierte Schleife. Das Modell entwirft, prüft, beschafft fehlende Informationen und überarbeitet, bevor das Ergebnis den Nutzer erreicht. Die publizierten Zugewinne sind beträchtlich, aber nicht kostenlos. Die relevante Ingenieursfrage lautet daher: Welche Schleife rechtfertigt ihre zusätzliche Latenz, ihren Token-Verbrauch und ihre neuen Fehlermodi? Vier Muster wiederholen sich in der Literatur.

Vier Muster für agentische Workflows

Zwischen Oktober 2022 und heute hat sich in der Forschung eine konsistente Struktur herausgebildet: Reflexion (das Modell kritisiert die eigene Ausgabe), Tool-Nutzung (das Modell ruft externe Funktionen auf), Planung (das Modell zerlegt ein Ziel in Schritte) und Multi-Agenten-Kollaboration (mehrere Instanzen mit unterschiedlichen Rollen teilen sich die Arbeit). Andrew Ngs Brief vom 6. März 2024 in The Batch beschreibt dieselbe Landschaft: schnelle monatliche Fortschritte, Autor-Kritiker-Paare und Frameworks wie Microsofts AutoGen, CrewAI und LangGraph, die solche Schleifen programmierbar machen.

Diese vier Muster haben jedoch nicht denselben Reifegrad. In unseren Projekten sind Reflexion und Tool-Nutzung vorhersehbar genug für den Produktionseinsatz. Planung und Multi-Agenten-Kollaboration liefern punktuell starke, aber noch nicht verlässlich wiederholbare Ergebnisse. Deshalb stellen die folgenden Abschnitte jedem gemessenen Zugewinn eine dokumentierte Grenze gegenüber.

Reflexion: der günstigste Zugewinn

Reflexion fordert das Modell auf, die eigene Ausgabe zu kritisieren und anschließend zu überarbeiten. Self-Refine (Madaan et al., März 2023) berichtete rund 20 Prozentpunkte absolute Verbesserung im Mittel über sieben Aufgaben — mit demselben Modell für Entwurf, Feedback und Revision. Das Reflexion-Paper (Shinn et al., 2023) ergänzte ein Gedächtnis vergangener Fehlschläge und ein externes Signal in Form von Unit-Tests und erreichte 91 % pass@1 auf HumanEval gegenüber 80 % für die eigene GPT-4-Baseline. Zur Einordnung: OpenAIs Zero-Shot-Messung vom März 2023 verortete GPT-3.5 bei 48,1 % und GPT-4 bei 67,0 % auf demselben Benchmark — die Protokolle unterscheiden sich, die Richtung nicht.

Die Grenze ist ebenso gut dokumentiert. Huang et al. zeigten im Oktober 2023, dass intrinsische Selbstkorrektur — also Reflexion ohne externes Feedback — die Genauigkeit beim Schlussfolgern sogar senken kann. Das Muster rechtfertigt seine Kosten nur, wenn eine objektive Prüfung existiert: ein fehlschlagender Test, ein Schema-Validator oder eine abgerufene Quelle. Ohne ein solches Signal wird Reflexion schnell zur bloßen Paraphrase.

Tool-Nutzung: Verankerung in der Außenwelt

Tool-Nutzung gibt dem Modell Funktionen an die Hand: Suche, Code-Ausführung, Datenbankabfragen. ReAct (Yao et al., Oktober 2022) verschränkte Denkschritte mit Aktionen und schlug Imitation- und Reinforcement-Learning-Baselines um 34 Prozentpunkte absolut auf ALFWorld und um 10 auf WebShop — bei zugleich weniger Halluzinationen in Wissensaufgaben. OpenAIs Function-Calling-API vom Juni 2023 machte die Idee zur Standardschnittstelle; jedes ernsthafte Agenten-Framework baut heute auf einer Variante davon auf.

Tool-Nutzung macht ein Modell allerdings nicht automatisch zuverlässig bei der Entscheidung, wann welches Werkzeug aufzurufen ist. Jedes Tool erweitert zudem die Angriffsfläche: Eingaben, die das Modell aus nicht vertrauenswürdigem Text konstruiert, erreichen reale Systeme. Schemata, Timeouts, Retries und Berechtigungsgrenzen bleiben gewöhnliche Ingenieursarbeit. Das Muster nimmt sie nicht ab, sondern macht sie notwendig.

Planung: stark und zugleich fragil

Planung lässt das Modell ein Ziel in Schritte zerlegen, bevor es sie ausführt. HuggingGPT (Shen et al., März 2023) demonstrierte das Muster, indem ein LLM Aufgabengraphen über spezialisierte Modelle plante. Am 12. März 2024 kündigte Cognition Devin an, einen Agenten mit eigener Shell, eigenem Editor und Browser, und meldete 13,86 % ohne Hilfestellung gelöste GitHub-Issues auf einer zufälligen 25-%-Teilmenge von SWE-bench — gegenüber 1,96 % für den bisherigen Bestwert.

Beide Lesarten dieser Zahl sind korrekt: eine Versiebenfachung — und rund 86 % ungelöste Issues. Lange Pläne driften, Fehler summieren sich über die Schritte, und eine vierzigminütige Trajektorie ist deutlich schwerer zu debuggen als eine einzelne Completion. Planung lohnt sich, wenn Schritte isoliert prüfbar sind; sie degradiert, wenn sich nur der Endzustand beurteilen lässt.

Multi-Agenten-Kollaboration

Multi-Agenten-Systeme weisen mehreren Modellinstanzen Rollen zu — oft dasselbe Basismodell mit unterschiedlichen Prompts — und lassen sie miteinander sprechen. ChatDev und MetaGPT (beide 2023) besetzten auf diese Weise eine virtuelle Softwarefirma; AutoGen (Wu et al., 2023) verallgemeinerte die Idee zu einem Framework für programmierbare Agenten-Konversationen. Die einfachste nützliche Konfiguration bleibt Autor plus Kritiker — Reflexion, implementiert als zwei Agenten.

Bei Multi-Agenten-Systemen vervielfachen sich die Kosten sichtbar. Jede weitere Instanz erhöht Token-Verbrauch und Latenz, der Konversationszustand braucht eigene Verwaltung, und mehrere Agenten können sich selbstbewusst auf dieselbe falsche Antwort einigen. Ein Modell auf fünf Rollen-Prompts zu verteilen schafft zusätzliche Struktur, aber keine zusätzliche Intelligenz. Deshalb behandeln wir Multi-Agenten-Designs als spätere Optimierung, nicht als Ausgangspunkt.

Messbarer Nutzen versus zusätzliche Komplexität

Die im März 2024 verfügbare Evidenz zeigt bei jedem Muster denselben Tausch: Mehr Genauigkeit kostet zusätzliche Tokens, Latenz und neue Fehlermodi. Ein Zugewinn ist jedoch nur dann real, wenn eine Evaluations-Harness ihn reproduzierbar nachweist. Deshalb bauen wir zuerst die Messung und erst danach die Schleife.

Beginnen Sie mit der kleinsten sinnvollen Form: ein Modell, ein Durchlauf aus Entwurf, Kritik und Revision sowie eine objektive Prüfung wie Unit-Test oder Validator. Ergänzen Sie Tools erst, wenn die Aufgabe externe Fakten oder Aktionen verlangt. Planung oder weitere Agenten folgen nur, wenn Messungen zeigen, dass die einfache Schleife ihr Plateau erreicht hat. Jede Eskalation muss sich vor derselben Evaluation rechtfertigen wie die Stufe davor.

Ausblick: wohin sich Agenten entwickeln

Am 18. März 2024 erwarten wir, dass Workflow-Design als Quelle neuer Fähigkeiten in diesem Jahr mit Modell-Upgrades gleichzieht. Die 11 Punkte, die das Reflexion-Paper zwischen GPT-4 allein und GPT-4 in einer Schleife misst, entsprechen der Größenordnung eines Generationssprungs. Benchmarks wie SWE-bench dürften zum Standardmaßstab für Agenten werden, während fallende Inferenzpreise Schleifen dort wirtschaftlich machen, wo sie heute noch grenzwertig sind.

Die offenen Probleme verschwinden dadurch nicht. Agenten sind schwerer zu evaluieren als einzelne Completions, Kosten über lange Trajektorien bleiben schwer zu begrenzen, und Tool-führende Systeme schaffen Sicherheitsfragen, die die Branche erst zu beantworten beginnt. Wir erwarten, dass Frameworks konsolidieren, während die grundlegenden Muster bestehen bleiben. Teams, die heute lernen, Schleifen sauber zu messen, können neue Modelle schnell übernehmen — nicht durch einen Neubau, sondern indem sie sie in einen bereits verifizierten Workflow einsetzen.

Quellen

• ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., 6 Oct 2022)
• GPT-4 Technical Report (OpenAI, 15 Mar 2023)
• Reflexion: Language Agents with Verbal Reinforcement Learning (Shinn et al., 20 Mar 2023)
• Large Language Models Cannot Self-Correct Reasoning Yet (Huang et al., 3 Oct 2023)
• The Dawning Age of Agents — The Batch (Andrew Ng, 6 Mar 2024)
• Introducing Devin the first AI software engineer (Cognition, 12 Mar 2024)