09.03.2025 AI Engineering 5 Minuten Lesezeit

Manus und der Autonomie-Hype: Demos vs. reproduzierbarer Wert

Manus startete im März 2025 mit viralen Demos und State-of-the-Art-Behauptungen auf GAIA. Wir vergleichen die Eigenangaben mit den ersten unabhängigen Tests, zeigen was der Benchmark nicht misst, und begründen warum begrenzte Agenten mit Freigabeschritten heute produktiv laufen — allgemeine Autonomie noch nicht.

Autonomie geht viral

Am 6. März 2025 veröffentlichte Butterfly Effect, ein Startup mit einigen Dutzend Mitarbeitern in Wuhan und Peking, eine Preview von Manus und nannte es den ersten allgemeinen KI-Agenten. Innerhalb weniger Tage wurden Einladungscodes auf Xianyu für knapp 100.000 Yuan (etwa 13.800 US-Dollar) weiterverkauft, der offizielle Discord-Server überschritt 138.000 Mitglieder, und Kommentatoren riefen ein zweites DeepSeek-Moment aus. Weniger als 1% der Warteliste hatte Zugang.

Das Muster ist bekannt: eine polierte Vier-Minuten-Demo, ein Benchmark-Diagramm, beschränkter Zugang. Der beschränkte Zugang ist entscheidend, denn er kehrt die Beweislast um — Behauptungen zirkulieren schneller als sie geprüft werden können. Wir bauen Agentensysteme für den Produktivbetrieb. Dieser Beitrag trennt daher das Verifizierte vom Behaupteten und begründet, warum wir weiterhin begrenzte Agenten mit Freigabeschritten ausliefern.

Eine Aufgabe kommt an — der Agent plant den nächsten Schritt. 1/4

Was Manus tatsächlich ist

Manus ist kein neues Foundation Model. Chefwissenschaftler Yichao "Peak" Ji bestätigte, dass es bestehende Modelle orchestriert — Anthropics Claude 3.5 Sonnet und feinabgestimmte Varianten von Alibabas offenen Qwen-Modellen — kombiniert mit Browser-Automatisierung. Das Produkt verpackt sie in eine Multi-Agenten-Schleife: planen, browsen, Code in einer isolierten virtuellen Maschine ausführen, eine Ergebnisdatei liefern. Nutzer können jeden Schritt in einem Seitenfenster namens Manus's Computer verfolgen.

Das ist Orchestrierungs-Engineering, keine Modellforschung. Das ist kein Vorwurf; der meiste produktive Agentennutzen entsteht in der Orchestrierung. Aber es definiert die Obergrenze. Manus kann nicht zuverlässiger sein als seine Basismodelle plus Gerüst, und jedes Team mit API-Zugang kann eine Replikation versuchen. OpenManus, ein Open-Source-Nachbau aus der MetaGPT-Community, erschien wenige Tage nach dem Start.

Die GAIA-Zahlen

Die zentrale Behauptung ist State-of-the-Art-Leistung auf GAIA, einem Benchmark von Mialon et al. aus dem November 2023. GAIA umfasst 466 realweltliche Fragen, die Web-Browsing, Werkzeugnutzung und mehrstufiges Schlussfolgern erfordern, verteilt auf drei Schwierigkeitsstufen. Menschen erreichen etwa 92%; GPT-4 mit Plugins erreichte bei Veröffentlichung 15%. Die folgenden Zahlen sind die von Manus zum Start publizierten Werte.

Drei Details relativieren das Diagramm. Die Werte sind Eigenangaben; bis Mitte März 2025 existiert keine unabhängige Replikation. Der Vorsprung auf Level 2 gegenüber OpenAIs Deep Research beträgt einen einzigen Prozentpunkt und liegt damit innerhalb der Lauf-zu-Lauf-Varianz agentischer Systeme. Und obwohl die Firma angibt, mit der Produktionskonfiguration gemessen zu haben, wurden keine Task-Traces veröffentlicht.

GAIA-Level	Manus (Eigenangabe)	OpenAI Deep Research	Bisheriger Bestwert
Level 1	86,5 %	74,3 %	67,9 %
Level 2	70,1 %	69,1 %	67,4 %
Level 3	57,7 %	47,6 %	42,3 %

Was der Benchmark nicht misst

GAIA misst pass@1 auf kuratierten Fragen mit verifizierbaren Antworten. Es misst nicht, was die Launch-Demos zeigen: Flüge buchen, Essen bestellen, Lebensläufe sichten, Spiele bauen. Diese Aufgaben sind offen, zustandsbehaftet und teilweise irreversibel — Fehlermodi, die GAIA nie berührt. Ein Benchmark für werkzeuggestützte Fragebeantwortung kann keinen allgemeinen Agenten für Aktionen mit Seiteneffekten zertifizieren. Beide Problemklassen teilen Techniken, aber nicht Risikoprofile.

GAIA ignoriert zudem drei Produktionsachsen: Kosten, Latenz und Varianz. Das chinesische Medium 36Kr beziffert die Kosten pro Manus-Task auf rund 2 US-Dollar, etwa ein Zehntel von Deep Research — eine wirklich interessante Zahl. Aber ein Task, der 50 Minuten läuft und bei Schritt 18 von 20 abbricht, kostet mehr als Geld. Benchmarks berichten den Mittelwert; der Betrieb lebt im Tail.

Reproduzierbarkeit in der Praxis

Unabhängige Tests der ersten Woche wichen vom Diagramm ab. TechCrunch erlebte einen Absturz bei einer Essensbestellung, defekte Links bei einer Flugsuche und einen Fehler nach 30 Minuten in einer Coding-Aufgabe. Pleias-Mitgründer Alexander Doria berichtete Fehlermeldungen und Endlosschleifen. Ein viral geteiltes Video von "Manus" beim Bedienen von Smartphone-Apps war laut Ji selbst gar kein Manus. In einem geteilten Vergleich beendete Deep Research eine Aufgabe in unter 15 Minuten; Manus scheiterte nach 50.

Der wohlwollendere Praxistest der MIT Technology Review fand dieselbe Textur: bessere Ergebnisse als ChatGPTs Deep Research bei zwei von drei Recherche-Aufgaben, aber langsamer, blockiert von Captchas und Paywalls, anfällig für Einfrieren unter Last. Ji räumte eine höhere Fehlerrate als Deep Research ein. Die ehrliche Bilanz Mitte März: beeindruckende Mediane, unzuverlässige Tails, unverifizierte Behauptungen.

Warum begrenzte Agenten liefern

Autonomie multipliziert Fehlerraten. Ein Agent mit 90% Zuverlässigkeit pro Schritt beendet eine 20-Schritt-Aufgabe in etwa 12% der Fälle (0,9^20 ≈ 0,12). Allgemeine Autonomie verlangt lange Ketten über beliebige Domänen — genau dort ist die Fehlerakkumulation am schlimmsten. Einen Agenten zu begrenzen verkürzt die Kette und verengt die Domäne. Deshalb ist jeder Agent, der bis Anfang 2025 ausgeliefert wurde, begrenzt.

OpenAIs Deep Research (2. Februar 2025) ist rein lesend: Es browst und schreibt einen Bericht; es handelt nicht. Operator (23. Januar 2025) handelt, fragt aber vor Käufen und Logins um Bestätigung. Anthropics Computer Use, seit dem 22. Oktober 2024 in Beta, ist ausdrücklich als experimentell markiert und für beaufsichtigte risikoarme Aufgaben empfohlen. Coding-Agenten schlagen Diffs vor; Menschen mergen sie.

Wir wenden dasselbe Muster in Kundenprojekten an: begrenzter Auftrag, Checkpoints vor Seiteneffekten, menschliche Freigabe an jedem irreversiblen Schritt, vollständige Traces für Audits. Freigabeschritte sind kein Zugeständnis an schwache Modelle. Sie sind der Mechanismus, der einen zu 70% zuverlässigen Agenten in einen zu 100% nachvollziehbaren Workflow verwandelt — die Eigenschaft, für die Unternehmen tatsächlich zahlen.

Ausblick vom März 2025

Was wir von hier aus erwarten: Orchestrierungsgerüste werden schnell zur Massenware — OpenManus brauchte Tage, und Modellanbieter werden die Schleife in eigene Produkte übernehmen. Benchmark-Behauptungen werden der Reproduktion so lange davonlaufen, bis Agenten-Benchmarks Kosten, Latenz und Fehler-Tails neben pass@1 ausweisen; GAIA-artige Genauigkeit allein wird keine Debatte entscheiden. Manus selbst kann noch ein gutes Produkt werden — das Team testet bereits Claude 3.7 Sonnet — aber "allgemeiner Agent" bleibt 2025 ein Marketingbegriff.

Unsere Position ändert der Demo-Zyklus nicht: Setzen Sie Agenten dort ein, wo die Aufgabe eng ist, die Schritte Checkpoints haben und ein Mensch die irreversiblen verantwortet. Weiten Sie Autonomie nur aus, wenn die gemessene Schrittzuverlässigkeit steigt — nicht wenn die Demos besser werden. Die Teams, die dieses Jahr Wert liefern, werden nicht die mit dem kühnsten Diagramm sein, sondern die, die ihre Traces vorzeigen können.