Computer Use: Wenn Claude den Desktop bedient
Am 22. Oktober 2024 veröffentlichte Anthropic Computer Use als Public Beta: Claude 3.5 Sonnet bedient Desktops über Screenshots, Maus und Tastatur. Wir erklären die Agentenschleife, die OSWorld-Ergebnisse (14,9 Prozent gegenüber rund 72 Prozent beim Menschen), bekannte Fehlermodi, Sicherheitsschranken und welche Workflows sich damit heute automatisieren lassen und welche nicht.
Die letzte Meile der Automatisierung
Ein erheblicher Teil der Unternehmensarbeit läuft weiterhin über grafische Oberflächen ohne API: alte ERP-Clients, Lieferantenportale, Citrix-Sitzungen, interne Werkzeuge, deren Entwickler längst gegangen sind. Klassische RPA automatisiert diese Oberflächen mit aufgezeichneten Pixelpositionen und UI-Selektoren. Sie bricht, sobald ein Dialog verrutscht, eine Schrift skaliert oder ein unerwartetes Popup erscheint. Die Skripte sind deterministisch, die Bildschirme nicht. Dieses Missverhältnis hält GUI-Automatisierung seit zwei Jahrzehnten teuer und fragil.
Große Sprachmodelle können solche Abläufe seit einiger Zeit planen. Ausführen konnten sie sie nicht; ihnen fehlten die Hände. Computer Use schließt genau diese Lücke: ein Modell, das den Bildschirm als Pixel liest und Maus- und Tastaturaktionen zurückgibt. Die relevante Frage ist nicht, ob das in einer Demo funktioniert. Sie lautet, wo die Technik zuverlässig genug für den Einsatz ist — und wo nicht.
Was Anthropic am 22. Oktober veröffentlichte
Am 22. Oktober 2024 hat Anthropic Computer Use als Public Beta veröffentlicht, zusammen mit einem verbesserten Claude 3.5 Sonnet (claude-3-5-sonnet-20241022) und der Ankündigung von Claude 3.5 Haiku. Die Beta ist über die Anthropic API, Amazon Bedrock und Google Cloud Vertex AI verfügbar. Anthropics eigene Formulierung ist für einen Produktlaunch ungewöhnlich direkt: Die Fähigkeit sei experimentell und "zeitweise umständlich und fehleranfällig".
Das aktualisierte Sonnet verbessert zugleich die agentischen Grundlagen, auf denen Computer Use aufsetzt: SWE-bench Verified steigt von 33,4 auf 49,0 Prozent, TAU-bench Retail von 62,6 auf 69,2 Prozent — zum Preis des Vorgängers, 3 US-Dollar pro Million Eingabe-Tokens und 15 pro Million Ausgabe-Tokens. Claude 3.5 Sonnet ist das erste Frontier-Modell, das diese Fähigkeit in einer öffentlichen Beta anbietet.
Die Agentenschleife: vom Screenshot zur Aktion
Technisch ist Computer Use ein Tool-Use-Muster, aktiviert über den Beta-Header computer-use-2024-10-22 und drei von Anthropic definierte Tools: computer_20241022 für Screenshots, Maus und Tastatur, text_editor_20241022 für Dateiänderungen, bash_20241022 für Shell-Kommandos. Das Modell führt selbst nichts aus. Es liefert Tool-Aufrufe; die Client-Anwendung implementiert jede Aktion. Dieser Client ist damit der natürliche Durchsetzungspunkt für alle Einschränkungen, die der Betreiber setzen will.
Die Schleife ist schlicht: Der Client sendet einen Screenshot, das Modell antwortet mit einer Aktion samt Pixelkoordinaten, der Client führt sie aus und erzeugt den nächsten Screenshot. Anthropics Referenzimplementierung im Repository anthropic-quickstarts läuft komplett in einem Docker-Container mit virtuellem X11-Display bei 1024x768 und Streamlit-Frontend — eine wegwerfbare Sandbox, nicht der eigene Desktop. Dieser Standard ist der richtige; wir empfehlen, ihn beizubehalten.
Benchmark-Realität auf OSWorld
Die ehrlichen Zahlen liefert OSWorld, ein im April 2024 veröffentlichter Benchmark mit 369 realen Computeraufgaben. Das neue Claude 3.5 Sonnet erreicht 14,9 Prozent in der Screenshot-only-Kategorie — rund das Doppelte der 7,8 Prozent des nächstbesten Systems — und 22,0 Prozent mit mehr erlaubten Schritten pro Aufgabe. Geübte menschliche Nutzer erreichen etwa 72 Prozent. Der Stand der Technik liegt damit bei einem Fünftel menschlicher Zuverlässigkeit.
Die Fehlermodi sind banal. Anthropic nennt selbst Scrollen, Ziehen und Zoomen als unzuverlässig. Jeder Schritt kostet einen Screenshot in Bild-Tokens plus Sekunden Latenz, und Fehler pro Schritt multiplizieren sich über lange Aktionsketten. Während einer aufgezeichneten Demo brach Claude die Programmieraufgabe ab und begann, Fotos des Yellowstone-Nationalparks anzusehen. Anthropic berichtet diese Anekdote selbst — und sie beschreibt das aktuelle Zuverlässigkeitsniveau präzise.
| System | OSWorld-Ergebnis |
|---|---|
| Claude 3.5 Sonnet (nur Screenshots) | 14,9 % |
| Claude 3.5 Sonnet (mehr Schritte erlaubt) | 22,0 % |
| Nächstbestes KI-System (nur Screenshots) | 7,8 % |
| Menschliche Baseline | ca. 72 % |
Sicherheitsschranken für Desktop-Agenten
Anthropic hat Computer Use gegen die eigene Responsible Scaling Policy geprüft und belässt das Modell auf AI Safety Level 2: keine neuen Frontier-Risiken, aber konkrete Gegenwartsrisiken. Die dominante technische Bedrohung ist Prompt Injection. Ein Agent, der den Bildschirm liest, behandelt alles auf diesem Bildschirm als Eingabe — auch Text auf einer präparierten Webseite, der ihn anweist, seine bisherigen Instruktionen zu ignorieren. Eine robuste modellseitige Abwehr existiert heute nicht.
Die Absicherung liegt deshalb beim Betreiber. Betreiben Sie den Agenten in einer isolierten VM oder einem Container, gewähren Sie keinen Zugriff auf Zugangsdaten oder sensible Daten, verlangen Sie menschliche Bestätigung vor folgenreichen Aktionen und beschränken Sie erreichbare Domains auf eine Allowlist. Anthropic betreibt zusätzlich Klassifikatoren für sensible Nutzungsmuster, mit ausdrücklichem Verweis auf die anstehende US-Wahl. Nichts davon ist optionales Hardening; es ist die Voraussetzung für den Betrieb der Beta.
Was man automatisiert und was nicht
Unsere Arbeitsregel bei Blue IT Systems: Computer Use ist ein Fallback, kein Standard. Wo eine stabile API existiert, gewinnt die API — sie ist deterministisch, schneller und pro Vorgang um Größenordnungen günstiger als eine Screenshot-Schleife. Bildschirmsteuerung ist genau dort gerechtfertigt, wo keine programmatische Schnittstelle existiert: alte GUI-Anwendungen, geschlossene Lieferantenportale, exploratives Testen von Benutzeroberflächen. Diese Reihenfolge klingt trivial; in Projekten wird sie regelmäßig verletzt, weil die Demo beeindruckt.
Sinnvoll sind heute beaufsichtigte, leseintensive Aufgaben mit kleinem Schadensradius in Sandboxes: Smoke-Tests alter Anwendungen, Datenextraktion aus reinen GUI-Systemen, Formularübertragung zwischen internen Werkzeugen in Testumgebungen. Nicht sinnvoll sind Zahlungen, Umgang mit Zugangsdaten, Produktionsdaten, irreversible Aktionen und unbeaufsichtigte Langläufer. Ein System mit 14,9 Prozent auf OSWorld darf nie die letzte Instanz vor einem unumkehrbaren Klick sein. Diese Grenze wird sich verschieben; heute verläuft sie hier.
Ausblick: Agenten am Bildschirm
Anthropic erwartet schnelle Verbesserungen, und wir halten das für plausibel. Computer Use ist überwiegend ein Wahrnehmungs- und Robustheitsproblem, und beides reagiert auf Trainingsdaten und auf Rückmeldungen aus dieser Beta. Wir erwarten, dass OSWorld-Werte binnen eines Jahres deutlich steigen und hybride Agenten — Accessibility-Trees und DOM-Struktur kombiniert mit Pixeln — zur praktischen Norm werden, weil reine Pixelsteuerung Informationen verschenkt, die das System bereits hat.
Die interessantere Verschiebung liegt auf der anderen Seite des Bildschirms. Werden Agenten zu regulären Nutzern, bekommen Betriebssysteme und Anwendungen maschinenlesbare Oberflächen für sie — und der Screenshot wird zum Fallback statt zur Schnittstelle. Bis dahin gilt die Disziplin: Sandbox, Aufsicht, kleiner Schadensradius, APIs zuerst. Die Technik ist real. Produktionsreife ist es noch nicht.
Quellen
- Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku (Anthropic, Oct 22, 2024)
- Developing a computer use model (Anthropic, Oct 22, 2024)
- Computer use (beta) — Anthropic API documentation (Oct 2024)
- anthropic-quickstarts: computer-use-demo reference implementation (GitHub, Oct 22, 2024)
- Xie et al.: OSWorld — Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (arXiv:2404.07972, Apr 11, 2024)