Computersteuerung in Claude: PC-Steuerung ohne API

Claude steuert den Computer: Computersteuerung in Cowork und Code von Anthropic

Anthropic hat die Computersteuerungstechnologie in seine Produkte Claude Cowork und Claude Code integriert. Das Modell steuert nun eigenständig Maus, Tastatur und Bildschirm, öffnet Browser, klickt auf Elemente und füllt Formulare aus, wenn direkte Integrationen nicht verfügbar sind.

Wie die Computersteuerung funktioniert

Die Technologie wurde im Oktober 2024 als API für Entwickler vorgestellt. In Verbraucherprodukten aktiviert sie sich ohne Code: Claude prüft zuerst auf integrierte Verbindungen (Slack, Google Calendar), dann schaltet es zur Bildschirmsteuerung um. Explizite Benutzererlaubnis ist erforderlich, bevor eine neue Anwendung geöffnet wird. Der integrierte Scanner überwacht Prozesse auf bösartige Aktivitäten und blockiert verdächtige Vorgänge.

Dadurch kann das Modell Aufgaben bewältigen, bei denen APIs fehlen: Links folgen, Daten in Formulare eingeben, Interfaces navigieren. Die Geschwindigkeit ist geringer als bei direkten Integrationen, aber die Funktionalität ist breiter.

Integration mit Dispatch

Dispatch, vor einer Woche lanciert, verwandelt Ihr Smartphone in eine Steuerung: Aufgaben werden vom Mobilgerät versendet und am Desktop ausgeführt. Die Computersteuerung ergänzt diese Kombination:

• Routineaufgaben automatisieren: E-Mails prüfen, morgendliche Zusammenfassungen erstellen.
• DevOps-Vorgänge: Tests in der IDE ausführen, Pull Requests erstellen.
• Cross-Platform-Szenarien: Desktop über mobile Oberfläche steuern.

Beispielablauf: Ein Entwickler startet eine Aufgabe vom Smartphone, Claude öffnet das Terminal, führt Skripte aus und gibt die Logs zurück.

Einschränkungen und Sicherheit

Die Funktion befindet sich in der Research Preview für Pro/Max-Abonnenten, nur unter macOS. Anthropic betont ihren rohen Entwicklungsstand:

• Komplexe Aufgaben erfordern Neustarts.
• Bildschirmsteuerung ist langsamer als API.
• Sensible Apps sind standardmäßig blockiert.

Empfehlungen:

• Nur mit vertrauenswürdigen Diensten verwenden.
• Hochsensible Daten vermeiden.
• Zugriffsrechte überwachen.

Der Scanner verhindert Jailbreaks und unbefugte Aktionen, aber darauf allein sollte man sich nicht verlassen.

Wichtige Punkte

• Vielseitigkeit: Fallback auf Bildschirmsteuerung erweitert Szenarien über APIs hinaus.
• Sicherheit: Pflichtgenehmigungen und Scanner minimieren Risiken.
• Integration: Dispatch + Computersteuerung automatisiert End-to-End-Aufgaben.
• Verfügbarkeit: Research Preview auf macOS für Pro/Max.
• Leistung: Geeignet für Prototypen, nicht für Produktion.

Perspektiven für Entwickler

Für Middle-/Senior-Spezialisten eröffnet die Computersteuerung Automatisierung ohne maßgeschneiderte Integrationen. In CI/CD können manuelle Deploys, UI A/B-Tests oder Dashboard-Überwachung an Claude delegiert werden. Kombiniert mit IDE – PRs mit automatischen Korrekturen generieren.

Tests werden die Stabilität bei Produktionslasten zeigen. Erwarten Sie Erweiterung auf Windows/Linux und vollständigen Release.

— Editorial Team