Codex steuert jetzt PC: Speicher, Plugins, GUI-Automatisierung

Codex geht über Code hinaus: PC-Steuerung, Speicher und über 90 Plugins

OpenAI hat ein großes Update für Codex vorgestellt — ein Tool, das wöchentlich von über 3 Millionen Menschen genutzt wird. Das Update verwandelt den Assistenten von einem eng spezialisierten Programmierhelfer in einen universellen digitalen Agenten, der mit dem Betriebssystem interagieren, Kontext merken und langfristige Aufgaben ohne ständige Benutzerbeteiligung bewältigen kann.

PC-Steuerung auf GUI-Ebene

Die Schlüsselneuheit des Updates ist die Hintergrund-Computersteuerung (Background Computer Use). Codex kann nun Bildschirminhalte sehen, den eigenen Cursor bewegen, auf Interface-Elemente klicken und Text in beliebige Apps eingeben — einschließlich solcher ohne API. Das ist besonders nützlich für GUI-Tools ohne programmatische Schnittstellen für Automatisierungen.

Auf macOS können mehrere Agenten neben dem Nutzer arbeiten, ohne den Eingabefokus zu kapern. Die Funktion ist derzeit auf diese Plattform beschränkt, und Nutzer in der EU und UK erhalten später Zugriff aufgrund regulatorischer Vorgaben. Für Entwickler eröffnen sich neue Szenarien: schnelle Iteration von Frontend-Komponenten, UI/UX-Tests und Automatisierung Routineaufgaben in IDEs oder Konfiguratoren.

Browser-Integration und Bildgenerierung

Die Desktop-App enthält nun einen integrierten Browser, mit dem man auf Seitenelemente kommentieren und dem Agenten präzise Anweisungen geben kann. In dieser Phase konzentriert sich die Funktion auf Frontend-Entwicklung und Web-Spiele, doch OpenAI plant eine Erweiterung auf vollständige Browsersteuerung.

Codex hat zudem Zugriff auf das gpt-image-1.5-Modell und kann so Layouts, Icons, Concept-Art und andere Visuals direkt während einer Aufgabe generieren. Beim Erstellen einer Landingpage kann der Agent beispielsweise Designvorschläge machen, sie in HTML/CSS umsetzen und sofort im Browser testen.

Erweitertes Plugin-Ökosystem

Der Integrationskatalog umfasst nun über 90 neue Plugins. Highlights sind:

• Atlassian Rovo (für die Arbeit mit JIRA)
• CircleCI und GitLab Issues (CI/CD und Bug-Tracking)
• Microsoft Suite (Office-Tools)
• Neon von Databricks (Cloud-Datenbanken)
• CodeRabbit und Superpowers (Code-Reviews und fortgeschrittene Dev-Tools)
• Remotion und Render (Video und Hosting)

Diese Integrationen ermöglichen es Codex, den gesamten Entwicklung-Lebenszyklus abzudecken: von der Aufgabenvergabe in Trackern bis hin zu Deployment und Monitoring.

Langfristige Aufgaben und persistenter Speicher

Der Agent kann Kontext nun über Sessions hinweg behalten. Das neue Speichersystem merkt sich Benutzerpräferenzen, Stil-Anpassungen, häufig genutzte Vorlagen und Interaktionshistorie. Bisher musste diese Info über System-Prompts dupliziert werden; nun wird sie automatisch gespeichert.

Dazu kann Codex eigene „Alarme“ setzen — Aufgaben verschieben und nach Stunden, Tagen oder Wochen darauf zurückkehren. Beispielszenarien:

• Automatisches Abschließen unbeaufsichtigter Pull Requests
• Überwachen von Benachrichtigungen in Slack, Gmail und Notion, dann handeln
• Aufbau eines einheitlichen Kontexts aus verteilten Diskussionen über Tools hinweg

Proaktive Empfehlungen und Multitasking

Die Oberfläche bietet nun zu Tagesbeginn eine personalisierte Aktionsliste. Der Agent analysiert offene Dokumente in Google Docs, ungelesene Slack-Nachrichten, Notion-Aufgaben und den Status von Code-Repos, um einen priorisierten Arbeitsplan zu erstellen.

Der Desktop-Client ergänzt sich um:

• Parallele Terminal-Tabs
• SSH-Zugriff auf remote Devboxes (in Alpha)
• Sidebar-Vorschau für PDFs, Tabellenkalkulationen, Präsentationen und Textdokumente
• GitHub-Review-Integration direkt in der Oberfläche

Wichtige Erkenntnisse:

• Codex ist nicht mehr auf Code-Generierung beschränkt — es ist ein vollwertiger OS-Agent.
• Hintergrund-GUI-Steuerung funktioniert auch in Apps ohne API.
• Speicher und langfristige Aufgaben ermöglichen komplexe Workflow-Automatisierung.
• Über 90 neue Plugins decken den gesamten Dev-Zyklus ab.
• Personalisierungsfunktionen sind vorübergehend in der EU und UK nicht verfügbar.

Das Update ist nun für Nutzer der ChatGPT-Desktop-App mit persönlichen Accounts verfügbar. Enterprise- und Edu-Versionen erhalten Speicher- und Personalisierungsfunktionen später.

— Editorial Team