Codex contrôle maintenant le PC : mémoire, plugins, automatisation GUI

# # Codex va au-delà du code : contrôle du PC, mémoire et plus de 90 plugins

OpenAI a dévoilé une mise à jour majeure de Codex — un outil utilisé par plus de 3 millions de personnes chaque semaine. Cette mise à jour transforme l'assistant d'un simple aide à la programmation spécialisé en un agent numérique universel capable d'interagir avec le système d'exploitation, de se souvenir du contexte et de gérer des tâches à long terme sans intervention constante de l'utilisateur.

Contrôle du PC au niveau de l'interface graphique

La fonctionnalité clé de cette nouvelle version est le contrôle en arrière-plan de l'ordinateur (utilisation en arrière-plan de l'ordinateur). Codex peut désormais voir le contenu de l'écran, déplacer son propre curseur, cliquer sur les éléments d'interface et saisir du texte dans n'importe quelle application — y compris celles sans API. Cela est particulièrement utile pour les outils GUI qui manquent d'interfaces programmatiques pour l'automatisation.

Sur macOS, plusieurs agents peuvent travailler aux côtés de l'utilisateur sans voler le focus d'entrée. Cette fonctionnalité est pour l'instant limitée à cette plateforme, et les utilisateurs de l'UE et du Royaume-Uni y auront accès plus tard en raison des exigences réglementaires. Pour les développeurs, cela ouvre de nouveaux scénarios : itération rapide de composants frontend, tests UI/UX et automatisation de tâches routinières dans les IDE ou les configurateurs.

Intégration au navigateur et génération d'images

L'application de bureau intègre désormais un navigateur intégré qui permet de commenter les éléments de page et de donner des instructions précises à l'agent. À ce stade, la fonctionnalité se concentre sur le développement frontend et les jeux web, mais OpenAI prévoit de l'étendre à un contrôle complet du navigateur.

Codex a également accès au modèle gpt-image-1.5, ce qui lui permet de générer des mises en page, des icônes, de l'art conceptuel et d'autres visuels directement au milieu d'une tâche. Par exemple, lors de la création d'une page d'accueil, l'agent peut suggérer des options de design, les implémenter en HTML/CSS et les tester immédiatement dans le navigateur.

Écosystème de plugins étendu

Le catalogue d'intégrations a ajouté plus de 90 nouveaux plugins. Parmi les temps forts :

• Atlassian Rovo (pour travailler avec JIRA)
• CircleCI et GitLab Issues (CI/CD et suivi des bugs)
• Microsoft Suite (outils Office)
• Neon de Databricks (bases de données cloud)
• CodeRabbit et Superpowers (révision de code et outils de développement avancés)
• Remotion et Render (vidéo et hébergement)

Ces intégrations permettent à Codex de gérer l'ensemble du cycle de développement : de l'assignation de tâches dans les trackers au déploiement et à la surveillance.

Tâches à long terme et mémoire persistante

L'agent peut désormais conserver le contexte entre les sessions. Le nouveau système de mémoire se souvient des préférences de l'utilisateur, des ajustements de style, des modèles couramment utilisés et de l'historique des interactions. Auparavant, ces informations devaient être dupliquées via des invites système ; désormais, elles sont stockées automatiquement.

En plus de cela, Codex peut définir ses propres « alarmes » — en reportant des tâches et en y revenant après des heures, des jours ou des semaines. Exemples de scénarios :

• Compléter automatiquement les pull requests non suivies
• Surveiller les notifications dans Slack, Gmail et Notion, puis agir
• Construire un contexte unifié à partir de discussions dispersées dans divers outils

Recommandations proactives et multitâche

L'interface propose désormais une liste d'actions personnalisée au début de la journée. L'agent analyse les documents ouverts dans Google Docs, les messages Slack non lus, les tâches Notion et l'état des dépôts de code pour créer un plan de travail priorisé.

Le client de bureau ajoute également :

• Onglets de terminal parallèles
• Accès SSH aux devboxes distants (en alpha)
• Aperçu en barre latérale pour les PDF, tableurs, présentations et documents texte
• Intégration de la révision GitHub directement dans l'interface

Points clés :

• Codex n'est plus limité à la génération de code — c'est un agent OS complet.
• Le contrôle GUI en arrière-plan fonctionne même dans les applications sans API.
• La mémoire et les tâches à long terme permettent l'automatisation de flux de travail complexes.
• Plus de 90 nouveaux plugins couvrent l'ensemble du cycle de développement.
• Les fonctionnalités de personnalisation sont temporairement indisponibles dans l'UE et au Royaume-Uni.

La mise à jour est désormais disponible pour les utilisateurs de l'application de bureau ChatGPT connectés avec des comptes personnels. Les versions Enterprise et Edu recevront les fonctionnalités de mémoire et de personnalisation plus tard.

— Editorial Team