Formation Computer Use : Piloter une Interface avec Garde-Fous

Avec Computer Use, Claude analyse une capture d'écran de l'ordinateur et propose des actions — déplacer la souris, cliquer, saisir au clavier — dans l'interface. Anthropic a ouvert cette capacité en research preview, à un stade précoce assumé, avant de l'industrialiser : le contrôle du Mac par Claude Cowork et les tâches d'agent de Claude Code en descendent directement. Disponibilité, systèmes pris en charge et limites évoluent : vérifiez la documentation officielle de l'offre utilisée.

Claude, comme tout agent qui contrôle un écran, peut cliquer au mauvais endroit, mal lire une application ou répéter une action. Anthropic ajoute des garde-fous — le système scanne les activations du modèle pour détecter les tentatives d'injection cachées dans une page — mais une démonstration réussie ne prouve pas qu'un workflow d'automatisation est fiable en production.

La formation apprend à choisir une tâche étroite, définir les actions autorisées et prévoir une confirmation humaine avant toute opération sensible ou irréversible.

Le mode d'emploi de Computer Use tient en trois briques : l'API d'Anthropic expose l'outil computer à un agent, Claude reçoit la capture de l'écran de l'ordinateur, renvoie l'action suivante — souris, clavier — et l'utilisateur garde la main sur ce qu'il autorise. Anthropic documente une implémentation de référence : un conteneur isolé, accessible en local ou dans le cloud, où Claude peut naviguer sur le web, ouvrir une app et automatiser des tâches complexes.

Sur l'ordinateur personnel, la fonctionnalité arrive par les produits Anthropic : Claude Cowork sur macOS — le contrôle du Mac — puis Windows pour le bureau, Claude in Chrome pour naviguer dans le navigateur, Claude Code au terminal pour le développement logiciel. Chaque produit ouvre cette capacité différemment, du poste Windows au Mac. Les agents de recherche d'information, le dispatch de demandes ou la saisie croisée entre app s'y testent — l'agent peut ouvrir une application, faire une recherche, automatiser une tâche répétitive, chaque essai commençant isolé, outils bornés. Recevez le rapport, validez, puis élargissez l'autonomie. Claude Sonnet motorise souvent ces boucles d'agents ; Gemini (Google) et d'autres poussent leurs équivalents.

Exécutez les essais dans un environnement dédié, sans accès implicite à la machine de travail, aux secrets ou aux données de production.

Limitez les applications, domaines, fichiers et commandes accessibles. Utilisez des comptes de test et des données fictives lorsque c'est possible.

Journalisez les captures, décisions et actions tout en évitant de conserver inutilement des données personnelles ou confidentielles.

L'isolement réduit le risque mais ne garantit pas la sécurité. La DSI valide l'architecture, les accès et la procédure d'arrêt avant un déploiement.

Tests d'interface : Claude explore un parcours et prépare un rapport accessible à l'équipe, puis les anomalies se confirment avec des tests déterministes.

Saisie assistée : Claude prépare des champs à partir d'une source contrôlée, l'utilisateur valide avant enregistrement.

Applications sans API : comparer le coût et le risque du pilotage visuel à une intégration ou une procédure manuelle — brancher Slack ou Google Calendar par un connecteur dédié (MCP) bat presque toujours le pilotage d'écran, plus fiable qu'un agent qui avance à l'aveugle.

Support opérationnel : guider une personne dans une application sans donner à l'agent davantage de droits que nécessaire ; les tâches répétitives de productivité (dispatch de demandes, saisie croisée entre applications) se testent en environnement isolé d'abord.

Pour chaque cas, mesurez le taux d'erreur, le temps de contrôle, le coût et la capacité de reprise après incident.