Formation Computer Use : Piloter une Interface avec Garde-Fous

Claude ne connaît pas la structure d'une interface comme un programme relié à des champs nommés. Il reçoit une capture, repère les éléments visibles, choisit un geste, puis observe l'image suivante. Un bouton déplacé, une fenêtre tardive ou un texte ambigu peuvent provoquer une erreur. Claude compare la nouvelle capture à l'état attendu avant de poursuivre.

L'atelier BGB commence par un parcours court. Le participant décrit ce qui doit être visible avant chaque étape : référence exacte, total cohérent, zone vide ou bouton final intact. L'application reste ouverte sur un ordinateur de test. La souris et le clavier servent aux seuls gestes prévus ; tout écart à l'écran impose un arrêt. Claude garde ainsi un contrôle lisible sur des tâches courtes. L'exercice utilise uniquement des références, des montants et des comptes fictifs.

Claude ne reçoit jamais la consigne « finis tout ». Le modèle obtient un résultat observable, une limite et une règle de reprise. La documentation Anthropic permet de vérifier l'état de la fonctionnalité, ses restrictions et son utilisation avec l'offre retenue. Une démonstration réussie ne prouve pas la fiabilité d'un processus réel.

Avec l'API d'Anthropic, l'équipe fournit la machine virtuelle ou le conteneur et exécute elle-même les actions qu'elle autorise. Elle construit la boucle, choisit les logiciels et décide des journaux conservés. L'implémentation de référence fournit un environnement conteneurisé pour l'essai ; elle ne constitue pas une architecture de production prête à l'emploi.

Dans Claude Desktop, Computer Use agit directement dans les applications autorisées du poste. Il n'existe pas de bac à sable entre Claude et le bureau. Une permission par app, une liste de blocage et l'arrêt manuel réduisent le risque sans le supprimer. Un lien ouvert depuis un logiciel peut aussi lancer une autre fenêtre. Ces tâches s'enchaînent alors sur le bureau, dans la limite accordée.

Côté API, le responsable maîtrise l'exécution et peut refuser une commande avant qu'elle atteigne la machine. Dans Claude Desktop, il borne les droits, surveille les gestes et garde un contrôle humain sur les effets réels. Chaque voie est accessible pour un prototype, mais les preuves et les moyens d'audit diffèrent. Anthropic précise que Computer Use exige cet environnement d'exécution côté client. Le choix d'architecture est consigné avec ses limites de traitement et d'audit.

Sur ce Mac ou ce poste de test, le profil ne contient ni messagerie personnelle, ni portefeuille, ni mot de passe enregistré. Sous macOS, les droits d'accessibilité et de capture sont relus avant la séance. Seules les applications non sensibles restent ouvertes, avec un compte fictif et un dossier réinitialisable. La formation vérifie ces réglages avant les tâches d'essai.

Le participant utilise trois lignes inventées et une destination sans conséquence. Il ferme les sessions inutiles et vérifie la liste de blocage. Le navigateur dispose d'un profil vierge ; le terminal, s'il est requis, reste limité au répertoire d'exercice. Ces données restent confinées au jeu d'essai et ne sont jamais recopiées dans un compte de production.

Une capture peut montrer des données hors consigne. Notifications, historique récent et aperçus de fichiers sont masqués avant la revue visuelle. Claude ne doit voir que les éléments nécessaires. Une zone techniquement atteignable n'est pas autorisée pour autant.

Sur ce Mac, le périmètre reste visible et stable. L'app locale accède seulement aux ressources déjà autorisées dans macOS. Sur un autre ordinateur, le même inventaire sert sous Windows : applications permises, dossiers ouverts et commande d'arrêt. Claude reçoit uniquement ce périmètre ; le parcours cesse dès qu'une action sort du dossier préparé.

Automatiser une tâche ne consiste pas à déléguer une intention vague. Le scénario fixe le départ, le résultat, les gestes admis et les sorties interdites. Pour des opérations complexes, ces tâches sont testées séparément : retrouver cinq demandes fictives, préparer leur classement, puis s'arrêter avant l'enregistrement. Les agents travaillent donc sur un lot limité.

Une recherche suit le même principe. Claude consulte trois pages autorisées et prépare une note sans publier. S'il ne peut plus naviguer, si un champ manque ou si un message inattendu apparaît, il signale le blocage. Chaque étape prévoit une règle d'arrêt et une procédure de reprise.

La consigne fixe un nombre maximal d'actions, une durée et un coût. Ces limites coupent une boucle sans progrès. La personne qui supervise reprend, réduit le périmètre ou abandonne l'automatisation. Ce contrôle évite qu'une petite erreur produise une série de modifications.

Claude peut automatiser ces tâches seulement si leur niveau de risque est écrit. Dans ce scénario, Claude annonce le contrôle attendu après chaque groupe de tâches et s'arrête au plafond.

Une image de l'écran peut montrer le nom d'un client, une adresse ou une conversation privée. L'utilisateur masque les zones inutiles et remplace les informations métier par un jeu fictif. Les captures conservées reçoivent une durée, un emplacement et une liste d'accès. La formation utilise ces données factices pour vérifier le masquage.

Dans la boucle fournie par une équipe, les journaux appartiennent à son environnement. Anthropic traite l'image transmise dans le cadre de l'appel, tandis que le stockage local dépend de l'implémentation choisie et du contrat applicable. Il faut donc documenter séparément ce qui part au service, ce qui reste dans l'infrastructure et ce qui est supprimé après l'essai. Claude traite ces données comme tout élément visible à l'écran : il ne sait pas qu'elles sont hors sujet sans consigne. Un registre indique ensuite quelles données ont été transmises et quel écran était actif.

Avant tout accès métier, l'équipe documente la finalité, la base légale, les destinataires, la durée de conservation et les droits applicables. Le DPO ou le référent RGPD et la DSI valident le dispositif selon leur périmètre. Une démonstration fictive n'autorise pas le passage en production. L'entreprise conserve uniquement les données de test nécessaires à la preuve. Chaque utilisateur connaît la durée retenue et le contact RGPD. Claude ne décide ni de la finalité ni de la durée ; la documentation d'Anthropic ne remplace pas cette analyse.

Un contenu web, un courriel ou un document peut afficher une phrase qui cherche à détourner la mission. Claude la lit avec le reste de l'image. Le danger augmente s'il peut consulter une source externe puis écrire ailleurs avec les mêmes droits. Un texte web reste une entrée non fiable, même lorsqu'il ressemble à une consigne interne. Les outils d'écriture restent désactivés pendant cette lecture.

Anthropic décrit des classificateurs destinés à repérer certains signes d'injection et à demander une confirmation. Cette protection reste partielle. La défense la plus concrète consiste à séparer lecture et écriture, limiter les domaines consultés et refuser toute destination imprévue. La fonctionnalité de détection complète ces mesures ; elle ne les remplace pas. La recherche sur un contenu externe reste en lecture seule.

Une page fictive contient une instruction parasite. Claude doit l'ignorer, signaler l'anomalie et revenir au scénario. Une nouvelle boîte de dialogue, une demande de secret ou un changement d'objectif provoquent le même arrêt. Le formateur vérifie ce réflexe avant d'élargir le périmètre. L'exercice n'est validé que si l'instruction parasite est signalée sans action extérieure. Les agents doivent conserver cette règle d'arrêt à chaque essai.

Un connecteur dédié ou une API documentée reste préférable pour un objet structuré. Une intégration limite les champs, borne la destination et renvoie une erreur exploitable. Dans Cowork, l'ordre documenté est le suivant : connecteur, navigateur via Claude in Chrome, puis interaction visuelle. Anthropic décrit cet ordre dans l'aide consacrée à Cowork.

Computer Use devient utile face à un logiciel sans interface programmable adaptée, à condition que le parcours soit court, réversible et supervisé. Claude traite ces tâches par gestes visibles : retrouver la ligne, ouvrir le bon menu, vérifier le nom et attendre l'accord final. L'appel structuré transmet plutôt un identifiant et une destination.

La comparaison porte sur le travail réellement gagné après supervision. Une solution sans développement spécifique peut demander davantage de reprises qu'une connexion ciblée. Pour l'entreprise, l'emploi du pilotage se décide sur les erreurs, le coût et l'effort humain ; l'automatisation n'est retenue qu'après plusieurs essais. Cet emploi reste conditionné aux résultats mesurés.

Computer Use reste réservé aux tâches que la voie structurée ne couvre pas. Avant cette utilisation, Claude compare le coût du geste visuel à celui d'une automatisation ciblée.

Anthropic présente Dispatch comme une fonction bêta pour les offres Pro et Max. Elle permet d'envoyer une demande depuis l'app mobile vers une conversation de travail continue. Sur un Mac, le poste doit rester éveillé et Claude Desktop ouvert. Quand le travail est fini ou qu'une précision manque, vous recevez une notification.

Dispatch ne rend pas le poste distant plus sûr. Il ajoute au contraire une chaîne entre le message mobile, les permissions locales et les gestes effectués sur le bureau. Avant de l'activer, le responsable relit les dossiers reliés, les services disponibles et la façon de couper l'accès. Une demande venue du téléphone ne doit jamais élargir les droits établis sur place.

Cette voie ne se confond pas avec une session cloud, qui continue lorsque la machine est éteinte sans atteindre automatiquement les ressources locales. Le cloud n'hérite pas des autorisations du poste. Depuis le web ou le mobile, le poste reste accessible seulement si le client local est ouvert et déjà autorisé. Sous Windows, les mêmes précautions s'appliquent.

Dans ce mode, Claude peut reprendre des tâches préparées plus tôt. Une session Cowork qui s'appuie sur Computer Use conserve les mêmes limites locales. Le journal reste accessible à la personne qui supervise. Vous recevez alors l'état du travail, pas une garantie de réussite.

Une réussite isolée ne suffit pas. Claude et les autres agents sont évalués plusieurs fois depuis le même état initial. L'équipe relève les tâches terminées, les erreurs, les arrêts conformes, la durée, le coût et le temps de reprise. Un changement de décor ne prouve pas une amélioration du modèle. Le protocole conserve séparément les résultats de chaque essai afin de les comparer.

Pour comparer Claude Sonnet et Gemini, le formateur garde la même machine, les mêmes consignes et les mêmes critères. Chaque solution suit le même scénario : préparer cinq lignes, ne rien envoyer et produire un compte rendu. Les données d'essai restent identiques afin d'éviter une démo favorable.

Le niveau augmente par paliers : parcours stable, délai de chargement, fenêtre imprévue, puis opérations complexes. Le rapport distingue une consigne imprécise, un changement d'interface et une mauvaise décision. Il conclut par un choix concret : poursuivre dans ce cadre, revenir à la procédure manuelle ou automatiser uniquement la partie mesurable.

Claude Sonnet et Gemini reçoivent aussi des tâches complexes de difficulté égale. Le périmètre n'est élargi que si chaque agent respecte les arrêts sur plusieurs essais.

La formation s'adresse aux équipes produit, opérations, support et développement qui savent décrire leurs tâches. Aucun prérequis de programmation n'est demandé pour les ateliers d'interface. La partie code vise les profils capables de lire un dépôt ; le développement du script témoin reste séparé du parcours visuel.

Le premier atelier prépare le poste, les permissions et une tâche de saisie fictive. Le second teste la recherche bornée et l'injection affichée. Un exercice séparé utilise Claude Code dans le terminal pour exploiter un rapport visuel sans toucher au déploiement. Les deux usages gardent des rôles distincts et une validation humaine les sépare.

Le document final rassemble le scénario, les droits, les mesures, les incidents et la procédure d'arrêt. Il constitue une évaluation du cas étudié, pas une certification ni une promesse d'autonomie générale. L'équipe repart avec un protocole qu'elle peut rejouer et une décision argumentée sur la mise en service.

Le protocole livré borne les entrées, les sorties et les accès. L'exercice final confronte le pilotage visuel à un script déterministe, puis documente le choix à partir des preuves de test. La documentation d'Anthropic sert à borner l'usage de l'outil, pas à valider le choix métier.