Computer Use : quand l'IA pilote la souris et le clavier

Ce qu'est Computer Use

Le tool use normal appelle des fonctions clairement définies. Le computer use va plus loin : le modèle reçoit des captures d'écran de l'écran et pilote ensuite la souris et le clavier – cliquer, taper, faire défiler – comme un humain assis devant l'ordinateur. Anthropic a présenté cette capacité en version bêta en octobre 2024 avec Claude 3.5 Sonnet, le premier grand modèle à proposer cette fonction.

Comment se déroule l'échange

Le modèle reçoit une image de capture d'écran comme contexte, décide sur cette base où cliquer ou quoi taper, renvoie cette action de façon structurée, l'action est exécutée, une nouvelle capture d'écran est prise – et le cycle recommence. C'est le même cycle tool_use/tool_result que pour le tool use normal, sauf que l'écran remplace la logique métier comme « outil ».

À quoi ça sert

Le computer use permet d'utiliser des applications qui n'ont pas d'API : logiciels anciens, interfaces inhabituelles, workflows dans le navigateur. Un agent de navigateur peut ainsi cliquer sur un site web comme s'il était humain.

Les limites

Anthropic prévient lui-même : les coordonnées de clic et le choix des outils peuvent être imprécis, le modèle peut halluciner, et la fiabilité baisse sur des interfaces inhabituelles. Danger plus important : des instructions cachées sur une page web ou dans une image peuvent manipuler le modèle (prompt injection) – avec un accès complet à l'écran, le risque est plus élevé qu'avec du simple texte.