agent-desktop permite que agentes de programação operem apps de desktop pela árvore de acessibilidade, sem screenshots

Agentes de programação podem operar apps de desktop pelos nomes dos botões e campos em vez de adivinhar a partir de screenshots. Se a tela mudou, um clique falha em vez de acertar a coisa errada. Snapshots podem capturar conteúdo privado do desktop. Por que importa: O uso de computador baseado em screenshots adivinha onde clicar a partir de pixels. Ler a árvore de acessibilidade do app dá ao agente botões e campos com nome, e uma referência desatualizada falha de forma explícita em vez de acertar a linha errada. O limite é a mesma árvore: na nossa leitura, apps com rótulos de acessibilidade ruins dão pouco ao agente, e o README avisa que snapshots e leituras da área de transferência podem conter conteúdo privado do desktop.

Para testar: Instale com `npm install -g agent-desktop`, rode `agent-desktop snapshot --app Finder -i` (ou qualquer app de `list-apps`) e veja se as referências nomeiam os botões de que o seu agente precisaria.