Como encontrar elementos usando visão computacional em conexões remotas?

Como encontrar elementos usando visão computacional em conexões remotas?

Por motivos de segurança, é comum que o cliente não permita o acesso direto ao ambiente, e a automação precise ser construída através de uma conexão remota. Nesse cenário, o robô pode encontrar os elementos em uma conexão e deixar de encontrá-los na seguinte. Veja abaixo por que isso acontece e como configurar a conexão para que as capturas funcionem sempre.

1. Por que o robô encontra os elementos em uma conexão e não na seguinte?

A imagem capturada muda de uma conexão para outra. Se a resolução da sessão RDP for adaptativa, ou se a qualidade da conexão for definida automaticamente pela velocidade da rede, cada sessão apresenta a tela de um jeito um pouco diferente, e as imagens capturadas no BotCity Studio deixam de corresponder ao que aparece na tela.

Por exemplo, se você capturou um botão com a conexão em tela cheia num monitor Full HD e depois se conecta por um notebook com outra resolução, o botão aparece em outro tamanho e o robô não o encontra.

2. Como configurar a sessão RDP para manter as capturas constantes?

Configure a sessão RDP antes de mapear os elementos:

  1. No cliente de conexão remota, clique em Mostrar opções.
  2. Na aba Exibir, defina uma resolução fixa, em vez de uma opção adaptativa como tela cheia.
  3. Na aba Experiência, escolha um parâmetro fixo de qualidade, em vez de deixar a detecção automática pela velocidade da conexão.

Com a resolução fixa, você consegue capturar a tela pelo BotCity Studio e usar os métodos de visão computacional do Framework Desktop para manipular uma aplicação que está executando no ambiente remoto.

3. Preciso recapturar os elementos depois de alterar a conexão?

Sim. Qualquer mudança nas configurações de resolução ou experiência altera a imagem da tela. Sempre atualize os elementos visuais no BotCity Studio, capturando-os novamente depois de ajustar o acesso remoto. Caso contrário, as imagens antigas não serão encontradas.

Ainda precisa de ajuda?

Se isso não resolver o seu caso ou sua pergunta não está listada aqui, abra um chamado com o time de suporte.