Antes de falar de assinatura de robô, o produtor precisa saber quais robôs visitam o site. Este tutorial começa pelo que você já tem: o registro de acesso e o robots.txt.
Passo 1: olhe o registro de acesso
Abra o registro de acesso do seu servidor e procure o campo de identificação do navegador, o user agent. Conte os robôs mais frequentes. Você vai achar buscadores, agentes de IA e robôs sem nome.
Passo 2: separe os tipos
Separe em três grupos: buscadores que você quer, agentes de IA que você quer decidir caso a caso, e robôs sem identificação ou com comportamento ruim. Esse grupo é o que você deve bloquear.
Passo 3: escreva a regra no robots.txt
O arquivo robots.txt diz o que cada robô pode visitar. Ele não bloqueia sozinho, mas robôs bons respeitam a regra. Escreva uma regra por grupo, com o caminho que cada um pode ver.
Passo 4: proteja as áreas de conta
Área de membros e painel administrativo não devem ser visitados por robôs. Feche esses caminhos no robots.txt e, principalmente, com login no servidor. O robots.txt sozinho não protege nada.
Passo 5: confira o efeito
Depois de uma ou duas semanas, olhe o registro outra vez. Confira se o robô que você bloqueou parou de visitar. Se não parou, a regra não está sendo lida, e você precisa de um bloqueio no servidor.
Passo 6: fique atento ao rascunho
O Web Bot Auth é um rascunho da IETF que usa assinatura para provar a identidade de robôs. Ele ainda não é necessário para o seu site. Acompanhe a evolução, mas não confunda assinatura com permissão de compra.
Como a Wortic faz
A Wortic não usa Web Bot Auth. A casa usa limite de pedidos e regras de robots.txt.
O rascunho está em datatracker.ietf.org.
Passo 7: defina a regra por grupo
Escreva a regra para cada grupo de robô, com o caminho permitido e o caminho bloqueado. Guarde a lista junto com a data. Quando um robô novo aparecer, a lista mostra o que fazer.
Passo 8: teste no navegador
Abra as áreas que devem estar fechadas sem login e confirme que a página pede entrada. Depois, abra as páginas públicas e confirme que carregam normalmente. Esse teste pega a regra que bloqueou o público errado.
Passo 9: registre a revisão
Marque no calendário uma revisão do robots.txt a cada trimestre. Os robôs mudam e a regra antiga pode deixar de servir. Uma revisão curta evita o bloqueio de um buscador por engano.
Passo 10: confira o registro depois da mudança
Depois de qualquer mudança no robots.txt, veja o registro de acesso nos dias seguintes. Confirme que o robô bloqueado parou de entrar nas áreas fechadas e que os buscadores continuam entrando nas páginas públicas.