SeotoolsBot
O SeotoolsBot é o rastreador por trás da auditoria de site do seotools.pro. Só visita um site quando alguém faz uma auditoria a esse site, lê as páginas públicas como um motor de busca e nunca inicia sessão, submete formulários nem altera nada.
Agente de utilizador (user agent): Mozilla/5.0 (compatible; SeotoolsBot/2.0; +https://seotools.pro/bot)
Segue as regras do robots.txt para SeotoolsBot e para User-agent: *, pede poucas páginas de cada vez com pequenas pausas e abranda quando um servidor responde 429 ou 503. Se uma página estiver protegida por um desafio anti-bots, pode tentar mais uma vez como um navegador normal para ler o estado real; se também for bloqueado, a auditoria marca a página como “Não foi possível verificar” em vez de página com erro.
Para o bloquear, adicione ao robots.txt: User-agent: SeotoolsBot / Disallow: /. Para o deixar passar numa firewall, autorize o user agent indicado acima.