SeotoolsBot

SeotoolsBot est le robot d'exploration de l'audit de site de seotools.pro. Il ne visite un site que lorsque quelqu'un lance un audit de ce site. Il lit les pages publiques comme le fait un moteur de recherche, et il ne se connecte jamais, ne soumet aucun formulaire et ne modifie rien.

User-agent : Mozilla/5.0 (compatible; SeotoolsBot/2.0; +https://seotools.pro/bot)

Il respecte les règles du robots.txt pour SeotoolsBot et pour User-agent: *, récupère quelques pages à la fois avec de courtes pauses et ralentit quand un serveur répond 429 ou 503. Si une page est protégée par une vérification anti-bots, il peut réessayer une fois comme un navigateur normal pour lire le vrai statut ; si cette tentative est bloquée aussi, l'audit marque la page « Vérification impossible » au lieu de la compter comme cassée.

Pour le bloquer, ajoutez à votre robots.txt : User-agent: SeotoolsBot / Disallow: /. Pour le laisser franchir un pare-feu, autorisez le user-agent ci-dessus.