SeotoolsBot
SeotoolsBot — это сканер, на котором работает аудит сайта seotools.pro. Он заходит на сайт, только когда кто-то запускает его аудит, читает открытые страницы так же, как поисковая система, и никогда не входит в аккаунты, не отправляет формы и ничего не меняет.
Строка User-Agent: Mozilla/5.0 (compatible; SeotoolsBot/2.0; +https://seotools.pro/bot)
Он соблюдает правила robots.txt для SeotoolsBot и для User-agent: *, загружает страницы понемногу с короткими паузами и снижает скорость, когда сервер отвечает 429 или 503. Если страница закрыта проверкой на бота, он может один раз повторить запрос как обычный браузер, чтобы узнать реальный статус; если и это заблокировано, аудит отмечает страницу как «Не удалось проверить», а не как сломанную.
Чтобы заблокировать его, добавьте в robots.txt: User-agent: SeotoolsBot / Disallow: /. Чтобы пропустить его через файрвол, разрешите указанный выше User-Agent.