SeotoolsBot

SeotoolsBot — це сканер, на якому працює аудит сайту seotools.pro. Він заходить на сайт, лише коли хтось запускає аудит цього сайту, читає відкриті сторінки так, як пошукова система, і ніколи не входить в акаунти, не надсилає форм і нічого не змінює.

Рядок user agent: Mozilla/5.0 (compatible; SeotoolsBot/2.0; +https://seotools.pro/bot)

Він дотримується правил robots.txt для SeotoolsBot і для User-agent: *, завантажує по кілька сторінок за раз із короткими паузами й сповільнюється, коли сервер відповідає 429 або 503. Якщо сторінка захищена перевіркою на бота, сканер може один раз повторити запит як звичайний браузер, щоб дізнатися справжній статус; якщо й це заблоковано, аудит позначає сторінку як «не вдалося перевірити», а не як биту.

Щоб заблокувати його, додайте в robots.txt: User-agent: SeotoolsBot / Disallow: /. Щоб пропустити його через фаєрвол, дозвольте user agent, наведений вище.