SeotoolsBot

SeotoolsBot ist der Crawler hinter dem Website-Audit von seotools.pro. Er besucht eine Website nur, wenn jemand ein Audit für sie startet, liest öffentliche Seiten so wie eine Suchmaschine und meldet sich nie an, schickt keine Formulare ab und verändert nichts.

User-Agent: Mozilla/5.0 (compatible; SeotoolsBot/2.0; +https://seotools.pro/bot)

Er befolgt die Regeln in der robots.txt für SeotoolsBot und für User-agent: *. Er ruft immer nur wenige Seiten gleichzeitig ab, macht kurze Pausen und wird langsamer, wenn ein Server mit 429 oder 503 antwortet. Steckt eine Seite hinter einer Bot-Challenge, versucht er es eventuell einmal als normaler Browser, um den echten Status zu lesen. Ist auch das blockiert, markiert das Audit die Seite als „Nicht prüfbar“ statt als fehlerhaft.

Um ihn zu sperren, füg in die robots.txt ein: User-agent: SeotoolsBot / Disallow: /. Um ihn durch eine Firewall zu lassen, erlaube den oben genannten User-Agent.