Шаблон проверки robots.txt с правилами для ИИ-ботов

Обычный рабочий сайт

Когда использовать: Обычный живой сайт, которому нужно полное сканирование и ссылка на sitemap.

Когда использовать: у вас здоровый рабочий сайт, и вы хотите, чтобы поисковики свободно сканировали всё и быстро находили sitemap.

Директивы

• User-agent: *
• Disallow: (оставьте значение пустым, чтобы разрешить всё)
• Sitemap: [https://example.com/sitemap.xml]

Пустой Disallow значит, что ничего не заблокировано. Строка Allow здесь не нужна: по умолчанию всё и так разрешено.

Дополнительная гигиена

• Disallow: [/wp-admin/] (закройте реальный путь к админке, если он есть)
• Allow: [/wp-admin/admin-ajax.php]

Важно: robots.txt управляет сканированием, а не индексацией. Заблокированный URL всё равно может попасть в выдачу, если на него ссылаются другие страницы. Чтобы страница не попала в индекс, разрешите сканирование и добавьте метатег noindex или закройте её авторизацией. Файл должен лежать в корне домена: [https://example.com/robots.txt].

Staging, dev или сайт до запуска

Когда использовать: Непубличное окружение, которое нужно полностью скрыть от поиска.

Когда использовать: это staging-сервер, копия для разработки или сборка до запуска, которую никто не должен найти в поиске.

Директивы

• User-agent: *
• Disallow: /

Одна строка Disallow: / просит добросовестных краулеров пропускать все URL на хосте. Здесь это сделано намеренно, а в любом другом месте опасно.

Критическое предупреждение: эта строка никогда не должна попасть на рабочий сайт. Самая частая катастрофа с выпадением из индекса: Disallow: /, скопированный со staging на живой сайт при деплое.

Защита понадёжнее

• Robots.txt это просьба, а не замок. Недобросовестные краулеры его игнорируют.
• Добавьте HTTP-аутентификацию (логин и пароль), чтобы окружение было действительно закрытым.
• Если в качестве подстраховки вы ставите noindex на весь сайт, не блокируйте страницы ещё и через Disallow: /: заблокированная страница никогда не покажет свой тег noindex.

Важно: если staging-URL уже просканирован, не рассчитывайте, что Disallow: / его удалит. Блокировка URL мешает Google увидеть тег noindex. Временно разрешите сканирование с noindex или воспользуйтесь инструментом удаления в Search Console.

Управление сканированием в интернет-магазине

Когда использовать: Магазин, которому нужно увести краулинговый бюджет от малоценных URL.

Когда использовать: магазин плодит бесконечные URL фильтров, параметров и личных кабинетов, которые тратят краулинговый бюджет и размывают сигналы.

Типовые блокировки

• User-agent: *
• Disallow: [/cart]
• Disallow: [/checkout]
• Disallow: [/account/]
• Disallow: [/search] (результаты внутреннего поиска по сайту)
• Disallow: [/*?*sort=] (параметр сортировки в любом месте строки запроса)
• Disallow: [/*?*filter=] (фасетные фильтры)
• Disallow: [/*.pdf$] (закрывает любой URL, который заканчивается на .pdf: $ привязывает к концу)

* совпадает с любой последовательностью символов, а $ привязывает правило к концу URL. Пути чувствительны к регистру, поэтому [/Search] и [/search] это разные правила.

Осторожно: закрывайте только параметры, которые создают настоящие дубли или пустые страницы. Если заблокировать параметр, который меняет основной контент товара (или ваши канонические URL), можно скрыть страницы, которые должны ранжироваться. Для дублей лучше использовать canonical, а robots.txt оставить для мусорных URL, которые вообще не нужно загружать.

Пустить поисковики, закрыть скрейперов

Когда использовать: Открыть доступ основным поисковым ботам и отсечь агрессивных или нежелательных краулеров.

Когда использовать: вы хотите, чтобы Google, Bing и другие крупные поисковики свободно сканировали сайт, но хотите отвадить известных скрейперов и ботов, которые съедают трафик.

Разрешите нужные поисковики

• User-agent: Googlebot
• Disallow: (пусто)
• User-agent: Bingbot
• Disallow: (пусто)

Закройте конкретного краулера

• User-agent: [BadBot]
• Disallow: /

Каждый блок User-agent сопоставляется отдельно, и бот следует самой конкретной группе, где он назван. Оставьте в конце группу User-agent: *, чтобы безымянные боты тоже получили понятные инструкции.

По ИИ-краулерам нужно отдельное решение: одни питают ответы ИИ-поиска, другие собирают данные для обучения. Прежде чем кого-то из них блокировать, посмотрите вариант «Решения по ИИ-краулерам».

Трезвый взгляд: robots.txt работает на добровольной основе. Добросовестные поисковики его соблюдают, а вредоносные скрейперы могут его игнорировать и даже искать по нему пути, которые вы перечислили. Крупные ИИ-вендоры заявляют, что их краулеры его соблюдают, но фетчеры, запущенные пользователем, могут этого не делать. Для реальной защиты блокируйте по user-agent или IP на сервере или файрволе либо ограничивайте частоту запросов. Считайте robots.txt рекомендацией, а не защитой.

Объявление одного или нескольких sitemap

Когда использовать: Укажите краулерам один или несколько sitemap, включая индексный файл sitemap.

Когда использовать: вы хотите, чтобы любой краулер нашёл ваши sitemap, особенно если большой сайт разбит на несколько файлов.

Один sitemap

• Sitemap: [https://example.com/sitemap.xml]

Несколько sitemap

• Sitemap: [https://example.com/sitemap-posts.xml]
• Sitemap: [https://example.com/sitemap-products.xml]
• Sitemap: [https://example.com/sitemap-images.xml]

Или один индексный sitemap

• Sitemap: [https://example.com/sitemap_index.xml]

Правила:

• Каждый sitemap указывайте на отдельной строке. Количество строк Sitemap не ограничено, но в одном файле sitemap может быть не больше 50 000 URL и 50 МБ без сжатия: большие сайты разбивайте на несколько файлов или используйте индексный sitemap.
• Всегда указывайте полный абсолютный URL с правильным протоколом (https) и хостом.
• Директива Sitemap не зависит от групп User-agent, поэтому её можно ставить в любом месте файла.
• Отправлять sitemap в Search Console и Bing Webmaster Tools по-прежнему стоит, для подстраховки.

Чек-лист перед публикацией

Когда использовать: Поймайте ошибки, из-за которых сайт тихо выпадает из индекса, до того как выкатите файл.

Когда использовать: вы собираетесь опубликовать или заменить robots.txt и хотите избежать классических и дорогих ошибок.

Проверьте каждый пункт

1. Убедитесь, что файл лежит в корне: [https://example.com/robots.txt]. Файл в подпапке игнорируется.
2. Проверьте, что не осталось случайного Disallow: / со staging.
3. Сверьте регистр в каждом пути: robots.txt чувствителен к регистру.
4. Убедитесь, что папки с CSS, JS и изображениями не закрыты, иначе Google не сможет отрисовать страницы.
5. Проверьте, что каждая строка Sitemap содержит полный https-URL, который отдаёт 200.
6. Следите за правилами Disallow:, которые шире, чем задумано (слеш в конце имеет значение).
7. Помните, что robots.txt не удаляет из индекса: где нужно, дополняйте блокировки noindex или инструментами удаления.
8. Перепроверяйте после любого обновления CMS или плагина: они могут перезаписать файл.

Финальный тест: откройте [https://example.com/robots.txt] в браузере и убедитесь, что он загружается, а после запуска проверьте отчёт robots.txt (robots.txt report) в Search Console, чтобы увидеть версию, которую получил Google.

Лист проверки директив (заполняемый)

Когда использовать: Одна строка на правило: путь, user agent, нужный доступ, причина, тестовый URL, результат теста и строка для отката.

Проверка директив robots.txt

Файл: [https://www.example.com/robots.txt] · Проверил: [имя] · Дата: [дата]

Правила проверки

• У каждого правила должна быть причина. Если никто не может сказать, зачем правило нужно, проверьте, что оно блокирует, прежде чем решать, оставлять ли его.
• Тестируйте реальные URL, а не шаблоны. Google применяет самое конкретное (самое длинное) совпавшее правило, а если Allow и Disallow равны, побеждает менее строгое.
• Конкретные группы ничего не наследуют. Краулер следует только самой конкретной группе user-agent, где он назван. Правила под * не действуют на бота, у которого есть своя группа.
• Храните последний рабочий файл. Перед каждой правкой сохраняйте копию с датой, чтобы откат был простой вставкой, а не упражнением для памяти.

Что полезно знать о Google (проверено в октябре 2026)

• Google читает до 500 КиБ файла и обычно кеширует его на срок до 24 часов.
• Если robots.txt отдаёт 4xx, Google считает, что ограничений нет. Если 5xx, Google останавливает сканирование сайта на 12 часов, а затем может использовать последнюю рабочую копию.
• Google игнорирует crawl-delay. Он поддерживает user-agent, allow, disallow и sitemap.
• Disallow останавливает сканирование, а не индексацию. Заблокированный URL всё равно может появиться в выдаче без сниппета.

Решения по ИИ-краулерам

Когда использовать: Отдельные решения по ИИ-поиску, обучению ИИ и загрузкам по запросу пользователя, с документированными токенами user-agent каждого вендора.

Решения по ИИ-краулерам

Токены и их назначение по документации каждого вендора, проверено 20 октября 2026. Вендоры часто добавляют новых ботов, поэтому перепроверяйте перед каждым ревью.

Как решать

• Поиск и обучение это разные решения. По словам вендоров, блокировка бота для обучения, например GPTBot или ClaudeBot, не закрывает их поисковых ботов. Если закрыть OAI-SearchBot, ваши страницы не будут появляться в ответах поиска ChatGPT.
• Google-Extended не влияет на Google Поиск. Google заявляет, что это не фактор ранжирования и он не меняет присутствие в Поиске.
• Запишите бизнес-причину. Издатель, который защищает платный контент, и SaaS-компания, которая хочет, чтобы её рекомендовали в ответах ИИ, должны принять противоположные решения.

Пример группы

• User-agent: GPTBot
• Disallow: /
• User-agent: OAI-SearchBot
• Allow: /

Так вы закрываете краулер OpenAI для обучения, но сохраняете доступ для поиска ChatGPT. OpenAI отмечает, что изменения могут вступать в силу около 24 часов.

Разобранный пример (вымышленный B2B SaaS)

Когда использовать: Заполненная проверка robots.txt вымышленной SaaS-компании, включая правило со staging, попавшее на рабочий сайт, и то, как колонка отката спасла ситуацию.

Разобранный пример: Ledgerline

Только пример. Компания, люди, URL и цифры вымышлены, чтобы показать, как выглядит рабочая заполненная версия.

Что показала проверка

Два правила делали противоположное тому, чего хотела команда. Блокировка /docs/ пришла из staging-файла, скопированного во время редизайна. Она скрыла от поиска 400 справочных статей. Блокировку OAI-SearchBot добавили рядом с GPTBot, решив, что это один и тот же бот. Оба правила исправили в одном релизе, а старый файл сохранили для отката.

Следующий шаг

Соберите чистый файл в генераторе robots.txt и убедитесь, что строка Sitemap ведёт на рабочий файл из генератора XML Sitemap. После изменения правил для ИИ-краулеров отслеживайте в AI Visibility Checker, появляется ли ваш бренд в ответах ИИ. Нужен полный технический аудит? Посмотрите наши услуги SEO и GEO.