Шаблон брифа по настройке SEO-сканирования

Охват, хосты и лимиты

Когда использовать: Точно определите, какие хосты, папки и шаблоны URL входят в сканирование и насколько большим оно может быть.

На какой вопрос отвечает это сканирование?

[например, почему новые страницы товаров не индексируются; базовый срез перед миграцией; проверка после запуска]

Охват

• Стартовые URL: [https://www.example.com/]
• Хосты в охвате: [www, shop, поддомен blog]
• Хосты вне охвата: [staging, app, справочный центр]
• Папки в охвате: [/products/, /guides/] · сканировать за пределами стартовой папки? [да / нет]
• Шаблоны включения: [regex, проверен на 5 примерах URL]
• Шаблоны исключения: [regex для /cart, /account, ?sort=, ?session=]

Лимиты

• Максимум URL: [число] · Максимальная глубина: [кликов от старта]
• Параметры: [сканировать все / отбрасывать эти / исключать эти]
• Ожидаемый размер: [проиндексированные страницы в Search Console, число URL в sitemap]

Совет: сравните ожидаемый размер с числом URL в sitemap. Если краулер находит в десять раз больше URL, причина обычно в параметрах или фасетной навигации, и это уже само по себе находка.

Рендеринг, user agent и директивы

Когда использовать: Решите, рендерить ли JavaScript, какой user agent отправлять и должен ли краулер соблюдать robots.txt, noindex и canonical.

Рендеринг

• Режим: [только исходный HTML / рендеринг JavaScript]
• Зачем: [например, ссылки в главном меню добавляет JavaScript]
• Тайм-аут рендеринга и viewport: [секунды, мобильный]
• Сохранять исходный и отрендеренный HTML: [да / нет] · нужно, чтобы сравнить, что меняется после рендеринга

User agent

• Строка user agent: [по умолчанию краулера / строка как у мобильного Googlebot / своя]
• Узнаваемость в логах: [добавьте суффикс, например -audit, чтобы ваше сканирование можно было отличить от настоящего Googlebot]

Директивы

• robots.txt: [соблюдать / игнорировать, и почему]
• Переходить по ссылкам nofollow: [да / нет]
• Сканировать URL с canonical на другую страницу и noindex: [да, чтобы показать их в отчёте / нет]

Простое правило: соблюдайте robots.txt, если хотите увидеть сайт так, как его видят поисковики. Игнорируйте его, только если задача в том, чтобы найти то, что robots.txt скрывает, и запишите это здесь.

Скорость, расписание и доступы

Когда использовать: Согласуйте скорость сканирования, временное окно, добавление в allowlist файрвола, аутентификацию и кому звонить, если что-то пойдёт не так.

Нагрузка

• Потоки / URL в секунду: [например, 2 потока, 3 URL в секунду]
• Заметки о сервере: [виртуальный хостинг, CDN, известные медленные шаблоны]

Расписание

• Окно: [дата, время начала и окончания, часовой пояс]
• Избегать: [распродаж, запусков, бэкапов, часов пик]

Доступы

• Allowlist файрвола / WAF: [IP или user agent, у кого запрошено, когда подтверждено]
• Аутентификация: [нет / basic auth для staging] · доступы передаются через менеджер паролей клиента и никогда не записываются в этот бриф
• Вход через форму: [избегать, если не критично] · авторизованный краулер нажимает на каждую ссылку, включая удаление и выход

Во время сканирования

• Контакт при всплеске ошибок: [имя, телефон]
• Условие остановки: [например, более 5% ответов 5xx за любые 5 минут]

Источники данных и результаты

Когда использовать: Перечислите sitemap и данные API, которые нужно подключить, и выгрузки, которые должно дать сканирование.

Подключить

• XML-карты сайта: [URL каждой sitemap или индексного файла sitemap]
• Search Console: [ресурс, период] · находит страницы с показами, до которых краулер так и не добрался
• Аналитика: [ресурс GA4, период] · находит страницы-сироты, на которые всё ещё заходят
• Прошлое сканирование для сравнения: [имя файла и дата]

Результаты

• Выгрузки: [коды ответа, индексируемость, canonical, редиректы, orphan-URL]
• Именование файлов: [domain_purpose_YYYY-MM-DD]
• Где хранится: [общая папка] · Хранить до: [дата]

Сохраните эти настройки для следующего сканирования. Если через месяц просканировать с другими настройками, цифры будут другими, и никто не поймёт, изменился сайт или само сканирование.

Утверждение и проверка завершения

Когда использовать: Утвердите бриф до сканирования и отметьте проверки завершения до того, как кто-то начнёт читать результаты.

До сканирования

1. Вопрос, на который отвечает сканирование, записан одним предложением.
2. Шаблоны включения и исключения проверены на примерах URL.
3. Скорость и окно согласованы с владельцем сайта.
4. Добавление в allowlist файрвола подтверждено, если оно нужно.
5. Утвердил(а) [имя, роль], дата: [дата].

После сканирования

1. Просканировано URL против ожидаемого размера: [число / число]. Большой разрыв объяснён.
2. Доля 5xx и тайм-аутов: [%]. Если она высокая, результаты описывают сервер, а не сайт.
3. Сканирование завершено, а не остановлено досрочно: [да / нет]
4. Настройки сохранены вместе с выгрузкой, чтобы следующее сканирование могло их повторить.

Разобранный пример (вымышленный интернет-магазин)

Когда использовать: Заполненный бриф для вымышленного магазина, который выясняет, почему новые страницы категорий не индексируются, и что помогли поймать настройки.

Разобранный пример: Harbor и Pine

Только пример. Компания, люди, URL и цифры вымышлены, чтобы показать, как выглядит рабочий заполненный вариант.

Что поймали настройки

Проход по исходному HTML нашёл 3 ссылки на новые категории. Проход с рендерингом нашёл 140. На новые страницы ссылалось только меню на JavaScript, которое на медленных шаблонах не успевало отрендериться за тайм-аут. Решением стали обычные HTML-ссылки из родительских категорий, а не повторная отправка sitemap.

Следующий шаг

Запустите аудит сайта, чтобы быстро всё проверить до настройки полного сканирования. С помощью Get Source Code of Webpage проверьте, есть ли ссылки в исходном HTML, а Redirect Checker поможет отследить цепочки редиректов из отчёта краулера. Хотите, чтобы сканирование настроил и разобрал эксперт? Наши услуги SEO и GEO включают технический аудит с планом внедрения.