Шаблон анализа серверных логов: книга для SEO

Книга анализа логов (для заполнения)

Когда использовать: Одна строка на класс URL: подтверждённые запросы бота, распределение статусов, частота сканирования, потери и действие с ответственным.

Книга анализа серверных логов

Источник логов: [сервер, CDN или балансировщик нагрузки] · Период: [не менее 30 дней] · Всего подтверждённых запросов Googlebot: [число]

Лист 1: проверка

Лист 2: классы URL

Лист 3: проверка ключевых страниц

Потраченное впустую сканирование = подтверждённые запросы к классам URL, которые вам не нужны в поиске, плюс запросы, которые заканчиваются редиректами, soft 404 или ошибками. Запишите долю от всех подтверждённых запросов и держите формулу рядом.

Проверка готовности: поддельные боты исключены, у каждого класса есть отметка «нужен: да или нет», у каждого класса с потерями есть действие и ответственный, дата повторной выгрузки назначена.

Нужно ли вам это вообще

Когда использовать: Решите, действительно ли краулинговый бюджет - проблема, на которую стоит тратить время, прежде чем погружаться в логи.

Важен ли для вас краулинговый бюджет?

Краулинговый бюджет - это количество URL, которое поисковая система хочет и может просканировать на вашем сайте за определённый период. Для большинства небольших и средних сайтов это не та проблема, которую стоит решать. Google обычно без труда сканирует несколько тысяч URL.

В руководстве Google по краулинговому бюджету приводятся примерные пороги: сайты примерно с 1 миллионом уникальных страниц и больше, которые меняются раз в неделю, сайты с 10 000 страниц и больше, которые меняются ежедневно, и сайты, где большая доля URL застряла в статусе "Discovered - currently not indexed" (обнаружена, но не проиндексирована). На небольших сайтах логи всё равно полезны: в них видны ошибки и циклы редиректов, на которые постоянно натыкается Googlebot.

Тревожные сигналы, ради которых стоит этим заняться

• Фасетная навигация или фильтры создают бесконечные комбинации URL
• Важные страницы не индексируются через несколько недель после публикации
• Search Console показывает много URL со статусом "Discovered – currently not indexed" (обнаружена, но не проиндексирована)
• Серверные логи забиты запросами ботов к параметрам, сортировке или пагинации

[URL сайта]: запишите здесь примерное общее число URL: [Всего URL]. Если их немного и страницы быстро индексируются, пропустите остальное и займитесь другими задачами.

Получение и подготовка логов

Когда использовать: Соберите сырые логи доступа сервера и приведите их к виду, который реально можно анализировать.

Где найти логи

Серверные логи доступа - самая надёжная запись того, как боты и пользователи на самом деле обращаются к сайту. Попросите у хостинг-провайдера, команды devops или CDN сырые логи доступа минимум за несколько недель, а лучше за целый месяц, чтобы захватить обычные циклы сканирования.

Типичные источники: веб-сервер (Apache, Nginx), CDN (например, Cloudflare или Fastly) и балансировщик нагрузки перед ними. Выгрузите данные из [Источник логов] за период [Период].

Подготовьте данные

1. Объедините логи со всех серверов, чтобы не пропустить запросы, которые обслуживали разные машины.
2. Убедитесь, что в каждой строке есть время, запрошенный URL, код статуса, user agent и IP-адрес.
3. Проверьте Googlebot: выполните обратный DNS-запрос по IP и убедитесь, что хост заканчивается на googlebot.com, google.com или googleusercontent.com, затем выполните прямой запрос и проверьте, что он возвращает тот же IP. Для больших файлов вместо этого сверяйте IP со списками диапазонов, которые Google публикует для своих краулеров. Никогда не доверяйте только строке user agent.
4. Оставьте только подтверждённых ботов поисковых систем, прежде чем делать выводы о сканировании.

Сохраните очищенный набор данных так, чтобы тот же анализ можно было повторить в следующем квартале.

Анализ паттернов сканирования

Когда использовать: Поймите, что Googlebot действительно сканирует, как часто и какие коды статуса получает.

На что смотреть в первую очередь

Когда подтверждённые запросы Googlebot отделены, составьте картину реального сканирования, а не гадайте. Сосредоточьтесь на объёме, частоте и кодах ответа: они показывают, куда уходят усилия краулера.

Ключевые вопросы

• Какие URL сканируются чаще всего? Сравните самые сканируемые URL с самыми важными страницами. Несовпадения - это сигнал.
• Как часто сканируются ключевые страницы? Коммерческие страницы должны посещаться регулярно, а редко сканируемые важные URL устаревают.
• Какие коды статуса видит Googlebot? На здоровом сайте в основном 200. Следите за всплесками 404, редиректов 301/302 и серверных ошибок 5xx.
• Какие разделы преобладают? Сгруппируйте запросы по каталогам и посмотрите, не съедает ли сканирование малоценный раздел.

Запишите выводы по [Самый сканируемый раздел] и отметьте любой раздел, который сканируется слишком часто относительно своей ценности: [Пересканируемый путь].

Активное сканирование редиректов или ошибок - это потраченные впустую усилия, которые нужно убрать на следующих шагах.

Поиск потерь сканирования

Когда использовать: Найдите малоценные, дублирующиеся и битые URL, которые съедают ресурсы сканирования.

Куда утекает краулинговый бюджет

Потери сканирования возникают, когда боты тратят время на URL, которые вообще не стоит сканировать. На больших сайтах от этого зависит, обновятся важные страницы за день или за месяц.

Частые источники потерь

• Фасетные URL и URL с параметрами: фильтры, сортировка и параметры отслеживания, которые превращают одну страницу в тысячи вариантов.
• Дубли: одна и та же страница доступна по нескольким URL, со слешем в конце и без, в верхнем и нижнем регистре.
• Soft 404: пустые результаты, истёкшие объявления или слабые страницы, которые отдают 200, но не несут ценности.
• Цепочки редиректов: URL, которые проходят через несколько переходов, прежде чем открыться.
• Бесконечные пространства: календари, результаты поиска и идентификаторы сессий, которые порождают почти бесконечное число URL.
• Удалённые страницы, которые всё ещё отдают контент: в руководстве Google сказано, что навсегда удалённые страницы должны отдавать 404 или 410, а не 200.

По итогам анализа логов перечислите здесь худшие источники: [Шаблон потерь 1], [Шаблон потерь 2]. Оцените долю запросов Googlebot, которая уходит на эти малоценные URL: это число и есть ваш резерв. Расставьте приоритеты по тому, сколько сканирования поглощает каждый шаблон.

Повышение эффективности сканирования

Когда использовать: Примите конкретные меры, чтобы поисковые системы тратили сканирование на важные страницы.

Направьте краулеры к главному

Когда вы знаете, где потери, задача - объединить сигналы и направить ботов к ценным каноническим URL.

1. Усильте внутренние ссылки на важные страницы, чтобы их было легко найти и чтобы был виден их приоритет.
2. Держите XML-карты сайта в чистоте: включайте только канонические индексируемые URL и убирайте редиректы, ошибки и страницы с noindex.
3. Используйте robots.txt для URL, которые никогда не должны сканироваться, например для внутреннего поиска и бесконечных пространств параметров. Google не советует с его помощью временно перераспределять бюджет, а запрет сканирования - не то же самое, что удаление из индекса.
4. Не рассчитывайте, что noindex сэкономит сканирование. Google всё равно должен запросить страницу, чтобы увидеть тег.
5. Обрабатывайте параметры с помощью тегов canonical, указывающих на чистую версию, и не ставьте внутренние ссылки на URL с параметрами.
6. Исправьте цепочки редиректов: направьте первый переход сразу на конечный адрес одним 301.
7. Устраните soft 404: отдавайте настоящий 404 или 410 либо улучшите страницу, чтобы она заслуживала сканирования.

Запишите три главных действия: [Действие 1], [Действие 2], [Действие 3]. Внедряйте изменения постепенно, чтобы можно было измерить их эффект.

Мониторинг через статистику сканирования

Когда использовать: Отслеживайте сканирование во времени с помощью Search Console и регулярной проверки логов.

Замкните цикл

Оптимизация сканирования - не разовый проект. После изменений следите, реагируют ли поисковые системы так, как вы ожидаете.

За чем следить

• Статистика сканирования (Crawl Stats) в Search Console (Настройки, только для ресурсов корневого уровня): смотрите общее число запросов на сканирование, среднее время ответа и разбивку по ответу, типу файла, цели (обнаружение или обновление) и типу Googlebot.
• Статус хоста (Host status): охватывает получение robots.txt, DNS и доступность сервера за последние 90 дней. Медленный или выдающий ошибки сервер заставляет Google сканировать меньше.
• Динамика кодов статуса: убедитесь, что после исправлений число 404, редиректов и ошибок 5xx снижается.
• Отчёты об индексировании: проверьте, переходят ли ранее застрявшие страницы в проиндексированные.

Заведите регулярный процесс

Регулярно (раз в месяц или квартал) заново выгружайте серверные логи и сравнивайте с исходными данными. Запишите дату проверки: [Дата следующей проверки] и ответственного: [Ответственный].

Если потери вернутся, вы заметите это рано, а не после того, как важные страницы выпадут из индекса.

Заполненный пример (вымышленный маркетплейс)

Когда использовать: Заполненная книга для выдуманного маркетплейса подержанных камер, где URL фильтров съедают сканирование.

Заполненный пример: LensLoop

Только пример. Компания, люди, URL и цифры вымышлены, чтобы показать, как выглядит рабочая заполненная версия.

30 дней логов CDN. 412 000 запросов представлялись как Googlebot, 398 000 прошли проверку.

Что показали цифры

Около 62% подтверждённых запросов пришлось на URL, которые команде не нужны в поиске: фильтры, проданные объявления и редиректы. Новые объявления находились, но страницы категорий обновлялись медленно. Первым исправлением стали правила для фильтров, потому что этот класс был самым большим.

Следующий шаг

Отследите найденные цепочки с помощью Redirect Checker, пересоберите чистые карты сайта в XML Sitemap Generator и подготовьте правила для параметров в Robots.txt Generator, прежде чем их тестировать. Запустите аудит сайта, чтобы поймать проблемы со статусами и редиректами, на которые указывают логи. Если нужен аудит логов под ключ, наше партнёрское агентство SEOquick берётся за проекты по техническому SEO.