Матрица каноникализации для дублей URL

Поиск дублей и почти дублей

Когда использовать: Проверьте сайт и найдите точные и почти полные дубли, прежде чем решать, как их объединить.

Поиск дублей и почти дублей

Прежде чем что-то каноникализировать, составьте список того, что действительно дублируется. Начните с полного краулинга и сгруппируйте URL с одинаковыми или очень похожими title, meta description, H1 и основным текстом.

Проверьте типичные источники дублей:

• Варианты протокола и хоста: http и https, www и без www, разница в слэше на конце
• Параметры: сортировка, фильтры, ID сессий и метки отслеживания, например [Пример параметра]
• Версии для печати, AMP и мобильные версии одной и той же статьи
• Страницы, где почти всё - шаблонный текст: тонкие страницы категорий или тегов, которые сильно пересекаются

1. Просканируйте сайт и выгрузите URL, title, H1 и хеш контента.
2. Отсортируйте по хешу, чтобы найти точные дубли.
3. Выборочно проверьте почти дубли: сравните количество слов и общие фразы.
4. Посмотрите в [URL в Search Console], какую версию Google сейчас индексирует.

Опишите каждую группу дублей и выберите в ней один основной URL. Он станет целевым каноническим URL в следующих вариантах.

Canonical на саму себя

Когда использовать: Настройте поведение по умолчанию: каждая индексируемая страница указывает canonical на себя.

Canonical на саму себя

Каждая индексируемая страница должна указывать canonical на свой чистый основной URL. Это поведение по умолчанию. Оно не даёт Google гадать, когда из ссылок, параметров или сторонних платформ появляются мелкие варианты URL.

Правила внедрения:

• Размещайте тег в [секции head], а не в body.
• Используйте абсолютный URL с правильным протоколом и хостом, например [Основной URL].
• Канонический URL должен отдавать статус 200, индексироваться и не редиректить.
• Один canonical на страницу: несколько противоречащих тегов игнорируются.

1. Один раз определите основной хост и протокол и примените их ко всему сайту.
2. Выводите в canonical собственный чистый URL страницы, без параметров отслеживания.
3. Проверяйте отрендеренный HTML, а не только шаблон: JavaScript может изменить теги.

rel=canonical - это подсказка, поэтому подкрепите его единообразными внутренними ссылками, чистым XML sitemap и 301-редиректами со старых URL. Тогда все сигналы будут указывать на одну основную версию.

URL с параметрами и фасетами

Когда использовать: Контролируйте дубли от параметров сортировки, фильтров, сессий и отслеживания на листингах и в интернет-магазинах.

URL с параметрами и фасетами

Фасетная навигация и параметры URL могут порождать тысячи почти одинаковых страниц, которые съедают краулинговый бюджет. Решите, какие комбинации параметров стоит индексировать, а какие нужно свести к чистому базовому URL.

Типичные параметры и что с ними делать:

• Порядок сортировки (например, [Параметр сортировки]): меняет порядок тех же товаров, поэтому canonical на базовый URL без сортировки.
• ID сессий и метки отслеживания: никогда не меняют контент, поэтому canonical на чистый URL.
• Фильтры, которые дают уникальный и ценный ассортимент: могут заслуживать собственного canonical на себя и индексации.
• Пагинация: каждая страница указывает canonical на себя, а не на первую страницу.

1. Составьте список всех параметров сайта и отметьте, меняют ли они контент.
2. Для параметров, не меняющих контент, ставьте canonical с варианта на чистый базовый URL.
3. Канонические URL должны быть абсолютными, отдавать 200 и быть доступны для сканирования, без блокировки в robots.txt.
4. Не сочетайте canonical и noindex на одном URL.

Если фильтры не несут ценности для поиска, рассмотрите noindex плюс контроль внутренних ссылок, а не только canonical: каноникализация - всего лишь подсказка.

Кросс-доменный canonical и синдицированный контент

Когда использовать: Объединяйте сигналы, когда один и тот же контент есть на нескольких доменах или его перепубликуют партнёры.

Кросс-доменный canonical и синдицированный контент

Когда вы синдицируете статьи или перепубликуете контент на доменах партнёров, кросс-доменный canonical просит Google засчитать оригинальный источник. Страница с перепубликацией ставит canonical на ваш исходный URL.

Как это настроить:

• Синдицированная копия ставит canonical на оригинал, например [Исходный URL].
• Canonical должен быть абсолютным URL на домене-источнике, который отдаёт 200.
• Обе версии могут оставаться доступными для читателей: canonical объединяет сигналы ранжирования.
• Попросите партнёров внедрить тег: на чужих доменах вы canonical не поставите.

1. Перед синдикацией убедитесь, что оригинал опубликован и индексируется.
2. Дайте партнёрам точный абсолютный канонический URL для вставки.
3. Проверьте, что тег есть в отрендеренном HTML партнёра.

Кросс-доменный canonical - тоже подсказка. Если объединение критично, добавьте чёткий график «сначала публикуем у себя», внутренние ссылки, а при согласии партнёров - noindex на синдицированной копии вместо canonical.

Canonical, noindex или 301

Когда использовать: Выберите правильный способ объединения для каждого сценария с дублями.

Canonical, noindex или 301

Эти три инструмента решают разные задачи. Если их перепутать, сигналы теряются, а страницы выпадают из индекса. Подберите способ под цель до внедрения.

• 301-редирект: когда URL должен исчезнуть навсегда, а его сигналы - перейти на другой URL. Лучше всего подходит для удалённых, перенесённых или объединённых страниц.
• rel=canonical: когда оба URL должны оставаться доступными для пользователей, но это настоящие дубли и индексацию нужно свести к одному. Это подсказка, поэтому держите обе версии согласованными.
• noindex: когда страница должна быть доступна пользователям, но не попадать в индекс. Например, тонкие страницы фильтров или результаты внутреннего поиска.

1. Спросите себя: должен ли URL существовать? Если нет, ставьте 301.
2. Если да и он дублирует другую страницу, ставьте canonical.
3. Если да, но ранжироваться он просто не должен, ставьте noindex.

Не сочетайте canonical и noindex на одном URL: сигналы противоречат друг другу, и Google может проигнорировать оба. Выберите один способ для каждого URL и внедрите его аккуратно.

Проверка canonical и типичные ошибки

Когда использовать: Проверьте внедрение canonical и поймайте ошибки, которые незаметно ломают объединение.

Проверка canonical и типичные ошибки

Тег canonical ломается молча, поэтому без целенаправленной проверки не обойтись. Просканируйте живые отрендеренные страницы и убедитесь, что каждый canonical ведёт на чистую индексируемую страницу.

Ищите типичные ошибки:

• Canonical на URL с редиректом, заблокированный или 404 вместо страницы с кодом 200
• Относительные URL или URL с неверным протоколом там, где canonical должен быть абсолютным
• Страницы пагинации с canonical на первую страницу вместо canonical на себя
• Canonical вместе с noindex на одном URL, что создаёт конфликт
• Несколько canonical или canonical, добавленный JavaScript, который расходится с исходным HTML

1. Просканируйте сайт и выгрузите каждый URL с его заявленным canonical.
2. Убедитесь, что каждая цель отдаёт 200 и не заблокирована в robots.txt.
3. Сравните заявленный canonical с выбранным Google в [URL в Search Console].

Если Google выбрал не тот canonical, что вы указали, считайте это сигналом: внутренние ссылки, sitemap или схожесть контента не согласуются с вашим выбором. Приведите эти сигналы в порядок.

Матрица каноникализации (для заполнения)

Когда использовать: Одна строка на группу дублей: все URL, основной URL, сигналы, которые должны совпадать, способ, ответственный и способ проверки.

Матрица каноникализации

Одна строка на группу дублей, а не на URL. Группа - это все адреса, которые отдают один и тот же основной контент.

Столбцы

• Группа дублей: [все URL, например http, https, www, ?ref=, /amp/]
• Основной URL: [тот, что вы хотите видеть в поиске, абсолютный https]
• Почему именно он: [больше всего ссылок, самый чистый URL, конвертирует, стоит в меню]
• Сигналы для согласования: [rel=canonical, внутренние ссылки, sitemap, редиректы, hreflang]
• Способ: [301 / rel=canonical / оба / обработка параметров в коде]
• Ответственный и срок [одно имя, одна дата]
• Проверено: [канонический URL, выбранный Google (Google-selected canonical), в инструменте проверки URL (URL Inspection), дата проверки]

Как выбрать способ

• 301-редирект: дублю незачем существовать для пользователей. Google называет редиректы сильным сигналом.
• rel=canonical: дубль должен оставаться доступным (ссылки с метками, версии для печати, отсортированные списки). Тоже сильный сигнал.
• Только sitemap: слабый сигнал. Используйте его как поддержку, но никогда отдельно.
• Не для каноникализации: robots.txt, noindex внутри собственного сайта и инструмент удаления URL. Документация Google предостерегает от всех трёх.

Журнал проверки

Когда использовать: После повторного сканирования проверьте, выбрал ли Google ваш основной URL, и что менять, если нет.

Журнал проверки

Canonical готов, когда с ним согласился Google, а не когда тег выкатили. Проверьте выборку из каждой группы после того, как Google её пересканировал.

Если Google выбрал другой URL

1. Проверьте внутренние ссылки. Если меню или хлебные крошки ведут на дубль, сначала исправьте ссылки.
2. Проверьте sitemap. В нём должен быть только основной URL.
3. Проверьте редиректы и hreflang. Они должны указывать на тот же основной URL.
4. Проверьте контент. Если две страницы на самом деле разные, ошибается, возможно, canonical, а не Google.
5. Перепроверьте после следующего сканирования. Запишите дату в журнал.

Проверка завершения: у каждой группы есть ответственный, способ и дата проверки. Групп, не совпавших после двух сканирований: [число], передано на эскалацию: [имя].

Разобранный пример (вымышленный интернет-магазин)

Когда использовать: Четыре заполненные строки из придуманного магазина: в одной редирект оказался лучше canonical, в другой Google не согласился с выбором.

Разобранный пример: Lantern Supply Co.

Только пример. Компания, люди, URL и цифры придуманы, чтобы показать, как выглядит рабочая заполненная версия.

Что исправило расхождение

Строка 4 не прошла первую проверку. Меню категорий ссылалось на отсортированную версию, и внутренние ссылки перевесили canonical. Ссылку в меню поменяли на /lamps, и при следующем сканировании всё исправилось. Строка 3 показывает другой урок: страницу, которая никому не нужна, надо редиректить, а не каноникализировать.

Следующий шаг

Запустите аудит сайта, чтобы найти страницы с отсутствующим или противоречивым canonical. С помощью Get Source Code of Webpage посмотрите, какой canonical страница отдаёт на самом деле, а Redirect Checker поможет убедиться, что каждый 301 ведёт на основной URL за один переход. Если хотите, чтобы дубли на большом сайте разобрал специалист, загляните в наши SEO- и GEO-услуги.