Проверка доступа AI-краулеров: шаблон

Проверка доступа AI-краулеров (лист для заполнения)

Когда использовать: По строке на каждого AI-агента: назначение по документации, политика сайта, действующее правило robots.txt, данные логов и утверждение. Плюс ответственные и финальная проверка.

Проверка доступа AI-краулеров

Одна строка на одного AI-агента. В каждой строке: что агент делает по словам разработчика, что решили на сайте, какое правило сейчас действует, что показывают логи и кто это утвердил.

Сайт: [https://www.example.com] - Ответственный за проверку: [имя] - Дата проверки: [ГГГГ-ММ-ДД] - Следующая проверка: [дата]

Подробности по агенту (заполните для каждой строки)

• Назначение по документации: [что агент делает, словами самого разработчика]
• Источник: [URL документации разработчика], проверено [дата]
• Тип агента: [обучение / поиск / запрос пользователя / только управляющий токен]
• Соблюдает ли robots.txt, по словам разработчика: [да / может не соблюдать / как правило, игнорирует]
• Бизнес-причина политики: [почему сайт разрешает или блокирует агента]
• Период логов: [дата начала и окончания], источник [CDN / сервер / панель хостинга]
• Чем проверено: [URL списка IP разработчика или результат обратного DNS]
• Другие меры: [правило CDN или файрвола, если есть, и кто за него отвечает]

Следующие шаги

• Ответственный за проверку: [имя] - задача: заново открыть все страницы документации и обновить столбец с назначением до [дата]
• Ответственный за логи: [имя] - задача: выгрузить логи за [N] дней по указанным агентам и заполнить столбец с данными до [дата]
• Утверждающий: [имя + роль] - задача: утвердить каждую политику или вернуть её с объяснением до [дата]
• Разработчик: [имя] - задача: выкатить утверждённые изменения robots.txt и сохранить старый файл для отката до [дата]

Финальная проверка

• В каждой строке указан один токен агента, а назначение подтверждено ссылкой на страницу разработчика с датой проверки.
• У каждой политики есть письменная бизнес-причина, а не просто «разрешить» или «заблокировать».
• Правило в столбце robots.txt скопировано из действующего файла, а не из черновика.
• Данные логов охватывают указанный период, а обращения ботов сверены со списком IP разработчика или через обратный DNS.
• В каждой строке есть имя утверждающего и дата. У строк с расхождением есть ответственный и срок исправления.

Справочник агентов (по документации разработчиков)

Когда использовать: Одиннадцать токенов AI-агентов: назначение по документации разработчика, отношение к robots.txt, способ проверки обращений и ссылка на источник.

Справочник агентов (проверено 14 ноября 2026 г.)

Заполняйте столбец с назначением по этим страницам разработчиков, а не по подборкам из блогов. Разработчики добавляют и переименовывают агентов, поэтому в день проверки открывайте каждую ссылку заново.

Как читать таблицу

• Robots.txt - это рекомендация. Это просьба, а не запрет. Краулер, который её игнорирует, всё равно может загрузить страницу. Реальная защита настраивается на сервере, в CDN или в файрволе.
• Агенты, работающие по запросу пользователя, устроены иначе. OpenAI пишет, что robots.txt может не применяться к ChatGPT-User. Perplexity пишет, что Perplexity-User, как правило, его игнорирует.
• Два токена никогда не появляются в логах. У Google-Extended нет строки user-agent, а Applebot-Extended не сканирует. Ищите вместо них обращения Googlebot и Applebot.
• Запасной вариант Apple: по словам Apple, если в robots.txt нет Applebot, но есть Googlebot, Applebot следует правилам для Googlebot.

OpenAI также указывает OAI-AdsBot, который заходит только на страницы, отправленные как реклама в ChatGPT. Добавьте для него строку, если вы запускаете такую рекламу.

Выбор политики

Когда использовать: Отдельные решения для обучения, AI-поиска и запросов пользователей, плюс вопросы, на которые утверждающему стоит ответить заранее.

Выбор политики

Сначала решайте по типу агента, потом по токену. Обучение, поиск и запросы пользователей - это разные решения с разными последствиями.

Вопросы, на которые должен ответить утверждающий

• Хотим ли мы, чтобы нас цитировали в ответах AI? [да / нет / только некоторые разделы]
• Есть ли лицензионный, платный или защищённый договором контент? [пути + кто отвечает за условия]
• Видна ли в логах реальная проблема с нагрузкой от сканирования? [данные, а не ощущения]
• Кто утверждает изменения, влияющие на видимость в AI? [роль]

Типовые стартовые политики

• Запретить обучение, остаться в цитатах: заблокировать токены обучения и наборов данных, разрешить поисковых агентов. Подходит бизнесу, который хочет, чтобы его цитировали, но не обучали на нём модели.
• Разрешить всё: подходит сайтам, которым нужен максимальный охват и которым нечего защищать по лицензии.
• Заблокировать всех AI-агентов: подходит изданиям с платным доступом или лицензионным контентом. Цитирований в AI-поиске тоже может стать меньше.

В Robots.txt Generator есть готовый AI-шаблон в один клик «Block training, stay citeable» (запретить обучение, остаться в цитатах), который составит черновик первой политики. Запишите решение здесь до того, как выкатывать его.

Чек-лист по данным логов

Когда использовать: Выгрузите логи, сверьте обращения со списками IP разработчиков или через обратный DNS и разберите расхождения между политикой и поведением.

Чек-лист по данным логов

Политика - это только половина проверки. Столбец с логами показывает, ведут ли себя агенты так, как предписывает правило robots.txt.

Соберите данные

• Выгрузите логи CDN или сервера за [N] дней с временем, IP, user-agent, URL и кодом ответа.
• Отфильтруйте их по каждому токену из листа проверки. Сырую выгрузку сохраните; в листе остаётся только сводка.
• Отметьте, как часто и когда каждый агент запрашивал сам robots.txt.

Проверьте обращение, прежде чем ему доверять

• Строку user-agent легко подделать. Сверьте IP с опубликованным списком разработчика из справочной таблицы.
• Для Applebot и CCBot разработчики также описывают проверку через обратный DNS. Запишите, каким способом вы проверяли.
• Отметьте каждое обращение как проверенное, непроверенное или поддельное. Доказательством о поведении разработчика считаются только проверенные обращения.

После изменения политики проверьте свой домен в AI Visibility Checker: там видны сохранённые ответы AI, где вас упоминают или дают ссылку. Храните эти данные рядом с данными логов.

Запись об утверждении и изменении

Когда использовать: Запись об утверждении каждого изменения политики: старое и новое правило, причина, данные, утверждающий, откат и дата повторной проверки.

Запись об утверждении и изменении

Разрешить или заблокировать AI-агента - это бизнес-решение. Запишите, кто его принял, когда и как его отменить.

Правила утверждения

• Тот, кто составил правило, не утверждает его.
• Изменения для агентов AI-поиска утверждает ответственный за органическую видимость и видимость в AI.
• Изменения, которые касаются лицензионного контента, утверждает ответственный за условия лицензии.
• Нет утверждения - нет выкладки. Правило без записи снова попадает на проверку в следующем цикле.

Нужна полная построчная проверка правил robots.txt? Для тестирования и синтаксиса используйте шаблон проверки robots.txt. Эта страница посвящена решению и доказательствам.

Заголовок таблицы (CSV)

Когда использовать: Готовая строка заголовков и допустимые значения, чтобы вести проверку в Google Sheets или Excel.

Готовый заголовок таблицы

Вставьте эту строку в ячейку A1 в Google Sheets или Excel, затем разделите текст на столбцы по запятой. Одна строка на агента в каждой проверке.

review_date,site,agent_token,vendor,agent_type,documented_purpose,docs_url,docs_checked_date,vendor_robots_stance,site_policy,business_reason,robots_rule_live,log_source,log_window,hits_total,hits_verified,status_codes,verify_method,evidence_result,approver,approval_date,change_id,owner,next_action,next_review,notes

Допустимые значения

• agent_type: training, dataset, search, user_fetch, control_token
• vendor_robots_stance: follows, may_not_apply, generally_ignores, token_only
• site_policy: allow, block, partial
• verify_method: ip_list, reverse_dns, not_verified
• evidence_result: matches, mismatch, no_hits, spoofed

Советы по таблице

• Выделяйте строки, где docs_checked_date старше вашего цикла проверки.
• Выделяйте строки с пустым approver. Такие политики пока только черновики.
• Отфильтруйте evidence_result по значению mismatch, чтобы получить список исправлений.

Заполненный пример (вымышленное издательство Wendlethorn)

Когда использовать: Заполненная проверка для вымышленного издательства схем вязания: логи выявили одно расхождение из-за CDN и одного поддельного бота.

Заполненный пример: схемы вязания Wendlethorn

Только пример. Wendlethorn - вымышленное издательство схем для вязания. Домен, люди, количество обращений в логах и даты придуманы, чтобы показать заполненную проверку.

Сайт: wendlethorn.example - Ответственный за проверку: SEO-лид - Дата проверки: 2026-11-12 - Период логов: с 2026-10-29 по 2026-11-11

Что показала проверка

• OAI-SearchBot: по политике он разрешён, но его блокировало правило CDN для ботов. Бесплатные руководства не могли попасть в поиск ChatGPT. Ответственный за CDN исправил правило на той же неделе.
• CCBot: оба обращения пришли с IP вне опубликованного списка. Их записали как поддельные и закрыли на уровне файрвола.
• Платные схемы: они доступны только после входа, так что robots.txt никогда не был единственной защитой. В проверке это отметили намеренно.

Почему это работает

• У каждой политики есть причина, поэтому следующий проверяющий понимает, почему платные и бесплатные разделы настроены по-разному.
• Логи выявили блокировку, которую никто не планировал. Один robots.txt этого никогда бы не показал.
• Проверка IP уберегла команду от того, чтобы винить разработчика в поддельном трафике.

Нужна помощь с политикой доступа AI-краулеров для всего сайта? Запишитесь на бесплатную консультацию с Анатолием Улитовским или посмотрите наши услуги SEO и GEO.