Шаблон перевірки доступу AI-краулерів до сайту

Перевірка доступу AI-краулерів (аркуш для заповнення)

Коли використовувати: Один рядок на AI-агента: задеклароване призначення, рішення сайту, чинне правило robots.txt, дані з логів і погодження, а також відповідальні й фінальна перевірка.

Перевірка доступу AI-краулерів

Один рядок на AI-агента. У кожному рядку: що агент робить за словами постачальника, що вирішив ваш сайт, яке правило діє зараз, що показують логи і хто це погодив.

Сайт: [https://www.example.com] - Відповідальний за перевірку: [ім'я] - Дата перевірки: [РРРР-ММ-ДД] - Наступна перевірка: [дата]

Деталі по агенту (заповніть для кожного рядка)

• Задеклароване призначення: [що агент робить, словами самого постачальника]
• Джерело: [URL документації постачальника], перевірено [дата]
• Тип агента: [навчання / пошук / запит користувача / лише керувальний токен]
• Чи виконує robots.txt, за словами постачальника: [так / може не виконувати / здебільшого ігнорує]
• Бізнес-причина рішення: [чому сайт його дозволяє або блокує]
• Період логів: [дата початку і кінця], джерело [CDN / сервер / панель хостингу]
• Перевірено за: [URL списку IP постачальника або результат reverse DNS]
• Інші засоби контролю: [правило CDN чи файрвола, якщо є, і хто за нього відповідає]

Наступні кроки

• Відповідальний за перевірку: [ім'я] - завдання: заново відкрити кожну сторінку документації постачальників і оновити колонку з призначенням до [дата]
• Відповідальний за логи: [ім'я] - завдання: вивантажити логи за [N] днів для вказаних агентів і заповнити колонку з даними до [дата]
• Хто погоджує: [ім'я + роль] - завдання: погодити кожне рішення або повернути його з поясненням до [дата]
• Розробник: [ім'я] - завдання: викласти погоджені зміни robots.txt і зберегти старий файл для відкату до [дата]

Фінальна перевірка

• У кожному рядку один токен агента, а його призначення посилається на сторінку самого постачальника з датою перевірки.
• Кожне рішення має письмову бізнес-причину, а не просто «дозволити» чи «заблокувати».
• Колонку з правилом robots.txt скопійовано з чинного файлу, а не з чернетки.
• Дані з логів охоплюють указаний період, а звернення ботів звірено зі списком IP постачальника або через reverse DNS.
• Кожен рядок має ім'я того, хто погодив, і дату. Для рядків із розбіжністю є відповідальний і дата виправлення.

Довідник AI-агентів (звірено з документацією постачальників)

Коли використовувати: Одинадцять токенів AI-агентів: призначення за документацією постачальника, ставлення до robots.txt, як перевірити звернення і посилання на джерело.

Довідник AI-агентів (перевірено 14 листопада 2026 року)

Заповнюйте колонку з призначенням за цими сторінками постачальників, а не за списками з блогів. Постачальники додають і перейменовують агентів, тож у день перевірки відкривайте кожне посилання знову.

Як правильно читати таблицю

• Robots.txt має рекомендаційний характер. Це прохання. Краулер, який його ігнорує, все одно може завантажити сторінку. Реальне блокування робиться на сервері, у CDN або у файрволі.
• Агенти на запит користувача працюють інакше. OpenAI каже, що robots.txt може не застосовуватися до ChatGPT-User. Perplexity каже, що Perplexity-User здебільшого його ігнорує.
• Два токени ви в логах ніколи не побачите. Google-Extended не має рядка user agent, а Applebot-Extended не сканує. Шукайте натомість звернення Googlebot і Applebot.
• Запасне правило Apple: Apple каже, що коли robots.txt не згадує Applebot, але згадує Googlebot, Applebot виконує правила для Googlebot.

OpenAI також згадує OAI-AdsBot, який відвідує лише сторінки, подані як реклама в ChatGPT. Додайте рядок, якщо запускаєте таку рекламу.

Вибір політики доступу

Коли використовувати: Окремі рішення для навчання, AI-пошуку і запитів користувачів, а також запитання, на які варто відповісти тому, хто погоджує.

Вибір політики доступу

Спершу вирішуйте за типом агента, потім за токеном. Навчання, пошук і запити користувачів - це окремі рішення з окремими наслідками.

Запитання до того, хто погоджує

• Чи хочемо ми, щоб нас цитували у відповідях AI? [так / ні / лише деякі розділи]
• Чи є контент за ліцензією, платний або під умовами договору? [шляхи + хто відповідає за умови]
• Чи справді навантаження від сканування видно в логах? [докази, а не відчуття]
• Хто погоджує зміну, що впливає на видимість в AI? [роль]

Типові стартові політики

• Заборонити навчання, лишитися в цитуваннях: заблокуйте токени для навчання і наборів даних, дозвольте пошукових агентів. Підходить бізнесу, який хоче, щоб його цитували, але не використовували для навчання.
• Дозволити все: підходить сайтам, яким потрібне максимальне охоплення і які не мають ліцензійного контенту.
• Заблокувати всіх AI-агентів: підходить видавцям із платним доступом або ліцензійним контентом. Цитувань в AI-пошуку теж може поменшати.

У Robots.txt Generator є стартовий AI-шаблон в один клік, «Заборонити навчання, лишитися в цитуваннях», який готує першу версію політики. Перш ніж викладати її, запишіть рішення тут.

Чекліст даних із логів

Коли використовувати: Вивантажте логи, звірте звернення зі списками IP постачальників або через reverse DNS і розберіться з розбіжностями між політикою та поведінкою ботів.

Чекліст даних із логів

Політика - це лише половина перевірки. Колонка з логами показує, чи агенти справді поводяться так, як каже правило robots.txt.

Зберіть дані

• Вивантажте логи CDN або сервера за [N] днів із часом, IP, user agent, URL і кодом статусу.
• Відфільтруйте за кожним токеном з аркуша перевірки. Збережіть сире вивантаження; в аркуші лише підсумок.
• Зазначте, як часто і коли кожен агент запитував сам robots.txt.

Перевірте, перш ніж довіряти зверненню

• Рядок user agent легко підробити. Звірте IP з опублікованим списком постачальника з довідника.
• Для Applebot і CCBot постачальники також описують перевірку через reverse DNS. Запишіть, яким способом ви перевіряли.
• Позначте кожне звернення як перевірене, неперевірене або підроблене. Доказом щодо постачальника вважаються лише перевірені звернення.

Після зміни політики знайдіть свій домен в AI Visibility Checker, щоб побачити збережені відповіді AI, які вас згадують або посилаються на вас, і тримайте це поруч із даними з логів.

Запис погодження і змін

Коли використовувати: Запис погодження для кожної зміни політики: старе і нове правило, причина, докази, хто погодив, відкат і дата повторної перевірки.

Запис погодження і змін

Дозволити чи заблокувати AI-агента - це бізнес-рішення. Запишіть, хто його ухвалив, коли і як його скасувати.

Правила погодження

• Хто пише правило, той його не погоджує.
• Зміни для агентів AI-пошуку погоджує той, хто відповідає за органічну видимість і видимість в AI.
• Зміни, що зачіпають ліцензійний контент, погоджує той, хто відповідає за умови ліцензії.
• Немає погодження - немає викладки. Правило без запису знову перевіряють у наступному циклі.

Потрібна повна перевірка правил robots.txt, рядок за рядком? Для тестування і синтаксису скористайтеся шаблоном перевірки robots.txt. Ця сторінка про рішення і докази.

Заголовок таблиці (CSV)

Коли використовувати: Готовий рядок заголовків і допустимі значення, щоб вести перевірку в Google Sheets або Excel.

Готовий заголовок таблиці

Вставте цей рядок у клітинку A1 у Google Sheets або Excel, потім розділіть текст на колонки за комою. Один рядок на агента за кожну перевірку.

review_date,site,agent_token,vendor,agent_type,documented_purpose,docs_url,docs_checked_date,vendor_robots_stance,site_policy,business_reason,robots_rule_live,log_source,log_window,hits_total,hits_verified,status_codes,verify_method,evidence_result,approver,approval_date,change_id,owner,next_action,next_review,notes

Допустимі значення

• agent_type: training, dataset, search, user_fetch, control_token
• vendor_robots_stance: follows, may_not_apply, generally_ignores, token_only
• site_policy: allow, block, partial
• verify_method: ip_list, reverse_dns, not_verified
• evidence_result: matches, mismatch, no_hits, spoofed

Поради для таблиці

• Підсвічуйте рядки, де docs_checked_date старша за ваш цикл перевірки.
• Підсвічуйте рядки з порожнім approver. Такі рішення - це ще чернетки.
• Відфільтруйте evidence_result за значенням mismatch, щоб скласти список виправлень.

Заповнений приклад (вигадане видавництво схем для в'язання Wendlethorn)

Коли використовувати: Заповнена перевірка для вигаданого видавця схем: одна розбіжність через CDN і один підроблений бот, яких виявили логи.

Заповнений приклад: схеми для в'язання Wendlethorn

Лише приклад. Wendlethorn - вигаданий видавець схем для в'язання. Домен, люди, кількість звернень у логах і дати вигадані, щоб показати заповнену перевірку.

Сайт: wendlethorn.example - Відповідальний за перевірку: керівник SEO - Дата перевірки: 2026-11-12 - Період логів: з 2026-10-29 до 2026-11-11

Що виявила перевірка

• OAI-SearchBot: політика дозволяла доступ, але його блокувало правило CDN для ботів. Безкоштовні гайди не могли з'явитися в пошуку ChatGPT. Відповідальний за CDN виправив правило того ж тижня.
• CCBot: два звернення надійшли з IP поза опублікованим списком. Їх позначили як підроблені й заблокували у файрволі.
• Платні схеми: вони доступні лише після входу, тож robots.txt ніколи не був єдиним захистом. У перевірці це зазначили навмисно.

Чому це працює

• Кожне рішення має причину, тож наступний, хто перевірятиме, знає, чому платні й безкоштовні розділи налаштовані по-різному.
• Логи виявили блокування, якого ніхто не планував. Сам robots.txt цього ніколи б не показав.
• Перевірка IP вберегла команду від того, щоб звинуватити постачальника в підробленому трафіку.

Потрібна допомога з політикою доступу AI-краулерів для всього сайту? Запишіться на безкоштовну консультацію з Анатолієм Улітовським або перегляньте наші послуги SEO і GEO.