Шаблон аудиту robots.txt із правилами для AI-ботів

Звичайний робочий сайт

Коли використовувати: Звичайний живий сайт, якому потрібне повне сканування й посилання на карту сайту.

Коли використовувати: у вас здоровий робочий сайт, і ви хочете, щоб пошукові системи вільно сканували все й швидко знаходили карту сайту.

Директиви

• User-agent: *
• Disallow: (залиште значення порожнім, щоб дозволити все)
• Sitemap: [https://example.com/sitemap.xml]

Порожній Disallow означає, що нічого не заблоковано. Рядок Allow тут не потрібен: усе дозволено за замовчуванням.

Додаткове прибирання

• Disallow: [/wp-admin/] (заблокуйте реальний шлях до адмінки, якщо він є)
• Allow: [/wp-admin/admin-ajax.php]

Примітка: robots.txt керує скануванням, а не індексацією. Заблокована URL-адреса все одно може з'явитися у видачі, якщо на неї посилаються інші сторінки. Щоб сторінка не потрапила в індекс, дозвольте сканування й додайте метатег noindex або закрийте її логіном. Розмістіть файл у корені домену: [https://example.com/robots.txt].

Staging, dev або сайт до запуску

Коли використовувати: Непублічне середовище, яке має повністю залишатися поза пошуком.

Коли використовувати: це staging-сервер, копія для розробки або збірка до запуску, яку ніхто не повинен знайти в пошуку.

Директиви

• User-agent: *
• Disallow: /

Один рядок Disallow: / каже сумлінним краулерам пропускати всі URL на хості. Тут це навмисно, а будь-де ще небезпечно.

Критичне попередження: ніколи не допускайте цей рядок на продакшн. Найчастіша катастрофа з деіндексацією: Disallow: /, скопійований зі staging на живий сайт під час деплою.

Надійніший захист

• Robots.txt це прохання, а не замок. Недобросовісні краулери його ігнорують.
• Додайте HTTP-автентифікацію (логін і пароль), щоб середовище було справді закритим.
• Якщо як запасний варіант ставите noindex на весь сайт, не блокуйте сторінки ще й через Disallow: /: заблокована сторінка ніколи не покаже свій тег noindex.

Примітка: якщо staging-URL уже просканували, не розраховуйте, що Disallow: / його прибере. Блокування URL заважає Google побачити тег noindex. Тимчасово дозвольте сканування з noindex або скористайтеся інструментом видалення (Removals) у Search Console.

Керування скануванням для e-commerce

Коли використовувати: Магазин, якому треба відвести краулінговий бюджет від малоцінних URL.

Коли використовувати: магазин генерує безкінечні фасетні, параметричні й акаунтні URL, які з'їдають краулінговий бюджет і розмивають сигнали.

Типові блокування

• User-agent: *
• Disallow: [/cart]
• Disallow: [/checkout]
• Disallow: [/account/]
• Disallow: [/search] (результати внутрішнього пошуку по сайту)
• Disallow: [/*?*sort=] (параметр сортування будь-де в рядку запиту)
• Disallow: [/*?*filter=] (фасетні фільтри)
• Disallow: [/*.pdf$] (блокує будь-яку URL, що закінчується на .pdf: $ фіксує кінець)

Використовуйте * для будь-якої послідовності символів і $ для фіксації кінця URL. Шляхи чутливі до регістру, тому [/Search] і [/search] це різні правила.

Обережно: блокуйте лише параметри, які створюють справжні дублікати або тонкі сторінки. Якщо заблокувати параметр, що змінює основний вміст товару (або ваші канонічні URL), можна сховати сторінки, які мають ранжуватися. Для дублікатів краще використовувати canonical, а robots.txt залишити для сміттєвих URL, які ви ніколи не хочете віддавати краулерам.

Пускати пошуковики, блокувати скрейпери

Коли використовувати: Пускати основних пошукових ботів і відсікати агресивних чи небажаних краулерів.

Коли використовувати: ви хочете, щоб Google, Bing та інші великі пошуковики вільно сканували сайт, але хочете відвадити відомі скрейпери й боти, що з'їдають трафік.

Дозвольте потрібні пошуковики

• User-agent: Googlebot
• Disallow: (порожньо)
• User-agent: Bingbot
• Disallow: (порожньо)

Відвадьте конкретного краулера

• User-agent: [BadBot]
• Disallow: /

Кожен блок User-agent зіставляється окремо, і бот виконує найконкретнішу групу, у якій його названо. Залиште в кінці групу User-agent: *, щоб неназвані боти теж отримали чіткі інструкції.

Щодо AI-краулерів потрібне окреме рішення: одні живлять AI-відповіді в пошуку, інші збирають дані для навчання. Перш ніж блокувати будь-якого з них, перегляньте варіант «Рішення щодо AI-краулерів».

Тверезий погляд: robots.txt добровільний. Сумлінні пошуковики його виконують, а зловмисні скрейпери можуть ігнорувати й навіть використати, щоб знайти названі вами шляхи. Великі AI-компанії документують, що їхні краулери його дотримуються, хоча фетчери, які запускає користувач, можуть і не дотримуватися. Для реального захисту блокуйте за user-agent або IP на сервері чи файрволі або обмежуйте частоту запитів. Сприймайте robots.txt як підказку, а не як захист.

Оголошення однієї чи кількох карт сайту

Коли використовувати: Вкажіть краулерам одну чи кілька карт сайту, зокрема індекс карт сайту.

Коли використовувати: ви хочете, щоб кожен краулер знайшов ваші карти сайту, особливо якщо великий сайт розбито на кілька файлів.

Одна карта сайту

• Sitemap: [https://example.com/sitemap.xml]

Кілька карт сайту

• Sitemap: [https://example.com/sitemap-posts.xml]
• Sitemap: [https://example.com/sitemap-products.xml]
• Sitemap: [https://example.com/sitemap-images.xml]

Або один індекс карт сайту

• Sitemap: [https://example.com/sitemap_index.xml]

Правила:

• Кожну карту сайту вказуйте окремим рядком. Кількість рядків Sitemap не обмежена, але один файл карти сайту вміщує до 50 000 URL і 50 МБ без стиснення: великі сайти розбивайте на кілька файлів або використовуйте індекс карт сайту.
• Завжди вказуйте повну абсолютну URL-адресу з правильним протоколом (https) і хостом.
• Директива Sitemap не залежить від груп User-agent, тому її можна розмістити будь-де у файлі.
• Надсилати карти сайту в Search Console і Bing Webmaster Tools все одно варто, як запасний варіант.

Чекліст перед публікацією

Коли використовувати: Зловіть помилки, які тихо деіндексують сайт, ще до публікації файлу.

Коли використовувати: ви збираєтеся опублікувати чи замінити файл robots.txt і хочете уникнути класичних дорогих помилок.

Перевірте кожен пункт

1. Переконайтеся, що файл лежить у корені: [https://example.com/robots.txt]. Файл у підпапці ігнорується.
2. Перевірте, що не залишилося випадкового Disallow: / зі staging.
3. Звірте регістр у кожному шляху: robots.txt чутливий до регістру.
4. Переконайтеся, що папки з CSS, JS і зображеннями не заблоковані, щоб Google міг рендерити сторінки.
5. Перевірте, що кожен рядок Sitemap містить повну https-адресу, яка повертає 200.
6. Стежте за правилами Disallow:, ширшими, ніж задумано (кінцевий слеш має значення).
7. Пам'ятайте: robots.txt не деіндексує. За потреби поєднуйте блокування з noindex або інструментами видалення.
8. Повторюйте тест після кожного оновлення CMS чи плагіна: вони можуть перезаписати файл.

Фінальний тест: відкрийте [https://example.com/robots.txt] у браузері, щоб переконатися, що файл завантажується, а після запуску перевірте звіт robots.txt (robots.txt report) у Search Console, щоб побачити версію, яку отримав Google.

Таблиця перевірки директив (для заповнення)

Коли використовувати: Один рядок на правило: шлях, user-agent, бажаний доступ, причина, тестова URL, результат тесту й рядок для відкату.

Перевірка директив robots.txt

Файл: [https://www.example.com/robots.txt] · Перевірив: [ім'я] · Дата: [дата]

Правила перевірки

• Кожне правило потребує причини. Якщо ніхто не може пояснити, навіщо правило існує, перевірте, що воно блокує, і лише тоді вирішуйте, чи його залишати.
• Тестуйте реальні URL, а не шаблони. Google застосовує найконкретніше (найдовше) правило, що збігається, а якщо Allow і Disallow рівні, перемагає менш суворе.
• Конкретні групи нічого не успадковують. Краулер виконує лише найконкретнішу групу user-agent, у якій його названо. Правила під * не діють на бота, який має власну групу.
• Зберігайте останній робочий файл. Перед кожною зміною робіть копію з датою, щоб відкат зводився до вставки, а не до спроб щось пригадати.

Факти про Google, які варто знати (перевірено в жовтні 2026)

• Google читає до 500 КіБ файлу й зазвичай кешує його до 24 годин.
• Якщо robots.txt повертає 4xx, Google вважає, що обмежень немає. Якщо 5xx, Google припиняє сканувати сайт на 12 годин, а потім може використати останню робочу копію.
• Google ігнорує crawl-delay. Він підтримує user-agent, allow, disallow і sitemap.
• Disallow зупиняє сканування, а не індексацію. Заблокована URL-адреса все одно може з'явитися у видачі без сніпета.

Рішення щодо AI-краулерів

Коли використовувати: Окремо вирішуйте щодо AI-пошуку, AI-навчання й запитів від користувачів, спираючись на задокументовані токени user-agent кожної компанії.

Рішення щодо AI-краулерів

Токени та їхнє призначення за документацією кожної компанії, перевірено 20 жовтня 2026. Компанії часто додають нових ботів, тож перевіряйте перед кожним аудитом.

Як вирішувати

• Пошук і навчання це різні рішення. За словами компаній, блокування навчального бота, як-от GPTBot чи ClaudeBot, не блокує їхніх пошукових ботів. А якщо заблокувати OAI-SearchBot, ваші сторінки не з'являтимуться у відповідях пошуку ChatGPT.
• Google-Extended не впливає на Google Search. Google каже, що це не сигнал ранжування і він не змінює присутність у пошуку.
• Запишіть бізнес-причину. Видавець, який захищає платний контент, і SaaS-компанія, яка хоче, щоб її рекомендували в AI-відповідях, мають ухвалити протилежні рішення.

Приклад групи

• User-agent: GPTBot
• Disallow: /
• User-agent: OAI-SearchBot
• Allow: /

Так ви блокуєте навчальний краулер OpenAI, але зберігаєте доступ для пошуку ChatGPT. OpenAI зазначає, що зміни можуть набрати чинності приблизно за 24 години.

Розібраний приклад (вигадана B2B SaaS)

Коли використовувати: Заповнений аудит robots.txt вигаданої SaaS-компанії: зі staging-правилом, яке потрапило на продакшн, і з тим, як колонка відкату врятувала ситуацію.

Розібраний приклад: Ledgerline

Лише приклад. Компанія, люди, URL і цифри вигадані, щоб показати, як виглядає зручна заповнена версія.

Що виявив аудит

Два правила робили протилежне до того, чого хотіла команда. Блок /docs/ прийшов зі staging-файлу, скопійованого під час редизайну. Він сховав від пошуку 400 довідкових статей. Блок OAI-SearchBot додав поруч із GPTBot хтось, хто вважав, що це той самий бот. Обидва виправили одним релізом, а старий файл зберегли для відкату.

Наступний крок

Зберіть чистий файл у генераторі robots.txt і переконайтеся, що рядок Sitemap веде на робочий файл з генератора XML-карти сайту. Після зміни правил для AI-краулерів відстежуйте в AI Visibility Checker, чи з'являється ваш бренд в AI-відповідях з часом. Потрібен повний технічний аудит? Перегляньте наші послуги SEO та GEO.