Что это
Небольшой файл в корне сайта, который говорит роботам, что можно читать, а что нет. Одной строкой в нём можно случайно закрыть весь сайт от поиска.
Как используем
Наш robots.txt открывает сайт всем поисковикам и ботам ИИ (GPTBot, ClaudeBot, YandexBot и другим), закрывая только служебные адреса. В режиме стенда сайт закрывается от индексации одной переменной.
Где это нужно бизнесу
- Сайт должны читать поисковики и ИИ-ассистенты, а админку и служебные адреса — нет.
- Тестовая версия сайта не должна попасть в поиск вместо настоящей.
Как мы это используем
- Открыт для поиска и ИИ. Наш robots.txt открывает сайт всем поисковикам и ботам ИИ — GPTBot, ClaudeBot, YandexBot и другим, — закрывая только служебные адреса. На сайте студии файл собирается кодом, а одна переменная окружения переводит сайт в режим стенда с запретом на индексацию.
- Админка закрыта. В интернет-магазине robots.txt закрывает панель управления.
- Демо закрыто целиком. У демо-стенда сайта музея robots.txt — только один из трёх уровней: ещё мета-тег и заголовок X-Robots-Tag, который действует и на картинки, видео и шрифты.
Типичные проблемы
- Одна строка закрывает всё. Запрет, оставшийся после стенда, — частая причина того, что сайта нет в поиске.
- robots.txt — просьба, а не замок. Честные роботы его слушают, остальные нет. Поэтому демо-стенд дополнительно защищён стражем и отказом известным скачивалкам.
Когда это не нужно
robots.txt нужен любому сайту; вопрос только в том, что в нём закрыто. Для настоящей закрытости нужен пароль, а не robots.txt.