Что это
Процесс, в котором поисковик (Яндекс, Google, Bing) находит страницу, читает её и кладёт в свою базу. Пока страницы нет в базе, её не покажут ни в поиске, ни в ответах ИИ-ассистентов.
Как используем
После каждой выкатки сайт сам сообщает Яндексу и Bing об изменившихся страницах (IndexNow), а важные адреса отправляем на переобход в кабинетах вручную. В Яндекс страница попадает за 1–3 дня, в Google за 1–3 недели.
Где индексация важна бизнесу
- Сайт запустили, а в поиске его нет даже по названию компании.
- Сайт переезжает на новую CMS, и позиции в поиске терять нельзя.
- Тестовая версия сайта не должна попасть в поиск вместо настоящей.
- Без индексации страницу не процитирует ни Алиса, ни ChatGPT: ассистенты берут ответы из индексов поисковиков.
Сколько это занимает
Путь страницы: выкатили и сообщили поисковикам — поисковик обошёл её (Яндекс и Bing за один–три дня, Google от недели) — страница попала в индекс — начала показываться по запросам (Яндекс через одну–две недели, Google через две–четыре). Каждый шаг делают чужие роботы по своему расписанию, ускорить их нельзя, можно только не мешать.
Как мы это используем
- Карта сайта и robots.txt из контента. На сайте студии они собираются кодом из коллекций, поэтому новый кейс сам попадает в карту на обоих языках.
- IndexNow при каждой выкатке. Сайт сам сообщает Яндексу и Bing об изменившихся страницах; так же после правок работает сайт-визитка Валерия Афанасьева. Google протокол не поддерживает, туда важные адреса отправляем вручную в кабинете.
- Стенд закрыт. Одна переменная окружения переводит сайт в режим стенда: noindex и запрет в robots.txt. Демо сайта музея закрыто на трёх уровнях — мета-тег, robots.txt и заголовок X-Robots-Tag, который действует и на картинки, видео и шрифты.
- Переезд без потерь. При переносе с Joomla на WordPress карта старых адресов превращена в постоянные редиректы 301, у всех записей и рубрик заполнены заголовки и описания. Индексация на демо выключена и включается при переезде на боевой домен.
- Один главный домен. У «Дыхания Поволжья» домены латиницей и с опечаткой ведут на основной постоянным редиректом.
Настройку индексации под ключ делаем в разделе Сайты.
Типичные проблемы
- Сайт закрыт и забыт. Одной строкой в robots.txt можно закрыть весь сайт. Запрет, оставшийся после стенда, — частая причина «нас нет в поиске».
- Смена адресов. Каждый изменённый адрес без редиректа — потерянная страница. Адреса не меняем без нужды.
- Попытка ускорить. Лимиты на переобход небольшие: Google берёт около десяти адресов в день, Яндекс — полтораста. Заливать сотни адресов разом бесполезно.
- Без подтверждения в кабинетах. Чтобы отправить карту сайта и попросить переобход, сайт подтверждают в Яндекс Вебмастере, Google Search Console и Bing. Для этого нужны коды от владельца домена.
Когда это не нужно
Закрытым разделам, демо-стендам и кабинетам клиентов индексация не нужна, наоборот, их закрывают. И если сайт живёт неделю под одно мероприятие, ждать индексации бессмысленно: трафик даст реклама или прямая ссылка.