Что такое IndexNow и как его использовать? Исследование с примерами

Поисковые системы не узнают об изменениях на сайте моментально. Даже если на ресурсе появилась новая страница или был обновлен уже существующий материал, поисковому роботу требуется время, чтобы обнаружить эти изменения и переобойти документ. В среднем повторный обход может занимать от нескольких дней до нескольких недель — многое зависит от размера сайта, частоты обновлений и авторитетности ресурса.

Именно поэтому SEO-специалисты используют различные инструменты ускоренной индексации. Практически у каждой поисковой системы существуют собственные механизмы уведомления о новых страницах и обновлениях контента.

Недавно появился еще один способ сообщать поисковым системам об изменениях на сайте — протокол IndexNow. Его создатели заявляют, что технология позволяет практически мгновенно уведомлять поисковики о новых URL, обновлениях существующих страниц или удалении контента. После получения сигнала поисковая система может изменить приоритет обхода и быстрее обнаружить изменения.

Но насколько эффективно работает этот инструмент на практике? Разберемся подробнее.

Что такое IndexNow

IndexNow представляет собой открытый протокол уведомления поисковых систем об изменениях на сайте. В отличие от инструментов отдельных поисковых систем, он не принадлежит какой-либо одной компании и доступен для интеграции всем поисковикам, которые соответствуют требованиям проекта.

Основная идея заключается в том, чтобы сайт самостоятельно уведомлял поисковые системы о появлении нового контента или изменениях на существующих страницах. Вместо ожидания очередного визита поискового робота владелец сайта может отправить уведомление сразу после публикации материала.

Согласно концепции проекта, поисковые системы должны быстрее узнавать о новых страницах и оперативнее реагировать на изменения контента.

По данным разработчиков, после отправки уведомления поисковик практически сразу получает информацию о новых URL и может изменить приоритет их обхода. При обычной схеме индексирования ожидание визита робота может затянуться на несколько дней.

На момент появления протокола его поддержку получили Яндекс и Microsoft Bing.

Еще одна важная особенность IndexNow — механизм обмена данными между поисковыми системами. Согласно правилам проекта, поисковики, использующие протокол, должны делиться полученными URL между собой. В теории это означает, что отправка страницы в одну поисковую систему автоматически сообщает о ней и другим участникам экосистемы.

На практике ситуация оказалась несколько сложнее.

Инструменты уведомления поисковых систем об изменениях на сайте

Сегодня для ускорения индексации можно использовать несколько инструментов.

Каждый из этих инструментов решает одну задачу — помогает быстрее сообщить поисковой системе о появлении новых страниц или обновлении существующих документов.

Однако механика работы и эффективность у них различаются.

Возможности IndexNow

Протокол позволяет отправлять до 10 000 URL в рамках одного запроса.

Фактически владелец сайта сообщает поисковым системам:

• появилась новая страница;
• был изменен контент существующей страницы;
• страница была удалена;
• документ необходимо пересканировать.

После получения уведомления поисковая система принимает решение о повторном обходе указанных URL.

Для крупных интернет-магазинов, маркетплейсов, агрегаторов и новостных ресурсов такая схема выглядит особенно привлекательной. Вместо ожидания очередного визита робота можно самостоятельно инициировать проверку большого количества страниц.

Как подключить IndexNow

Перед использованием протокола необходимо подтвердить право собственности на сайт.

Механизм напоминает верификацию в Яндекс Вебмастере или Google Search Console.

Шаг 1. Создание ключа

Для начала необходимо создать специальный текстовый файл с ключом подтверждения.

Название файла должно содержать от 8 до 128 символов.

Допускаются:

• латинские буквы;
• цифры;
• дефисы.

Содержимое файла должно совпадать со значением ключа.

Например:

Файл:

fbf52ef4708d4ed48a4d1c8e4522f1d6.txt

Содержимое:

fbf52ef4708d4ed48a4d1c8e4522f1d6

Шаг 2. Размещение файла на сайте

Существует два варианта размещения.

В корневом каталоге сайта

Это рекомендуемый способ.

Пример:

https://www.example.org/fbf52ef4708d4ed48a4d1c8e4522f1d6.txt

В произвольной директории

Если файл размещен не в корне сайта, при каждом запросе необходимо дополнительно передавать путь к нему через параметр keyLocation.

Пример:

https://searchengine/indexnow?

url=http://www.example.org/product.html&

key=fbf52ef4708d4ed48a4d1c8e4522f1d6&

keyLocation=http://www.example.org/myIndexNowKey63638.txt

После получения уведомления поисковая система сначала проверяет наличие ключа и только затем начинает обработку URL.

Как отправлять страницы через IndexNow

Для передачи одного URL используется GET-запрос.

Пример структуры:

https://searchengine/indexnow?url=url-changed&key=your-key

Где:

• searchengine — адрес поисковой системы;
• url-changed — обновленная страница;
• your-key — ключ подтверждения.

Для массовой отправки используется POST-запрос.

В теле запроса передаются:

• домен сайта;
• ключ;
• список URL.

Таким способом можно отправлять тысячи адресов одновременно, включая HTTP и HTTPS версии страниц.

Для крупных проектов это значительно удобнее ручной отправки URL через интерфейсы вебмастеров.

Исследование эффективности IndexNow

Чтобы понять, насколько хорошо работает новый протокол на практике, был проведен эксперимент на действующем сайте.

Цель исследования состояла в том, чтобы ответить на несколько важных вопросов:

• насколько быстро поисковая система сканирует страницы после уведомления через IndexNow;
• ускоряется ли индексация новых страниц;
• можно ли быстрее удалять документы из индекса;
• отличается ли эффективность IndexNow от инструмента Переобход страниц;
• как ведет себя поисковый робот при различных сценариях использования.

Для анализа использовались:

• серверные логи;
• данные поисковой выдачи;
• результаты обхода страниц;
• сравнение с инструментом Переобход страниц.

Эксперимент №1. Переиндексация старых страниц

Сначала были протестированы уже существующие страницы.

Для эксперимента выбрали 35 URL, которые находились в индексе поисковой системы, но получили обновленный контент.

После внесения изменений страницы были отправлены через IndexNow.

Логи сервера показали следующую картину:

00:26 — отправлено 35 страниц через IndexNow

00:26 — робот проверил ключ

00:36 — повторного обхода нет

07:23 — страницы по-прежнему не пересканированы

Сразу после отправки поисковая система действительно проверила файл подтверждения и получила ответ сервера 200 OK.

Это означает, что уведомление было успешно принято.

Однако дальнейших действий не последовало.

Ни через десять минут, ни через несколько часов робот не начал пересканирование обновленных страниц.

После этого те же самые URL были отправлены через инструмент Переобход страниц.

Результат оказался совершенно другим.

Практически сразу после отправки робот начал посещать документы, а в течение одной минуты были пересканированы все 35 страниц.

Вывод

Для обновления уже известных поисковой системе URL инструмент Переобход страниц показал значительно более высокую эффективность.

Промежуточный счет: 0:1 в пользу Переобхода.

Эксперимент №2. Сканирование новых страниц

Следующий этап исследования был посвящен новым документам.

Через IndexNow были отправлены 887 ранее неизвестных поисковой системе страниц.

Серверные логи выглядели следующим образом:

12:03 — отправлено 887 новых страниц

12:03 — проверен ключ

12:03 — началось сканирование

12:13 — просканировано 834 страницы

В отличие от предыдущего теста, поисковый робот практически сразу начал обход новых URL.

Однако примерно через десять минут процесс остановился.

При этом было обработано около 90% страниц.

Оставшиеся документы робот так и не посетил.

На основании эксперимента возникло предположение о существовании внутреннего временного ограничения на обработку уведомлений.

Косвенно это подтверждается рекомендациями самого протокола: при частом обновлении страниц рекомендуется делать паузу около десяти минут между уведомлениями.

Получается, что количество реально просканированных страниц зависит не только от лимита в 10 000 URL, но и от скорости работы сервера.

Если сайт отвечает медленно, робот физически не успеет проверить все переданные документы за отведенный промежуток времени.

Для сравнения были дополнительно отправлены 100 новых URL через Переобход страниц.

Все адреса были успешно просканированы примерно за одну минуту.

Вывод

Для новых страниц IndexNow действительно работает и помогает быстро привлечь поискового робота.

Однако процесс обхода может ограничиваться внутренними лимитами.

Промежуточный счет: 1:2 в пользу Переобхода.

4. Удаление страниц из индекса: помогает ли IndexNow ускорить процесс?

После проверки работы инструмента с новыми и уже существующими страницами следующим этапом стало исследование возможности удаления URL из поискового индекса.

Для многих крупных сайтов эта задача не менее важна, чем индексация новых материалов. Интернет-магазины регулярно снимают товары с продажи, агрегаторы удаляют устаревшие карточки, а информационные проекты закрывают неактуальные публикации. Если такие страницы продолжают оставаться в поиске, это негативно влияет как на пользовательский опыт, так и на качество сайта в глазах поисковой системы.

В рамках эксперимента была выбрана уже проиндексированная страница. После удаления она начала отдавать HTTP-код 404, а затем адрес был отправлен через IndexNow.

Логи показали следующую последовательность действий:

• 15:37 — страница удалена с сайта и возвращает код ответа 404;
• 15:38 — URL отправлен через IndexNow;
• 16:14 — страница по-прежнему находится в индексе, обход роботом не зафиксирован;
• 16:15 — адрес дополнительно отправлен через инструмент «Переобход страниц» в Яндекс Вебмастере;
• робот практически сразу повторно посетил страницу;
• 16:27 — URL удален из поисковой выдачи.

Получается, что спустя 36 минут после уведомления через IndexNow поисковая система даже не приступила к повторной проверке страницы. После использования собственного инструмента поисковой системы ситуация изменилась практически моментально.

Фактически удаление произошло через 12 минут после запуска переобхода и примерно через 50 минут после первоначальной отправки через IndexNow.

Результат эксперимента оказался однозначным: для удаления документов из индекса встроенный инструмент поисковой системы работает значительно эффективнее.

Сводные результаты эксперимента

После серии тестов можно было сравнить эффективность двух подходов по нескольким направлениям.

По итогам серии проверок счет оказался условно 1:4 не в пользу IndexNow.

Единственным сценарием, где протокол показал ощутимые преимущества, стала массовая отправка новых URL на сканирование. Благодаря возможности передавать до десяти тысяч адресов за один запрос инструмент может быть полезен для крупных проектов с постоянно обновляющимся контентом.

Почему результаты оказались такими

Важно понимать, что IndexNow не является инструментом прямой индексации.

По сути, протокол лишь уведомляет поисковые системы о том, что на сайте появились изменения и определенные страницы заслуживают внимания робота.

Дальнейшее решение принимает сама поисковая система:

• нужно ли посещать страницу;
• когда выполнять обход;
• стоит ли обновлять документ в индексе;
• нужно ли вообще включать страницу в базу поиска.

Поэтому отправка URL через IndexNow вовсе не гарантирует их быструю индексацию.

Напротив, инструменты вебмастеров фактически взаимодействуют с внутренними механизмами поисковых систем и обладают более высоким приоритетом.

Именно поэтому в ходе эксперимента наблюдалась ситуация, когда робот узнавал о странице через IndexNow, но добавлял ее в индекс только после отправки через встроенный механизм переобхода.

Когда IndexNow действительно полезен

Несмотря на результаты тестов, говорить о бесполезности протокола нельзя.

У него есть ряд сильных сторон.

Во-первых, это единая точка взаимодействия сразу с несколькими поисковыми системами. Вместо отдельных запросов можно один раз уведомить участников экосистемы IndexNow об изменениях на сайте.

Во-вторых, инструмент подходит для проектов с огромным количеством страниц:

• маркетплейсов;
• агрегаторов;
• крупных интернет-магазинов;
• классифайдов;
• новостных порталов;
• сайтов объявлений.

На таких ресурсах ежедневно появляются тысячи новых документов, и классические инструменты вебмастеров могут иметь ограничения по количеству отправляемых адресов.

В подобных случаях возможность передать сразу до 10 000 URL становится серьезным преимуществом.

Кроме того, для новых страниц протокол действительно способен ускорить их обнаружение поисковым роботом.

Когда лучше использовать другие инструменты

Для небольших и средних сайтов преимущества IndexNow оказываются менее заметными.

Если ресурс содержит несколько сотен или даже несколько тысяч страниц, поисковые системы обычно самостоятельно справляются с обходом без дополнительных уведомлений.

В таких случаях более эффективными оказываются:

• инструменты переобхода в панелях вебмастеров;
• корректно настроенная XML-карта сайта;
• качественная внутренняя перелинковка;
• работа с внешними ссылками;
• регулярное обновление контента.

Для переиндексации измененных материалов и удаления страниц результаты исследования также показывают преимущество встроенных инструментов поисковых систем.

Практические рекомендации по использованию IndexNow

На основании проведенных тестов можно сформулировать несколько рекомендаций.

Используйте IndexNow, если:

• на сайте ежедневно публикуется большое количество новых страниц;
• проект насчитывает десятки или сотни тысяч URL;
• важно оперативно уведомлять поисковые системы о появлении нового контента;
• требуется массовая отправка адресов без ручной работы.

Используйте инструменты вебмастеров, если необходимо:

• ускорить переобход существующих страниц;
• обновить информацию в индексе после редактирования контента;
• удалить URL из поисковой выдачи;
• добиться максимально быстрой индексации отдельных документов.

Выводы

IndexNow — перспективный протокол обмена информацией между сайтами и поисковыми системами. Его главная задача заключается в том, чтобы быстрее сообщать поисковым роботам о появлении новых страниц и изменениях существующих URL.

Для работы необходимо подтвердить права на сайт с помощью специального ключа, разместить его на сервере и отправлять уведомления через API.

Практическое исследование показало, что возможности инструмента пока ограничены. Поисковая система действительно получает информацию о новых URL и может достаточно быстро начать их сканирование. Однако это не гарантирует оперативного попадания страниц в индекс.

Для переобхода измененных материалов, удаления документов из поиска и ускоренной индексации отдельных URL встроенные инструменты вебмастеров показали более высокую эффективность.

Тем не менее для крупных проектов с большим объемом постоянно обновляемого контента IndexNow может стать полезным дополнением к существующему набору SEO-инструментов. Особенно если речь идет о десятках тысяч новых страниц, которые необходимо регулярно отправлять на сканирование.

В ближайшие годы развитие протокола и расширение списка поисковых систем-участников могут существенно повысить его ценность для владельцев сайтов. Уже сейчас его можно рассматривать как дополнительный канал взаимодействия с поисковыми роботами, который помогает быстрее привлекать их внимание к новым материалам и изменениям на сайте.