Индексация сайта: как проверить и почему Яндекс не берёт

Индексация сайта - это два события подряд. Сначала робот поисковика скачивает страницу. Потом алгоритм решает, класть ли её в поисковую базу, и только после этого страницу можно найти. Проверить индексацию в Яндексе можно за пять минут тремя способами: оператором url: прямо в поиске, отчётами Вебмастера и логами сервера. Первые два показывают, есть ли страница в базе, третий отвечает на вопрос, приходил ли робот вообще.

Разница между "робот пришёл" и "страница в поиске" кажется мелочью, пока не упрёшься в неё сам. Мы упёрлись в октябре 2026 года. Из пятнадцати статей этого журнала, вышедших с 4 по 17 октября, в поиск Яндекса на 25 октября не попала ни одна, а робот скачал из них шесть. Ниже способы проверки, наш случай с логами и порядок диагностики, если ваших страниц тоже нет.

Как проверить индексацию сайта: три способа

Начинайте с самого быстрого и спускайтесь к точному.

1. Оператор url: в поиске Яндекса. Наберите url:example.ru/razdel/stranica без https:// и www, если главный адрес сайта без www. Справка по языку запросов отдельно оговаривает, что в операторах с именем хоста нужно указывать главный адрес сайта. Нашлась страница - она в базе. Не нашлась - либо её там нет, либо вы указали не тот адрес. Оператор site: с доменом покажет примерное число страниц сайта, но для одной страницы он грубее.
2. Яндекс Вебмастер. В разделе "Индексирование" отчёт "Страницы в поиске" показывает, что вошло в выдачу, а вкладка "Исключённые страницы" - что выпало и почему. Инструмент "Проверка страницы" показывает код ответа, контент глазами робота и статус конкретного адреса. Яндекс предупреждает, что данные о новых страницах обновляются с задержкой в несколько дней.
3. Логи сервера. Только тут видно, приходил ли робот и что получил в ответ. Ищите строки с User-agent YandexBot и проверяйте адрес обратным DNS-запросом: настоящие роботы Яндекса живут на хостах, которые заканчиваются на yandex.ru, yandex.net или yandex.com. Под YandexBot нередко маскируются чужие парсеры.

В Google логика та же, инструменты свои. Оператор site: с адресом страницы, а точнее - "Проверка URL" в Search Console: она показывает, есть ли адрес в индексе, когда его последний раз сканировали и какой канонический адрес выбрал сам Google. Там же можно попросить проиндексировать страницу заново.

Если нужен ответ на вопрос "почему меня нет в поиске", одного способа мало. Поиск скажет "нет", Вебмастер, если повезёт, назовёт причину, а логи покажут, дошло ли вообще дело до причины.

Обход и индексация живут по разным часам

Робот узнаёт о странице из Sitemap, из ссылок и из сигналов: заявки на переобход в Вебмастере или уведомления IndexNow. Дальше он её скачивает, разбирает и передаёт алгоритму, который решает судьбу страницы. Если шансов оказаться востребованной у неё мало, Яндекс её не включает и помечает как малоценную или маловостребованную. В справке это описано как "автоматический регулярный процесс", решение может измениться при следующем обновлении базы.

Сроки у двух шагов совсем разные. В начале октября мы опубликовали замер на восемнадцати сентябрьских статьях: робот приходил на любой сигнал за 6-31 секунду, а в отчёт "Страницы в поиске" статьи попадали через 4-13 дней, и не все. Справка называет потолок в две недели: "страница может появиться в поиске в течение двух недель после того, как робот узнает о ее изменении".

Отсюда первое практическое правило. Не надо мерить индексацию по визиту робота и паниковать на третий день. Неделя-две после визита - нормальный срок.

Наш случай: четыре порции статей и сбой в дата-центрах

Журнал SEENGO выходит порциями. В октябре их было четыре, и у каждой своя история в логах. Время визитов взято из журнала nginx, проверка "в поиске или нет" сделана 25 октября оператором url: через API поиска Яндекса по каждому адресу.

Первые две строки различаются только исходом. Обе порции робот забрал сразу. Первая вошла в поиск целиком. Вторая за три недели не вошла ни одной статьёй.

Между ними уместился сбой. В ночь с 7 на 8 октября атака беспилотников серьёзно повредила дата-центр Яндекса в Сасове, утром пострадал дата-центр в Калуге, 11 октября перестала быть доступной ещё одна зона облака. Сам Яндекс написал в своём канале, что инфраструктура повреждена и в работе сервисов возможны сбои. Поиск, Алиса и Карты вернулись быстро. Вебмастер 12 октября не открывался вовсе, а когда открылся, переобход страниц и удаление из поиска работали только на просмотр. API Вебмастера, через который мы отправляли заявки, у нас не отвечает до сих пор: соединение устанавливается и висит.

Дальше начинаются странности, которых в сентябре не было.

Пятнадцать статей 11 и 17 октября робот Яндекса почти не трогал. 19 октября он забрал sitemap.xml, где все десять свежих адресов уже стояли с датами, и за следующие шесть дней не открыл ни одного. Зато за последние пять дней он 91 раз скачал четыре статьи от 20-23 августа, которые давно в поиске. Робот не пропал, он ходит по старым адресам.

Сигналы тоже вели себя не так. 11 октября адрес yandex.com/indexnow отвечал пустым ответом, уведомление пришлось отправлять через общий узел api.indexnow.org. 17 октября Яндекс принял уведомление с кодом 200, но визита за ним не последовало. В сентябре за таким ответом робот приходил в первую минуту. Ответ 200 значит только одно: заявку приняли. Что робот за ней придёт, он не обещает.

Другие роботы при этом работали как обычно. К порции 17 октября за восемь дней пришли робот поиска OpenAI (19 раз), PerplexityBot (19), ClaudeBot и Applebot (по 10). Робот Google, честности ради, к октябрьским статьям не приходил ни разу, хотя по остальному сайту ходит каждый день. Так что медленный обход новых страниц бывает и без всяких сбоев.

Что из этого следует, а что нет

Самое простое объяснение для порций 11 и 17 октября - сбой. Робот после него обходит сайты реже, и то, что ему уже известно, он перепроверяет раньше, чем берёт новое. Владельцы других сайтов в эти недели пишут о том же, но официальных цифр Яндекс не дал. Поэтому формулировка у нас осторожная: совпадает по времени и не противоречит.

С порцией 4 октября сложнее. Её робот скачал за четыре дня до сбоя, ровно в тот момент, когда в сентябре статьи начинали входить в отчёт. Возможны два объяснения, и различить их без отчёта "Исключённые страницы" мы не можем. Либо обновление поисковой базы встало вместе с дата-центрами и статьи ждут в очереди. Либо алгоритм счёл их маловостребованными: это была техническая порция про метатеги, Open Graph, дубли страниц, noindex и кириллические домены, на сайте про видимость в нейросетях она стоит особняком.

Чего наш случай не показывает: что после сбоя Яндекс что-то выкинул из поиска. 11 октября, уже после атак, в поиске было 45 статей журнала из 91. 25 октября их тоже 45, только из 106. Старое число не сдвинулось, все новые остались снаружи.

Почему страницы нет в поиске: диагностика по шагам

Порядок такой, чтобы каждый шаг отсекал причину для следующего. Обычно хватает первых трёх.

1. Сервер отдаёт роботу 200. Именно роботу: заголовки запроса у него и у браузера разные. В Вебмастере это "Проверка ответа сервера". Переадресация, 404 или 5xx - причина найдена.
2. Нет запрета. robots.txt не закрывает раздел, в коде нет метатега noindex, сервер не отдаёт заголовок X-Robots-Tag, а rel=canonical указывает на саму страницу, а не на главную или соседнюю. Про noindex и nofollow у нас есть отдельный разбор с частыми ошибками.
3. Робот знает о странице. Адрес есть в Sitemap, на него ведёт ссылка с главной или из раздела. Страница, на которую нет ни одной внутренней ссылки, для робота почти не существует.
4. Робот приходил. Смотрите логи или отчёт "Статистика обхода". Не приходил больше недели - отправьте один сигнал через IndexNow или переобход и подождите. Повторять каждый день бессмысленно: в сентябре повторное уведомление без изменений на странице робота не приводило.
5. Прошло две недели после визита. Раньше этого срока выводов не делайте.
6. Причина в "Исключённых страницах". Дубль - склеить canonical или редиректом. Малоценная - проверить, виден ли текст без JavaScript и не спрятан ли важный контент в картинке или iframe, это Яндекс перечисляет прямо. Маловостребованная - честно спросить себя, отвечает ли страница на вопрос, который кто-то задаёт. Тут помогает Вордстат: если по теме страницы запросов почти нет, алгоритм не ошибся.
7. Ограничения сайта целиком. Раздел "Оптимизация сайта", вкладка "Безопасность и нарушения". Если там пусто, отдельные исключённые страницы о нарушениях не говорят: справка прямо так и пишет.

Шестой шаг самый частый и самый неприятный, потому что технически всё в порядке. Метатеги на месте, код 200, а страницы нет. Яндекс в частых вопросах отвечает на это так: алгоритм смотрит не только на теги, но и на "уникальность, полноту материала, его востребованность и актуальность".

Что делать, пока Яндекс восстанавливается

Если ваши новые страницы тоже застряли после 8 октября, много сделать нельзя, но кое-что всё-таки можно.

Не трогайте страницы ради робота. Переписывать заголовки, менять адреса и заново публиковать то же самое под новой датой - худшее, что можно сделать: робот увидит новые адреса и старые дубли. Обновляйте страницу, только если в ней правда что-то изменилось, и тогда меняйте дату в Sitemap.

Отправьте один сигнал и успокойтесь. IndexNow настраивается за десять минут: ключ в корне сайта и POST-запрос со списком адресов. Если Яндекс ответил 200 или 202, второй раз завтра не нужен.

Раз в неделю смотрите логи по новым адресам. Это единственный источник, который не зависит от того, работает ли Вебмастер. Первый визит робота после паузы - знак, что очередь до вас дошла.

И проверьте, что robots.txt пускает не только Яндекс и Google. Если поисковый робот OpenAI, PerplexityBot или ClaudeBot закрыты, новые страницы не увидит и тот, кто в эти недели исправно ходит.

Индексация и ответы нейросетей

Для бизнеса в этой истории есть второй слой. Алиса AI собирает ответ из поиска: по справке Вебмастера, он опирается на источники, которые высоко ранжируются в поиске. Страница, которой нет в поисковой базе, источником для такого ответа стать не может. Новая статья с ценами, условиями или разбором услуги до индексации для Алисы не существует, сколько бы людей её ни спросили.

С ChatGPT и Perplexity картина другая: у них свои роботы и своя очередь. Наши статьи от 17 октября робот OpenAI забрал раньше Яндекса, так что в ответе ChatGPT они могут появиться раньше, чем в поиске. Отсюда несовпадение, которое пугает владельцев: одна нейросеть вас называет, другая молчит, хотя сайт один и тот же.

В бесплатном аудите SEENGO первыми идут как раз эти проверки: разрешена ли индексация, открыт ли сайт поисковым и ИИ-роботам, находится ли карта сайта, виден ли текст без скриптов. Это фундамент, на котором всё остальное либо держится, либо нет. А называют ли вас нейросети, когда клиент спрашивает про вашу услугу, и на какие страницы при этом ссылаются, видно только по живым ответам. Первую такую оценку на пяти вопросах можно запустить бесплатно после регистрации.

Источники

• Яндекс о повреждении дата-центров в Сасове и Калуге и возможных сбоях, октябрь 2026: t.me/yandex/5900, t.me/yandex/5901, восстановление сервисов: t.me/yandex/5902.
• Недоступность Вебмастера, Директа и Метрики 12.10.2026, зоны облака: seo.ru. Состояние Вебмастера на 21.10.2026, переобход только на просмотр: сводка avo.cards.
• Почему страницы исключены из поиска, срок в две недели, частые вопросы: yandex.ru/support/webmaster/ru/site-indexing/excluded-pages.
• Малоценные и маловостребованные страницы: yandex.ru/support/webmaster/ru/site-indexing/low-demand.
• Отчёт "Страницы в поиске" и задержка данных: yandex.ru/support/webmaster/ru/service/searchable. Проверка страницы: yandex.ru/support/webmaster/ru/service/check-url.
• Как проверить, что робот принадлежит Яндексу: yandex.ru/support/webmaster/ru/robot-workings/check-yandex-robots.
• Язык поисковых запросов Яндекса, операторы с именем хоста: yandex.ru/support/search/ru/query-language/search-operators.
• Как формируются ответы Алисы AI: yandex.ru/support/webmaster/ru/alice.
• Наши данные: журнал nginx seengo.ru с 3 сентября по 25 октября 2026 года, визиты YandexBot проверены обратным DNS (хосты spider.yandex.com); проверка 106 адресов журнала оператором url: через Yandex Search API, регион Россия, 25.10.2026.