Noindex и nofollow: чем закрывать страницу от индексации

Noindex и nofollow отвечают на два разных вопроса. Noindex запрещает показывать страницу в поиске: робот её открывает, читает и не берёт в базу. Nofollow запрещает роботу переходить по ссылкам. Первый ставят на страницу целиком, второй бывает и у страницы, и у отдельной ссылки. Обычно путают не их между собой, а noindex с запретом в robots.txt, и эта путаница обходится дороже.

Мы открыли код главных страниц 111 сайтов, которые проходили у нас бесплатную проверку, и посмотрели, как этими запретами пользуются на деле. Запрета на главной не оказалось ни у кого. Зато тег noindex вокруг кусков текста стоит у 43 сайтов, ссылки с nofollow есть у 55, а два сайта закрыли себя от поиска целиком через robots.txt и, судя по всему, об этом не знают.

Четыре запрета, которые называют одним словом

Когда говорят "закрыть от индексации", имеют в виду одно из четырёх действий. Работают они по-разному, и взаимозаменяемых среди них нет.

Метатег выглядит так:

<meta name="robots" content="noindex" />

Яндекс понимает значения noindex, nofollow, none (оба запрета сразу), noarchive и разрешающие index, follow, all. Вместо robots можно написать yandex или googlebot, тогда правило прочтёт только один робот.

Заголовок сервера даёт тот же результат без правки HTML. В nginx это одна строка:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex";
}

Главная ошибка: закрыть и там, и там

Логика понятная: хочу убрать раздел из поиска наверняка, поставлю noindex и ещё запрещу в robots.txt. Выходит наоборот. Робот видит Disallow, на страницу не заходит и метатег не читает. Яндекс формулирует это одной фразой: "Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует". Google пишет то же самое со своей стороны: чтобы noindex сработал, robots.txt не должен блокировать доступ к странице.

А дальше начинается неприятное. Адрес, закрытый только через Disallow, может оказаться в выдаче, если на него ссылаются другие сайты. В справке Яндекса это описано на примере главной: страница запрещена в robots.txt, на неё ведут внешние ссылки, и она "может попасть в результаты поиска". Содержимого робот не видел, поэтому в выдаче будет голый адрес с описанием, собранным из чужих ссылок.

Отсюда простое правило. Нужно, чтобы страницы не было в поиске,- ставьте noindex и оставляйте её открытой для обхода. Нужно, чтобы робот не тратил время на тысячи технических адресов,- закрывайте их в robots.txt и не ждите, что они гарантированно исчезнут из выдачи.

Что стоит на 111 сайтах

Выборка - 111 сайтов компаний, которые с июля по начало октября 2026 года проверялись в нашем бесплатном аудите. Четвёртого октября мы обошли их главные страницы и разобрали код. Выборка не случайная: это те, кто сам задумался о состоянии сайта.

Запрета индексации на главной нет ни у одного. За полтора месяца работы аудита такое встречалось дважды на 74 сайта. Обычная история у этой ошибки одна: черновик сайта закрывают от поиска на время разработки, а при переносе на боевой домен запрет уезжает вместе с кодом.

Метатег robots есть на 39 главных из 111, и во всех случаях он разрешающий: index, follow, all или служебные значения плагинов вроде max-image-preview:large. Это безвредно и бесполезно. Разрешение действует по умолчанию, в справке Яндекса сказано, что такие директивы "можно не указывать".

Тег noindex вокруг фрагментов текста нашёлся у 43 сайтов, то есть у 39%. Чаще всего в него завёрнуты подвал, счётчики, телефоны в шапке и блоки с адресами. Привычка идёт из двухтысячных, когда так прятали от Яндекса повторяющийся текст. Сегодня у неё два изъяна. Google этот тег не поддерживает вовсе. Роботам нейросетей он тоже ни о чём не говорит: в описаниях GPTBot и ClaudeBot такого тега нет, для них это обычный HTML, и текст внутри они заберут.

Ссылки с rel="nofollow" стоят на главных страницах 55 сайтов. В середине выборки таких ссылок шесть на страницу, у одного сайта 121. Почти всегда это ссылки на соцсети, мессенджеры и карты.

И самое тяжёлое. У двух сайтов robots.txt запрещает поисковым роботам весь сайт, ещё два закрыли роботов нейросетей. Четыре компании из 111 вкладываются в сайт, который сами же спрятали. Ни один метатег этого не покажет: смотреть надо именно в robots.txt.

Как мы закрываем свои страницы

Свой сайт мы разбирали по тем же правилам, и на нём используются три разных способа, каждый под свою задачу.

Страницы входа и регистрации отдают noindex, follow. В поиске они не нужны: по запросу с названием сервиса человек должен попадать на главную, а не на форму с двумя полями. При этом робот по ним ходит и ссылки с них видит.

Страницы с результатами проверок чужих сайтов тоже отдают noindex, follow. Таких адресов сотни, содержимое у них однотипное, и для поиска это был бы склад почти одинаковых страниц. Молодому сайту такой склад вредит: Яндекс оценивает качество по всему, что видит в индексе, и сотня шаблонных страниц тянет вниз десяток хороших. Поэтому запрет стоит на них с первого дня.

Личный кабинет, печатные версии отчётов и ссылки для клиентов закрыты в robots.txt через Disallow. Там за каждым адресом стоит авторизация, робот всё равно получит отказ, и ходить туда ему незачем.

Что закрывать, а что оставить

Общий признак страницы под noindex: человеку из поиска на ней делать нечего, а роботу она нужна разве что как проход к другим.

• Результаты поиска по сайту и страницы сортировки. Их бесконечно много, и все они повторяют каталог.
• Корзина, оформление заказа, страница "спасибо за заявку". В выдаче они выглядят странно, а посетитель, пришедший на "спасибо" из поиска, портит статистику целей.
• Страницы входа, восстановления пароля, личные разделы.
• Черновики и тестовые копии, если они доступны по прямому адресу.
• Архивы по датам и меткам в блоге, когда в них по одной-две записи.

Чего закрывать не надо, хотя закрывают постоянно. Политику конфиденциальности, реквизиты и контакты: по ним поисковик и нейросеть сверяют, что за сайтом стоит настоящая организация. Страницы пагинации каталога: через них робот добирается до товаров на дальних страницах. Карточки товаров, которых временно нет в наличии: вернуть страницу в поиск дольше, чем убрать.

Nofollow: что он значит сегодня

У nofollow две формы. В метатеге он действует на все ссылки страницы. В атрибуте rel - на одну ссылку:

<a href="https://example.com/" rel="nofollow">партнёрский сайт</a>

Про метатег Яндекс пишет аккуратно: робот не перейдёт по ссылкам при обходе, "но может узнать о них из других источников". То есть nofollow не прячет адрес. Если на ту же страницу ведёт ссылка из карты сайта или с другого ресурса, робот до неё дойдёт.

Google в 2019 году добавил к nofollow два уточняющих значения: sponsored для рекламных и оплаченных ссылок и ugc для ссылок, которые оставили пользователи в комментариях и на форумах. Для рекламных размещений сегодня он рекомендует именно sponsored, а nofollow оставляет на случай, когда вы просто не хотите, чтобы робот шёл по ссылке.

Нужно ли закрывать ссылки на собственные соцсети и карты, как делают 55 сайтов из выборки? Мы считаем, что нет, и вот почему. Ссылка с сайта компании на её профиль в картах или каталоге - один из способов, которым поисковик и нейросеть убеждаются, что сайт и профиль принадлежат одной организации. Закрывая такие ссылки, вы стираете эту связь своими руками. В том же аудите у 80 сайтов из 111 профили компании не перечислены и в разметке, так что проверить связь роботу нечем.

Закрывать через nofollow стоит ссылки, за которые вам заплатили, и ссылки, которые на сайте оставляют посторонние люди. Всё остальное пусть будет открыто.

Когда директивы спорят между собой

Бывает, что на странице два метатега robots: один поставил шаблон, второй плагин. Или в коде написано noindex, а сервер шлёт заголовок с index. Здесь Яндекс и Google расходятся, и об этом мало кто помнит.

У Яндекса "разрешающие директивы имеют приоритет в сочетании с запрещающими". Если рядом окажутся noindex и index, страница останется в поиске. Google поступает наоборот и выбирает более строгое правило. Одна и та же страница с парой противоречивых тегов пропадёт из Google и останется в Яндексе.

Проверить, что отдаёт страница на самом деле, можно одной командой:

curl -sI https://example.ru/page | grep -i x-robots-tag
curl -s https://example.ru/page | grep -io '<meta name="robots"[^>]*>'

Первая строка покажет заголовок сервера, вторая - все метатеги robots в коде. Если вторая вернула больше одной строки, разбирайтесь, кто из них лишний.

Отдельный случай: ответы Алисы AI

С появлением ответов нейросети в поиске у Яндекса появился ещё один переключатель. Страницу можно оставить в обычной выдаче и запретить использовать её в ответах Алисы AI. Делается это в robots.txt правилом для отдельного робота:

User-agent: YandexAdditionalBot
Disallow: /prices/

По справке, изменение учитывается "в течение 2-14 дней". Нужен такой запрет редко: издателям, которые не хотят отдавать тексты в пересказ, или компаниям с ценами, которые меняются быстрее, чем обновляется база. Большинству сайтов нужно обратное, и для них важнее убедиться, что этот робот случайно не закрыт общим правилом. Что Алиса AI берёт в ответ и откуда, мы разбирали в статье про продвижение в Алисе.

Сколько ждать и как ускорить

Noindex срабатывает не в момент публикации, а когда робот снова придёт на страницу и поисковая база обновится. В Яндексе это занимает от нескольких дней до двух недель. Ускорить визит можно заявкой на переобход или сигналом IndexNow: по нашим логам робот приходит в первую минуту после заявки, замеры есть в статье про переобход страниц. Google честно предупреждает, что без запроса на повторное сканирование может вернуться к странице через несколько месяцев.

Обратное тоже верно, и об этом забывают чаще. Сняли запрет со страницы - она вернётся в поиск только после нового обхода. Сайт, который месяц простоял с noindex на главной, не появится в выдаче на следующий день после исправления.

Что проверяет наш аудит

Запрет индексации мы считаем самой дорогой ошибкой из всех технических: в бесплатном аудите эта проверка весит больше всех остальных в блоке про поиск, наравне с доступом для роботов. Аудит открывает главную и до четырёх внутренних страниц, читает метатеги и заголовки сервера и отдельно разбирает robots.txt: открыт ли сайт поисковым роботам и роботам нейросетей. Всего проверок 17, результат приходит примерно за минуту, регистрация не нужна.

Если сайт открыт, а в ответах нейросетей компании всё равно нет, причина уже не в запретах. Тогда имеет смысл замерить, что именно отвечают сети на вопросы ваших клиентов и кого называют вместо вас.

Источники

• Яндекс Вебмастер, справка: метатеги и заголовок X-Robots-Tag - список значений, приоритет разрешающих директив, связь с robots.txt.
• Яндекс Вебмастер, справка: как запретить индексирование сайта или страниц - главная в выдаче по внешним ссылкам, запрет для Алисы AI.
• Google Поиск: блокировка индексирования при помощи noindex - условие про robots.txt, сроки.
• Google Поиск: как сообщить о характере исходящих ссылок - значения sponsored, ugc и nofollow.
• Собственный обход главных страниц 111 сайтов 4 октября 2026 года и результаты бесплатного аудита за 20 августа - 4 октября 2026. Считались только признаки в коде, адреса сайтов не публикуются.