Robots.txt - текстовый файл в корне сайта, из которого поисковые роботы узнают, какие разделы обходить можно, а какие нет. Он лежит по адресу сайт.ru/robots.txt, открывается в браузере у любого сайта, а настроить его можно за полчаса: закрыть служебные разделы, указать карту сайта, не закрыть лишнего и выбросить устаревшие строки.
31 октября мы скачали этот файл у 187 сайтов, которые проходили наш бесплатный аудит, и разобрали каждый по правилам стандарта. Настоящих файлов оказалось 167. Картина спокойнее, чем в страшилках: сайт целиком закрыт только в трёх. Зато нашлось то, о чём инструкции молчат: секция для Яндекса, которая незаметно отменяет общие запреты, строки, отменённые восемь лет назад, и популярный совет про стили, верный только для Google.
167настоящих файлов на 187 сайтов 3закрывают сайт целиком 44 из 130закрывают роботу свои стили или скриптыКак выглядит рабочий файл
Вот наш robots.txt целиком, он умещается на экран телефона:
User-Agent: *
Allow: /
Disallow: /b/
Disallow: /c/
Disallow: /share/
Disallow: /print/
Disallow: /design
Disallow: /demo
Sitemap: https://seengo.ru/sitemap.xml
Первая строка говорит, кому адресованы правила: звёздочка значит всем роботам, у которых нет своей секции. Дальше запреты: кабинеты агентств и клиентов, ссылки на отчёты, версии для печати и служебные страницы. Последняя строка показывает, где лежит карта сайта.
У других файлы длиннее, но ненамного: половина выборки укладывается в 24 непустые строки. Самый длинный файл весит 37 КБ при лимите 500 КБ, так что в потолок упереться почти невозможно.
Читает это робот просто. Он ищет секцию со своим именем, а остальное пропускает. Внутри секции порядок строк не имеет значения: работает самое длинное подходящее правило, а при равной длине побеждает разрешение. Поэтому пара Disallow: /catalog и Allow: /catalog/auto закроет каталог, кроме раздела про автомобили, в каком бы порядке строки ни стояли.
Спецсимволов два. Звёздочка заменяет любую последовательность знаков, а $ обозначает конец адреса. Без него к концу правила как будто приписана звёздочка: Disallow: /example закрывает и /example.html, а Disallow: /example$ только точный адрес.
| Строка | Что делает | Яндекс | Сколько файлов | |
|---|---|---|---|---|
| User-agent | Кому адресована секция | Да | Да | Все. Своя секция для Яндекса в 55, для Google в 31 |
| Disallow | Запрещает обход | Да | Да | 153 с запретами. Пустой Disallow, который ничего не закрывает, есть в 35 |
| Allow | Открывает часть закрытого | Да | Да | 99 |
| Sitemap | Адрес карты сайта | Да | Да | 158 |
| Clean-param | Убирает из адреса незначимые параметры | Да | Нет | 57 |
| Host | Когда-то выбирала главное зеркало | Нет, с 2018 года | Нет | 39 |
| Crawl-delay | Когда-то задавала паузу между запросами | Нет, с 2018 года | Нет | 9 |
Две нижние строки давно мертвы. От Host Яндекс отказался 20 марта 2018 года и написал прямо: директиву можно удалить или оставить, робот её просто игнорирует. Вреда от неё нет, но почти каждый четвёртый файл всё ещё её держит, и если вы считаете, что она выбирает главное зеркало, то нет: зеркало теперь определяет постраничный 301-й редирект. Crawl-delay перестала учитываться 22 февраля 2018 года, вместо неё в Вебмастере есть настройка скорости обхода. Google такое поле не поддерживает.
Где лежит файл и как его создать
Файл один на домен и живёт в корне, у поддомена свой. Требования Яндекса короткие: название строчными буквами, ответ сервера 200, размер до 500 КБ, никакой кириллицы. Домен внутри файла пишут в Punycode, путь в процентной кодировке. Google добавляет кодировку UTF-8.
У требований есть неприятное следствие. Если они нарушены, Яндекс считает сайт открытым для индексирования. То есть сломанный файл молча отменяет все ваши запреты.
Откуда берётся файл, зависит от платформы:
- WordPress отдаёт виртуальный файл, пока в корне нет настоящего. Положили свой файл, и автоматика отключается.
- 1С-Битрикс: Маркетинг, Поисковая оптимизация, Настройка robots.txt. Генератор собирает стартовый набор правил. Кнопки Host и Crawl-delay в нём есть, нажимать их незачем.
- Тильда собирает файл сама. Править можно в разделе Настройки сайта, SEO, Редактирование robots.txt, режим ручного управления, лимит 60 КБ. После этого настройки индексации страниц в файл сами больше не попадают. В старом разделе вопросов и ответов Тильды до сих пор написано, что редактировать нельзя, справка новее.
- Свой код: файл кладут в корень или отдают из приложения. Наш собирает фреймворк, поэтому запреты живут рядом с остальным кодом и не теряются при переезде.
Онлайн-генераторы годятся как черновик. Пустой шаблон для магазина на Битриксе вы получите за минуту, но проверять его придётся так же, как написанный руками.
Что ломается и во что обходится
Ниже ошибки от дорогих к безобидным, числа из той же выборки.
Сайт закрыт целиком
Две строки, User-agent: * и Disallow: /, стоят в трёх файлах из 167. Два из них на технических адресах tilda.ws, где запрет может быть намеренным, третий на отдельном домене. Обычная история выглядит так: разработчик закрыл черновик, а при запуске забыл открыть. В диагностике Вебмастера такой запрет отнесён к фатальным проблемам, и это честная оценка: страдает весь поисковый трафик, а вместе с ним и ответы Алисы, которые Яндекс строит на проиндексированных страницах.
После исправления сайт не возвращается мгновенно, робот должен прийти заново. Сколько это занимает и как ускорить, мы измеряли в статье про индексацию.
Файл падает с ошибкой сервера
Здесь интуиция подводит. Отсутствие файла безопасно: 404 отдали четыре сайта, и для робота это значит, что запретов нет. Опасен ответ 5xx. Google в таком случае первые 12 часов сайт не сканирует, потом до 30 дней живёт на последней сохранённой копии файла. Стандарт RFC 9309 прямо велит роботу исходить из полного запрета. Один сайт в момент нашего обхода отвечал 503.
Поэтому robots.txt полезно проверять вместе с главной, если сайт стоит за защитой от атак или прокси: они иногда отдают ошибку на все адреса сразу.
Секция для Яндекса тише общей
Самая незаметная ошибка выборки. Своя секция User-agent: Yandex есть в 55 файлах, и правило у Яндекса жёсткое: если такая строка найдена, строка со звёздочкой не учитывается. Общие запреты на него больше не действуют.
В 23 файлах из этих 55 в общей секции есть запреты, которых нет в секции Яндекса. В девяти разница от пяти правил и больше. В шести секция Яндекса не закрывает вообще ничего, хотя в общей запреты есть: в одном из файлов их 22, на поиск по сайту, ленты и служебные адреса. Владелец уверен, что всё закрыл, а Яндекс обходит мусор и тратит на него внимание, которого не хватает новым страницам.
Ещё 26 секций Яндекса совпадают с общей строка в строку и ничего не дают. Простое решение на большинство сайтов: одна секция со звёздочкой. Отдельная секция нужна, только если Яндексу действительно положены другие правила, и тогда в неё копируют всё, что должно на него действовать.
Запрет вместо удаления из поиска
Robots.txt управляет обходом, а не присутствием в выдаче. Яндекс пишет, что закрытые в файле страницы могут участвовать в поиске. Google добавляет, что адрес, на который ссылаются другие сайты, может попасть в индекс и показываться без описания.
Отсюда классическая ловушка: страницу закрывают в robots.txt и ставят на неё noindex. Робот на страницу не заходит, метатег не видит, и страница остаётся. Яндекс предупреждает об этом отдельно. Чем закрывать страницы и что с чем нельзя сочетать, разобрано в статье про noindex и nofollow.
Лишняя борьба с метками
Закрывать адреса с параметрами любят: правило со знаком вопроса есть в 69 файлах, 16 закрывают именно utm_, ещё 31 перечисляет такие метки в Clean-param. Семь файлов делают и то и другое.
Большая часть этой работы лишняя. В справке Яндекса есть раздел про параметры, которые удаляются автоматически, и в его примерах стоят utm_source, utm_medium, utm_campaign, utm_term, utm_content, ysclid и другие. Для них, цитируем, не требуется дополнительных действий в robots.txt. Правило Disallow: /*? из 13 файлов вредит сильнее всего: оно закрывает заодно страницы фильтров и пагинации, если они живут на параметрах.
Clean-param нужна для ваших собственных незначимых параметров, например ref или идентификатора сессии:
Clean-param: ref&sid
Строка межсекционная, ставить её можно в любом месте файла, длина правила до 500 символов. Яндекс сам советует её вместо Disallow: она передаёт накопленные показатели основному адресу, а запрет обрывает их. На Google она не действует, у него эту задачу решает canonical, подробности в разборе дублей страниц.
Карта сайта ведёт в никуда
Адрес карты есть в 158 файлах, и это самое здоровое место выборки. Девять файлов её не указывают. Восемь дают адрес по http. Две карты отвечают ошибкой, 404 и 403.
Отдельный случай на кириллических доменах: в трёх файлах в строке Sitemap стоит адрес кириллицей, а Яндекс кириллицу в файле запрещает. Наш собственный обход на этих трёх строках споткнулся, что неплохо показывает цену такой записи.
Мусор вместо директив
Три сайта отдают вместо файла HTML-страницу с кодом 200: робот получает разметку, в которой нет ни одной директивы. Ещё в одном файле посреди правил лежит код счётчика Метрики, шаблон приклеил его и сюда. В другом запреты записаны полными адресами с https, а правило должно начинаться с косой черты, так что они не работают.
Три файла содержат строки собственного сочинения вроде LLMsTxt: и AI-crawlers:. Google строки с ошибками игнорирует и читает остальное, так что вреда нет, как и пользы. Файл llms.txt работает иначе, об этом отдельная статья.
Стили и скрипты: совет, верный только для Google
Во многих инструкциях написано, что нельзя закрывать CSS и JavaScript, иначе поисковик не увидит страницу правильно. Мы проверили, как с этим обстоит на практике: взяли 130 главных страниц, у которых есть собственные файлы стилей и скриптов, и прогнали их адреса через правила robots.txt того же сайта.
Хотя бы один свой файл закрыт на 44 сайтах из 130. На 24 закрыта половина и больше, на десяти все. Чаще всего виноваты /bitrix/, /wp-content/plugins и /wp-includes, остальное добирают запреты на адреса со знаком вопроса: стили часто подключаются как style.css?ver=1.2, и правило Disallow: /*? цепляет их тоже.
А дальше поисковики расходятся. В таблице роботов Яндекса про YandexRenderResourcesBot сказано: он игнорирует указания в robots.txt, если HTML-страница, на которой эти ресурсы размещены, доступна для робота Яндекса. То есть для рендеринга Яндекс возьмёт закрытый файл сам. Google своё правило соблюдает и предупреждает, что страницы могут быть проанализированы неправильно, если блокировка мешает понять контент.
Вывод зависит от того, откуда у вас трафик. Если почти всё из Яндекса, закрытые стили можно считать мелочью и не бросаться чинить их первыми. Если заметная доля из Google, откройте файлы разрешающими строками. Длинное правило побеждает короткое, поэтому хватает такого:
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /wp-content/*.css
Allow: /wp-content/*.js
Роботы нейросетей: кого закрывают на деле
Вокруг этого больше всего шума, а в файлах почти тихо. Хотя бы одного робота нейросети по имени называют 22 файла из 167. Закрывают кого-либо шесть, остальные 16 называют, но не запрещают. Чаще всего под запрет попадает Bytespider от ByteDance, шесть раз, GPTBot и CCBot по три, ClaudeBot и Google-Extended по два.
Поисковых роботов нейросетей, OAI-SearchBot, Claude-SearchBot и PerplexityBot, по имени не закрыл никто. Они недоступны только на тех трёх сайтах, что закрыты целиком. И страшная конфигурация, когда Яндекс и Google открыты, а все остальные заперты общим Disallow: /, не встретилась ни разу. Если вас нет в ответах нейросетей, robots.txt чаще всего ни при чём.
Одна тонкость касается Яндекса. YandexAdditional и YandexAdditionalBot ограничивают показ контента в быстрых ответах с YandexGPT и в ответах Поиска с Алисой, а общие правила на них не действуют. Запрет под звёздочкой им не указ, нужна отдельная секция. По имени их называют всего три файла. Полная таблица роботов с тем, кто за чем ходит и как закрывается, собрана в статье про видимость сайта для нейросетей, а живой недельный лог лежит в разборе 11 роботов.
И ещё про границы инструмента. Стандарт прямо говорит, что эти правила не являются защитой доступа, а Google напоминает, что исполнять их необязательно. Файл публичный: адрес закрытого раздела, вписанный в него, виден всем. Тайные страницы закрывают паролем.
Как проверить файл за десять минут
- Откройте
сайт.ru/robots.txtв браузере. Должен быть простой текст без оформления сайта. Заодно загляните в код ответа, на проверке нужен 200. - Найдите
Disallow: /без продолжения. Если он стоит в секции для всех или для Яндекса, это первый приоритет. - Посмотрите, есть ли
User-agent: Yandex. Если есть, сравните с общей секцией: всё, что осталось только в общей, на Яндекс не действует. - Удалите Host и Crawl-delay. Роботу всё равно, а следующего разработчика файл перестанет вводить в заблуждение.
- Откройте адрес из строки Sitemap: он должен быть на https, без кириллицы, и отвечать картой сайта.
- Вставьте файл в анализатор robots.txt в Вебмастере и проверьте пять важных адресов: главную, услугу, статью, карточку товара, страницу с формой. Все пять должны быть разрешены.
- Если у сайта есть ресурс уровня домена в Search Console, откройте отчёт о файлах robots.txt: там видно, какую версию робот Google получил последней и какие строки не разобрал.
После правок ждать не нужно: Яндекс и Google перечитают файл сами. Google обычно хранит копию не дольше суток, а в экстренном случае в отчёте можно запросить повторное сканирование.
Проверить файл вместе с остальным сайтом
Бесплатный аудит скачивает robots.txt вместе с главной, картой сайта и llms.txt и отвечает на два вопроса: открыт ли сайт поисковым роботам и пускает ли он роботов нейросетей. Секции разбираются поимённо, своя секция робота важнее общей. Явный запрет любому из проверяемых роботов аудит подсветит красным, даже если это осознанный запрет на обучение: считайте это напоминанием проверить решение. Тихую секцию Яндекса и закрытые стили аудит пока отдельно не показывает, их придётся смотреть глазами по списку выше.
Если файл в порядке, а компании нет в ответах, дело уже не в доступе. Тогда полезно замерить, кого нейросети советуют в вашей нише и на какие страницы опираются.
Источники
Выборка: 187 сайтов, проходивших наш аудит, обход 31.10.2026. Ответили кодом 200 и отдали настоящий файл 167. Сюда не вошли 4 ответа 404, 2 ответа 403, по одному 400, 402, 503 и 204, 5 недоступных сайтов, 3 HTML-страницы, один пустой файл и одна страница блокировки провайдера. Выборка смещена: сюда попадают те, кто уже интересуется состоянием сайта, поэтому у всего рунета картина может быть хуже. Стили и скрипты проверялись по HTML главной, файлы, которые страница подгружает позже, в подсчёт не вошли.
- Яндекс Вебмастер: использование файла robots.txt - требования к файлу, запрет кириллицы, связь с noindex.
- Яндекс Вебмастер: директива User-agent - выбор секции.
- Яндекс Вебмастер: Allow и Disallow - приоритет правил и спецсимволы.
- Яндекс Вебмастер: Clean-param - синтаксис и параметры, которые удаляются автоматически.
- Яндекс Вебмастер: Crawl-delay - дата отмены.
- Яндекс Вебмастер: роботы Яндекса - YandexRenderResourcesBot, YandexAdditional.
- Блог Яндекс Вебмастера, 20.03.2018: 301-й редирект полностью заменил директиву Host.
- Google: как работает robots.txt - коды ответа, лимит, поля, приоритет правил.
- Google: введение в файлы robots.txt - для чего файл не годится, закрытые ресурсы.
- Google Search Console: отчёт о файлах robots.txt.
- RFC 9309: Robots Exclusion Protocol, сентябрь 2022 - стандарт.
- Справка Тильды: гид по SEO и старый ответ Тильды про robots.txt.
- 1С-Битрикс: генератор robots.txt.
- WordPress: функция do_robots.
вопросы
Частые вопросы
01Где находится robots.txt и как его посмотреть?
В корне сайта: допишите /robots.txt к адресу главной страницы и откройте в браузере. Так же смотрят файл любого чужого сайта, он публичный. Если открылась обычная страница сайта или ошибка, файла нет или сервер отдаёт его неправильно.
02Как запретить индексацию сайта в robots.txt?
Две строки: User-agent: * и Disallow: /. Но запрещают они только обход. Яндекс пишет, что закрытые в robots.txt страницы могут участвовать в поиске, а Google может показать такой адрес без описания, если на него ссылаются. Чтобы убрать страницу из выдачи, нужен noindex, и закрывать её в robots.txt при этом нельзя: робот не увидит метатег.
03Что значит Disallow в robots.txt?
Disallow запрещает роботу обходить адреса, которые начинаются с указанного пути. Disallow: /admin/ закрывает раздел, Disallow: / закрывает весь сайт, а пустой Disallow: не запрещает ничего. Если подходят сразу и Allow, и Disallow, побеждает правило с более длинным путём, при равной длине разрешение.
04Как проверить robots.txt?
В Яндекс Вебмастере есть анализатор robots.txt: в нём можно проверить сам файл и отдельные адреса. В Google Search Console есть отчёт о файлах robots.txt для ресурсов на уровне домена и инструмент проверки URL. Открыть файл в браузере тоже полезно: так сразу видно, что сервер не подсунул вместо него HTML-страницу.
05Можно ли изменить robots.txt на Тильде?
Да, по справке Тильды: Настройки сайта, SEO, Редактирование robots.txt, режим ручного управления. Лимит 60 КБ. После перехода на ручной режим настройки индексации страниц перестают сами попадать в файл, их придётся вносить руками.
06Нужен ли robots.txt, если закрывать нечего?
Сайт без файла считается открытым целиком, это не ошибка индексации: такой ответ был у 4 сайтов из 187 в нашей выборке. Но файл всё равно полезен как место для адреса карты сайта, а Вебмастер отмечает его отсутствие как возможную проблему. Двух строк достаточно.
