Поиск с ИИ: 11 роботов за неделю на одном сайте

Поиск с ИИ - это когда ответ собирает модель, а не выдаёт список ссылок. Человек спрашивает, где заказать кухню, и получает три названия абзацем текста. Ссылки при этом могут быть, а могут и не быть.

Со стороны пользователя это выглядит как одна кнопка. Со стороны сайта поиск с ИИ выглядит иначе: по страницам ходит десяток разных роботов, у каждого своя задача и свой темп. Ниже - недельный лог живого сайта. Нашего собственного, seengo.ru, с 2 по 8 сентября 2026 года.

Что показал недельный лог

Одиннадцать роботов, если считать только тех, кто представился. Вот они, по числу запросов.

Первое, что бросается в глаза - Perplexity обошёл сайт активнее, чем Google. 236 запросов против 213, и по числу прочитанных страниц разрыв больше: 148 против 64. Сервис, о котором в России знает меньшинство, читает сайт внимательнее самого крупного поисковика мира.

Второе - объём Meta. Три с половиной тысячи запросов, больше чем у всех остальных вместе взятых, и 2541 уникальный адрес. При том что в карте сайта у нас 79 страниц. Значит робот лазит не по карте, а по всему, что нашёл: адресам с рекламными метками, служебным разделам, вариантам с параметрами. Для сервера это нагрузка, для поиска - ничего: Meta собирает материал, а не строит выдачу, в которую можно попасть.

Обучение и поиск ходят под разными именами

Внутри одной компании роботы разделены по задачам, и это главное практическое знание из всей таблицы.

У OpenAI их три. GPTBot собирает тексты для обучения будущих моделей - за неделю он пришёл 11 раз и прочитал две страницы. OAI-SearchBot строит поисковый индекс, из которого ChatGPT берёт источники, когда отвечает с поиском, - 117 запросов и 81 страница. ChatGPT-User приходит в момент разговора с человеком.

Разница в цифрах говорит сама за себя. Поисковый робот OpenAI пришёл в десять раз чаще обучающего. Если бы мы закрыли в robots.txt строчку с GPTBot из желания не отдавать тексты нейросетям, сайт остался бы в поиске ChatGPT целиком. Если бы закрыли OAI-SearchBot - выпали бы из него, продолжая отдавать тексты в обучение. Ошибиться легко, а последствия противоположные.

Полный справочник имён и того, кто за чем ходит, мы собирали отдельно - в разборе восьми проверок доступности сайта для нейросетей. Здесь важно другое: в логе видно, что разделение не теоретическое. Роботы действительно ходят порознь и с разной частотой.

Сорок один заход, который сделал человек

Строчка ChatGPT-User стоит внимания больше остальных. Этот робот не обходит сайт по расписанию. Он приходит тогда, когда человек в чате дал ссылку или попросил открыть страницу.

За неделю таких заходов набралось 41 на восемь адресов. Двадцать шесть раз открывали главную. Девять раз - статью со статистикой нейросетей в России. По одному разу тарифы, журнал, страницу о нас и раздел для агентств.

За этими строками стоят живые разговоры. Кто-то спросил ChatGPT про нас или про цифры из статьи, и модель пошла читать страницу, чтобы ответить. Такой заход не превращается в визит на сайт и не виден в Метрике как переход - человек остаётся в чате и читает пересказ. Но именно в этот момент решается, что о вас скажут.

Отсюда следует неприятное для аналитики: обычные счётчики этот слой не видят. В отчёте по источникам будет ноль, а разговор состоялся. Мы разбирали, как ловить те переходы, которые всё-таки доезжают, в материале про utm_source=chatgpt.com, но полной картины они не дают по устройству канала.

Чего эти цифры не доказывают

Сайту месяц. Трафика мало, внешних ссылок нет, тематика узкая. Переносить наши абсолютные числа на свой проект нельзя - у интернет-магазина или клиники состав роботов будет другим, и объёмы тоже.

Что переносится - это структура картины. Роботов много. Они разделены по задачам. Крупнейший по объёму не тот, кто важнее всего для продаж. И часть визитов инициируют люди, а не расписание.

Ещё одна честная оговорка: обход не равен упоминанию. Робот может прочитать сайт и не назвать компанию в ответе. Может назвать без ссылки - тогда перехода не будет вообще. По логам видно, что вас читают, но не видно, что о вас говорят. Это разные измерения, и второе без первого не работает, а первое без второго ничего не стоит.

Как посмотреть свой лог

Метод простой, доступ к серверу нужен, программы - нет.

1. Найдите файл журнала обращений. У nginx это обычно /var/log/nginx/access.log, у Apache - access_log. На виртуальном хостинге они лежат в панели, раздел с логами.
2. Выберите строки с именами роботов. Одной командой: grep -oiE 'GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|Claude-User|Applebot|YandexBot|Googlebot' access.log | sort | uniq -c | sort -rn.
3. Учтите ловушку счёта. Имя робота часто встречается в строке дважды - в названии и в адресе его документации. Считать надо строки целиком: grep -c 'OAI-SearchBot/' access.log.
4. Посмотрите, что именно читали. Для этого достаточно вывести адреса из отобранных строк и сгруппировать их.

Если роботов в логе нет вообще - дело не в популярности, а в доступе. Их закрывает robots.txt, защита хостинга или то, что страницы собираются скриптом в браузере и роботу достаётся пустой каркас.

Пустой лог - это диагноз, а не приговор: он лечится настройками, и обычно за день.

Где подключаемся мы

Лог отвечает, читают ли вас. Что о вас при этом говорят, он не показывает - для этого нужно задать моделям те вопросы, которые задают ваши клиенты, и посмотреть на ответы.

Это и есть наша работа. SEENGO прогоняет набор вопросов по девяти нейросетям, считает, как часто среди названных компаний оказываетесь вы, и показывает, кого называют вместо вас. Первый замер занимает день, дальше - еженедельно.

Начать можно с бесплатной проверки сайта: аудит по 17 маркерам показывает, что видит робот на ваших страницах, за пару минут и без доступа к серверу. Если нужна картина по упоминаниям, а не по доступности, - это уже платные тарифы, от 5 900 рублей разово.