Видимость компании в нейросетях: как поставить оценку и не обмануть себя

Сделать первую оценку видимости несложно: открыть чат, задать вопрос, записать ответ. Сложно сделать оценку, которой можно верить через месяц, когда захочется понять, стало лучше или хуже. Разница между двумя этими занятиями - в решениях, которые принимаются до первого вопроса.

1. Соберите вопросы клиента, а не ключевые слова

Поисковый запрос и вопрос к нейросети устроены по-разному. В поиск пишут «кухни на заказ москва», у модели спрашивают «где заказать кухню в Москве, чтобы сделали за месяц и не развалилась через год». Список из ключевых слов даёт ответы, которых в жизни никто не получал.

Возьмите то, что клиенты спрашивают на первом созвоне, и запишите их словами. Хороший стартовый набор покрывает четыре ситуации: человек ищет решение и ещё не знает исполнителей, сравнивает два подхода, ищет рядом с собой, спрашивает про деньги.

Отдельно держите вопросы, где звучит название вашей компании. Они полезны - показывают, что модель о вас знает и правильно ли описывает. Но смешивать их с остальными нельзя: название, названное вами же, модель повторит всегда, и видимость нарисуется из воздуха.

2. Решите, кого спрашиваете

Модели отвечают по-разному, потому что опираются на разные источники. Бренд может уверенно присутствовать в одной и отсутствовать в другой, и усреднение по одной модели говорит только об этой модели.

Ориентируйтесь на то, чем пользуются ваши клиенты. Для российской аудитории это как минимум модель Яндекса, GigaChat и один зарубежный чат; мы в оценках держим девять, включая Perplexity и Gemini, чтобы видеть разброс, а не одну точку зрения.

3. Назначьте частоту и повторы

Модель генерирует ответ заново каждый раз - один и тот же вопрос в понедельник и в среду даст разные списки. Значит, единичный ответ не измеряет ничего, а выборку нужно набирать.

Набрать её можно двумя способами: спрашивать одно и то же несколько раз подряд или спрашивать реже, но регулярно. При еженедельной частоте второй способ работает лучше: за месяц накапливается достаточно ответов на модель, а повторы внутри одного дня добавляют мало нового, зато заметно дороже. Дорогие модели вроде Нейроэксперта Алисы разумно опрашивать реже остальных - раз в месяц.

Нижняя граница, ниже которой цифру нельзя показывать как факт, - десять ответов на модель за период. Меньше - проценты скачут примерно на пятнадцать пунктов сами по себе.

4. Проверьте, о вас ли ответ

Самый недооценённый шаг. Совпадение названия в тексте и упоминание вашей компании - разные события, особенно если название короткое, англоязычное или совпадает с чем-то известным.

У нас была оценка, где бренд получал ровные цифры, пока не выяснилось, что все ответы посвящены одноимённому приложению. После проверки честная видимость оказалась нулевой - и это была правильная нулевая, с которой можно работать, в отличие от красивой ложной.

Ответ «не знаю такую компанию» тоже содержит ваше название. Тоже не считается.

5. Смотрите на источники, а не только на названия

Рядом с ответом модели часто приводят ссылки. Соберите домены, на которые они ссылаются по вашим темам, и посчитайте, как часто среди них встречаются ваши.

Это самая полезная часть оценки в первый месяц. Названия конкурентов говорят, кто выигрывает, а список доменов - почему: вот площадки, откуда модель берёт материал, и вот те из них, где вас нет. Дальше работа понятная и вполне земная - попасть в эти источники.

6. Не путайте оценку с мониторингом упоминаний

Отдельный запрос, с которым к нам приходят: мониторинг упоминаний бренда в чатах. Люди ищут привычный инструмент - такой же, как для медиа и соцсетей, только для ChatGPT. Инструмент такой сделать можно, но устроен он иначе, и разницу лучше понять до покупки.

Мониторинг в интернете ищет упоминания, которые уже существуют независимо от вас: статья написана, отзыв оставлен, пост опубликован. Задача системы - обойти побольше площадок и ничего не пропустить.

В чате упоминания не существует, пока кто-то не задал вопрос. Ответ рождается в момент обращения, и увидеть вы можете ровно ту часть, которую спросили сами. Отсюда три следствия.

Полнота определяется списком вопросов, а не охватом площадок. Список - главный актив всей затеи, и расширяется он не для красоты отчёта, а потому что появилась новая тема, по которой клиенты выбирают.

Оповещения о новом упоминании не бывает. Бывает изменение доли за период - и его нужно уметь отличать от обычного разброса, из-за которого проценты гуляют сами по себе.

Спрашивать всё и постоянно мешает не техника, а деньги: каждый вопрос каждой модели стоит, и вопрос с живым веб-поиском дороже обычного примерно в десять раз. Как считается эта смета - в отдельном разборе.

При этом обычный мониторинг упоминаний не отменяется, он становится соседней системой. Он показывает материал, из которого модели собирают ответ; оценка показывает, что из этого материала до ответа дошло. Вместе они отвечают на вопрос, которого поодиночке не берут: почему о вас пишут, а рекомендуют не вас.

Что из этого мы взяли на себя

Решения выше в SEENGO уже приняты и зашиты в продукт: девять сетей, недельная гранула, стратифицированный срез по темам вместо первых N строк списка, отдельный подсчёт брендовых вопросов и проверка каждого упоминания на однофамильцев. Список вопросов собирается из спроса Яндекса по вашему сайту, а не пишется на глаз, и дополняется по мере того, как появляются новые темы.

Первый замер бесплатный - пять вопросов, чтобы увидеть саму картину: регистрация. Дальше объёмы 50, 100 или 200 вопросов, цены открыты. Как выглядит собранный кабинет с динамикой за несколько недель, показано в демо.