Сервисы мониторинга упоминаний в нейросетях: как выбрать и не купить красивую цифру

Запрос сформулирован буквально так - сервис мониторинга упоминаний в нейросетях. За последний месяц его в Вордстате задали 122 раза, ещё 86 раз спросили про мониторинг упоминаний бренда в ChatGPT. Рынок инструментов появился раньше, чем сложилось понимание, что именно эти инструменты должны уметь.

Ниже - рабочий способ выбирать: чем такой мониторинг отличается от привычного, что спрашивать до оплаты и как выглядит цифра, которой нельзя верить.

Сразу оговорка: SEENGO - один из сервисов этого класса, и статья написана изнутри рынка. Проверять по этому списку нас стоит так же придирчиво, как остальных.

Это не медиамониторинг

Привычные системы мониторинга ищут ваше название в том, что уже написано: публикации, посты, отзывы, комментарии. Индекс существует независимо от вас, задача - выловить из него нужное.

С нейросетями так не выйдет. Ответа не существует, пока кто-то не задал вопрос. Модель собирает его в момент обращения, и на один и тот же вопрос завтра может ответить иначе. Поэтому сервис вынужден сам создавать наблюдения: держать список вопросов, регулярно задавать их моделям, сохранять ответы и разбирать, кого в них назвали.

Отсюда все технические различия. У медиамониторинга есть охват источников, у мониторинга ответов - список вопросов и частота прогонов. У первого упоминание либо есть в тексте, либо нет; у второго упоминание надо ещё и подтвердить - что модель говорит именно о вашей компании, а не об однофамильце.

Семь вопросов до оплаты

1. Какие каналы опрашиваются поимённо? Не "все популярные нейросети", а список. Для российского бизнеса в нём должны быть Нейро и ИИ-ответы в поиске, GigaChat и YandexGPT - без них картина смещена в сторону аудитории, которая пользуется западными моделями.
2. Какие из этих каналов ищут в вебе, а какие отвечают по памяти? Это разные измерения. Ответ по памяти показывает, что модель о вас запомнила при обучении, ответ с поиском - что она нашла сегодня. Сервис, который смешивает их в одну цифру, лишает вас возможности понять, на что вообще влияют ваши правки.
3. Что считается упоминанием? Совпадение строки с названием - слабый критерий: в нише всегда найдётся тёзка. Спросите, как отличают вашу компанию от похожей и что происходит с упоминанием в отрицательном контексте.
4. Как разделены брендовые и рекомендательные вопросы? Вопрос с названием компании модель почти всегда закрывает вашим же названием. Если такие вопросы лежат в общем зачёте, итоговая доля завышена, и заметно.
5. Виден ли размер выборки и погрешность? Число без интервала - это оценка, выданная за факт. Нормальный отчёт показывает, на скольких ответах посчитана цифра.
6. Что происходит при смене формулировки вопроса? Изменили вопрос - сравнение с прошлым периодом сломалось. Хороший сервис фиксирует список и показывает, когда он менялся.
7. Можно ли забрать данные? Выгрузка ответов и истории - страховка от ситуации, когда через полгода вы уходите к другому поставщику и остаётесь без точки отсчёта.

Ответы на первые четыре вопроса обычно решают выбор. Если поставщик отвечает на них общими словами, дальше можно не идти.

темы × моделиоткрыть демо-кабинет

Три приёма, которыми рисуют красивую видимость

Первый - брендовые вопросы в общем зачёте. Двадцать вопросов, из них восемь с названием компании, - и вот у вас уже сорок процентов видимости на пустом месте. Мы вынесли такие вопросы в отдельный блок после того, как разобрались, что старые снапшоты считались вместе с ними.

Второй - незаверенное упоминание. Модель назвала компанию с похожим названием из соседнего региона, сервис засчитал совпадение строки. В отчёте рост, в реальности - чужая компания.

Третий - удобная выборка. Десять ответов за неделю дают такой разброс, что любое движение можно объявить трендом. Честный способ - показывать интервал: не "видимость 34 процента", а "34 процента, плюс-минус 9 при выборке в сто ответов". Как это считается, разобрано в статье про долю голоса, а ловушки самой постановки замера - здесь.

Своими руками или сервисом

Разовый срез делается руками за вечер: три-пять вопросов, четыре-пять моделей, таблица. Этого достаточно, чтобы понять, называют вас или нет.

Регулярное наблюдение ломается на другом. Формулировки вопросов надо держать неизменными неделями, ответы - хранить целиком, упоминания - проверять по профилю компании, а не по строке, брендовые вопросы - считать отдельно. Плюс расходы: каждый прогон это оплаченные запросы к моделям, и каналы с веб-поиском стоят в разы дороже остальных, потому что в запрос вкладывается текст найденных страниц.

Разница между разовым срезом и подпиской не в объёме данных, а в том, на какой вопрос они отвечают. Срез отвечает, где вы сейчас. Подписка - что изменилось после ваших действий, и это единственный способ отличить работающие правки от бесполезных.

С чего начать проверку

Начинать разумно не с выбора поставщика, а со своих цифр: пока не видно, называют вас модели или нет, любой сервис продаёт вам решение неизвестной задачи.

Дальше сравнивайте по семи вопросам выше. Если ответы поставщика совпадают с тем, что вы увидели своими глазами в сырых ответах моделей, инструменту можно доверять.