Отчёт по видимости в нейросетях: пять экранов, которые стоит показывать

Ситуация, знакомая любому, кто отвечает за маркетинг: показываешь новую метрику, и первый же вопрос звучит как а это вообще важно. С видимостью в нейросетях сложнее обычного - к ней нет привычки, нет отраслевых бенчмарков и нет клика, за который можно спрятаться.

Разберём отчёт, который выдерживает такой разговор. Пять экранов, каждый со своей задачей.

Экран 1. Одна цифра и её смысл

Наверху - доля ответов, где модели назвали компанию, по вопросам, в которых вашего названия не было. Не по всем вопросам подряд, а именно по небрендовым.

Разница принципиальная. Если вы спросите модель, чем занимается ваша компания, она повторит название из вопроса - это ничего не измеряет. Ценность в другом: клиент, который вас не знает, спрашивает, к кому обратиться, и выясняется, называют вас или нет. Такие ответы и складываются в главную цифру.

Рядом с цифрой обязана стоять оговорка про размер выборки. Тридцать ответов и триста ответов дают одинаково выглядящий процент с совершенно разной надёжностью, и человек, принимающий решение, имеет право это видеть. Как считаются сама доля, доля голоса и цитируемость, подробно разобрано в отдельном материале.

Экран 2. Кого называют вместо вас

Самая доходчивая часть отчёта, и обычно самая неприятная. Список компаний, которые модели упоминают в ответах на те же вопросы, с частотой упоминания.

Здесь не нужны объяснения: руководитель видит знакомые названия и сам делает вывод. Дополнительная польза в том, что список часто не совпадает с тем, кого в компании считают конкурентами. Модель составляет его по текстам в интернете, а не по вашей карте рынка, и там регулярно всплывают компании, которых вы не отслеживали.

Экран 3. Разбивка по каналам

Одной строкой это не показать, и попытка усреднить всё в один процент - типичная ошибка отчётности. Сети, которые ищут в вебе, реагируют на работу за недели. Сети, отвечающие по памяти обучения, не двигаются кварталами. В среднем движение первых тонет во вторых.

Поэтому отчёт делится на две колонки: что модели находят про вас сейчас и что они про вас помнят. Первая колонка - зона ответственности текущей работы, по ней и оценивают подрядчика. Вторая - медленный индикатор известности. Механика этого деления разобрана в статье про то, кто из сетей ищет в интернете.

Экран 4. Динамика к прошлому месяцу

Один график, две-три линии, месячный шаг. Не недельный: недельные колебания в ответах моделей велики, и по ним видно шум, а не работу.

Полезная деталь - отмечать на графике, что делали. Выкатили новые страницы, вышла публикация на отраслевом портале, обновили карточки на площадках. Через квартал такой график сам отвечает на вопрос, какие работы дали сдвиг, а какие нет. Про типичные сроки реакции по каждому виду работ есть отдельный разбор.

Экран 5. Что делаем дальше

Три-четыре пункта с ответственными и сроком. Не список идей, а задачи, вытекающие из предыдущих экранов: если провалена цитируемость - чиним извлекаемость на страницах, если конкуренты обходят в рекомендательных вопросах - идём на внешние площадки, если видимость есть, а фактам в ответах нельзя верить - сверяем данные о компании.

Отчёт без этого экрана превращается в термометр. Он честно показывает температуру, но лечение не назначает, и через два таких отчёта интерес к метрике угасает.

Чего в отчёте быть не должно

Скриншотов переписки с нейросетью. Один диалог не доказывает ничего: следующий ответ на тот же вопрос будет другим, модели недетерминированы. Скриншот годится как иллюстрация к цифре, но не как аргумент.

Сравнения с непроверяемыми средними по рынку. Отраслевых бенчмарков по видимости в нейросетях пока не существует, и любая фраза про средний уровень в отрасли - выдумка, если рядом нет ссылки на методику.

Смеси метрик разной природы в одном числе. Видимость, цитируемость и позиция отвечают на разные вопросы; сводная оценка полезна как индикатор, но принимать по ней решения без разбивки нельзя.

Как собрать такой отчёт без ручной работы

Собирать всё это руками можно, но повторяемость страдает: список вопросов надо держать неизменным, ответы фиксировать, считать доли и интервалы, повторять каждую неделю по девяти сетям. На третьем месяце это превращается в отдельную работу.

Кабинет SEENGO держит фиксированный список вопросов, гоняет прогон еженедельно, разделяет брендовые и небрендовые ответы, показывает конкурентов и выгружает отчёт в PDF - его можно отдать руководителю или клиенту как есть. Первый замер бесплатный, подписка с еженедельными прогонами и накоплением динамики начинается с 19 900 рублей в месяц, разовый прогон - 5 900. Как выглядят все пять экранов на живых данных, показывает демо-кабинет - без регистрации.

Агентствам, которые ведут такую отчётность для клиентов, подойдёт решение для агентств: кабинет под вашим брендом, свой домен и логотип в отчётах.