журнал Метрики

Что должно быть в качественном мониторинге GEO и AEO: девять обязательных свойств

Два отчёта могут показывать одну и ту же видимость, и только один из них будет правдой. Стандарт из девяти свойств, без которых мониторинг ответов нейросетей нельзя ни защитить перед руководителем, ни использовать для работы.

27 августа 202610 мин чтения

Плакат: вертикальный чек-лист из квадратов, шесть заполнены кобальтом, один кирпичный, два пустых, слева линейка

Представьте два отчёта по одной компании за одну неделю. В обоих видимость в нейросетях 40%. Первый посчитан по двенадцати вопросам, три из которых содержат название компании, по одной сети без веб-поиска, по одному ответу на вопрос. Второй - по тем же вопросам без брендовых, по девяти сетям с раскрытием, кто из них искал, с тремя повторами и интервалом погрешности под цифрой. Совпадение сорока процентов - случайность, и через месяц эти отчёты разойдутся в разные стороны.

Мы собрали свойства, которые отличают второй отчёт от первого. Их девять, и это не пожелания, а минимальный набор: убери любое, и цифру нельзя будет ни проверить, ни использовать.

Не все замеры одинаковы. Дешёвый способ спросить нейросеть - одна модель, один прогон, без поиска, без проверки упоминаний - даёт цифру, которая выглядит так же, как настоящая. Разница видна только в том, что с ней можно сделать дальше: настоящую можно защищать перед руководителем и превращать в задачи, дешёвую - нет.

Сети, которые ищут, и сети, которые помнят

Первое свойство - охват по двум типам каналов. Одни модели в момент вопроса обращаются к вебу и цитируют страницы: нейровыдача Алисы, Perplexity, ChatGPT и Claude с включённым поиском. Другие пересказывают то, что запомнили при обучении: GigaChat, YandexGPT, DeepSeek, Gemini, Grok в обычном режиме. Ответы у этих групп расходятся не на проценты, а в разы, и усреднять их в одну цифру без деления значит получить среднюю температуру по больнице. Как это распределено по девяти каналам, разобрано отдельно.

Из этого же свойства следует требование к раскрытию: у каждой сети должна быть названа версия и режим. Смена слага модели меняет цифры сильнее, чем месяц работы над сайтом, поэтому запись вида «ChatGPT, gpt-4o, с веб-поиском, 17 ответов» обязательна, а слово «ChatGPT» без уточнений - нет.

Вопросы с названием бренда считаются отдельно

Спросите любую модель «что известно о компании Ромашка» - она назовёт Ромашку. Это не видимость, это эхо. Один такой вопрос в списке из десяти добавляет десять пунктов к видимости без единого реального упоминания, а три - тридцать.

Качественный мониторинг выносит брендовые вопросы в отдельный контур и считает по ним другое: узнаваемость, то есть в скольких ответах модель действительно описала компанию, а не переспросила «не знаю такую». В демо-кабинете это видно наглядно: узнаваемость 97%, видимость по вопросам без названия - 31,5%. Обе цифры честные, но это разные цифры, и отчёт, где они слились в одну, читать нельзя.

Повторы и интервал погрешности под каждой долей

Модель отвечает на один и тот же вопрос по-разному. Поэтому доля, посчитанная по конечному числу ответов, - оценка, а не точная величина, и рядом с ней должен стоять разброс. Мы считаем интервал методом Уилсона с доверительной вероятностью 95%: при видимости 40% на 20 ответах настоящее значение лежит примерно между 22 и 61 процентом.

Из интервала вытекает правило для динамики. Если интервалы двух недель перекрываются, разница между ними - шум, и в отчёте так и пишется: в пределах погрешности. Стрелка вверх или вниз появляется только тогда, когда разница больше разброса. Отчёт, где каждая неделя объявляется ростом или падением на два пункта, обманывает вне зависимости от того, кто его составил.

Отсюда же минимальная выборка. Ниже трёх ответов на сеть за период цифра помечается как предварительная, а тарифы устроены так, чтобы каждая сеть проходила этот порог уже в первом замере. Три ответа - это ещё около 40 пунктов разброса, и именно поэтому интервал под цифрой не опция.

Каждое упоминание проверено на однофамильцев

Совпадение названия - ещё не упоминание. Компания с названием из одного слова совпадёт с чем угодно: с городом, с фамилией, с чужим магазином. Ответ «такой компании я не знаю» содержит название и при наивном подсчёте засчитывается как упоминание.

Свойство четвёртое: у каждого совпадения с вашим названием отдельно выясняется, о вашей ли компании идёт речь. Технически это два слоя. Сначала строгое правило - совпадение с согласованным списком названий и написаний, а не «на глаз». Потом проверка смысла, и рассказ про чужой бренд с похожим именем в счёт не идёт. Качество такого разбора меряется на вручную размеченном наборе ответов; у нас порог точности 90%, и версия парсера записана в методологии, чтобы смена алгоритма не выдавалась за движение видимости. Почему без этого модель как будто не называет бренд, разобрано на примерах.

Доля голоса с полным знаменателем

Видимость отвечает на вопрос, в скольких ответах вас назвали. Доля голоса - какая часть упоминаний всех компаний досталась вам. Подвох в знаменателе: если считать долю только среди заведённых конкурентов, бренд без конкурентов получает 100% на пустом месте.

Правильный знаменатель - каждая компания, которую модель упомянула в ответах за период, включая тех, кого вы не отслеживаете. Побочный результат этого подхода полезен сам по себе: список тех, кого называют рядом с вами, собирается из ответов, а не из ваших представлений о рынке, и в нём регулярно оказываются компании, о которых в отделе продаж не слышали. Как считается доля голоса и где она обманывает - в отдельной статье.

Источники под ответами, разложенные на свои, чужие и нейтральные

Сети, которые ищут, оставляют ссылки. Мониторинг обязан их собирать и раскладывать на три кучки: ваши домены, домены конкурентов, нейтральные площадки - каталоги, отзывы, обзоры, справочники.

Доля ссылок на свои домены среди всех источников - отдельная метрика, доля цитирований. А список нейтральных площадок, на которые модели ходят за материалом про вашу нишу и где вас нет, - это готовый план внешних работ. Без этого свойства мониторинг показывает, что вас не называют, но не показывает, откуда модель берёт тех, кого называет.

Обзор в кабинете SEENGO: оценка, видимость и доля голоса по девяти нейросетям

Так выглядит обзор, в котором все девять свойств собраны на одном экране: интервалы под долями, разбивка по сетям, узнаваемость отдельно от видимости, источники по типам и динамика с пометкой «в пределах погрешности».

Дословные ответы с датами под каждой цифрой

Седьмое свойство простое и редкое. Под любой долей должна лежать возможность открыть ответы, из которых она посчитана: полный текст, модель, дата, найденные упоминания, ссылки. Цифра, которую нельзя перепроверить, не аргумент ни в споре с подрядчиком, ни в разговоре с руководителем.

Это же защищает от самого неприятного сценария - когда мониторинг и рекомендации делает одна и та же сторона. Мы в этой ситуации находимся и говорим прямо: формула зафиксирована, список вопросов согласован и виден целиком, ответы открываются. Оценивать самих себя при таких условиях сложно, а без них - легко.

Фиксированная формула и фиксированный список вопросов

Сводная оценка у нас складывается из видимости, доли голоса, цитирований и позиции с весами 0,4, 0,3, 0,2 и 0,1, и эти веса не меняются всё время наблюдений. Не потому, что формула идеальна, а потому, что оценки разных недель должны быть сравнимы. Изменили веса - потеряли историю.

То же с вопросами. Список фиксируется до первого замера и меняется только явно, с пометкой в методологии. Подрядчик, который заменил половину вопросов между двумя отчётами, показывает вам два разных исследования, а не динамику. Как список собирать так, чтобы его не пришлось переписывать, разобрано в статье про постановку замера.

Из цифр рождаются задачи с порогами

Последнее свойство отличает мониторинг от отчёта ради отчёта. Из данных должны выводиться задачи, и правила вывода должны быть названы с порогами. У нас они такие: сеть, где видимость ниже 10% при лучшей сети от 25%, - задача поднять присутствие в этой сети. Тема с нулём упоминаний при шести и более ответах, где конкуренты названы, - задача войти в тему. Своя доля цитирований ниже 5% при тридцати и более ссылках - задача нарастить цитируемость. Площадка, которую модели цитировали не меньше шести раз и где вас нет, а конкуренты есть, - задача добиться упоминания там. Падение видимости от 10 пунктов за неделю при достаточной выборке - разбор причин.

Пороги можно оспаривать, и это правильно. Нельзя только одно - чтобы задач не было вовсе или чтобы они брались из головы, а не из ответов. Анатомия рекомендации и стандарт IAB, по которому её проверять, - отдельный разбор.

Как проверить любого поставщика по этому списку

Девять свойств проверяются одним разговором. Попросите показать отчёт по чужому бренду или демо-кабинет и пройдитесь по таблице: в средней колонке то, как обычно выглядит подмена, в правой - что спросить или куда нажать. Чего нет - того нет, и никакой интерфейс этого не компенсирует.

СвойствоКак выглядит подменаПроверка за минуту
Сети с поиском и без негоОдна усреднённая цифра «видимость в ИИ»Есть ли разбивка по сетям и у каждой версия и режим
Брендовые вопросы отдельноВопросы с названием в общем спискеНайти в списке вопрос с названием компании и спросить, куда он посчитан
Интервал под долейТочные проценты без разброса, стрелки каждую неделюЕсть ли рядом с долей «± п. п.» и пометка о погрешности
Проверка однофамильцевЛюбое совпадение слова - упоминаниеОткрыть ответ про чужую компанию с похожим именем: засчитан ли
Полный знаменатель доли голоса100% при отсутствии конкурентов в настройкахПоявляются ли в списке компании, которых вы не заводили
Источники по типамСписок доменов без пометок или его нетРазложены ли домены на свои, конкурентов и нейтральные
Ответы открываютсяТолько проценты и графикиКликнуть на цифру и дойти до текста ответа с датой
Фиксированные формула и списокВеса и вопросы меняются между отчётамиСпросить, что изменилось в методологии с прошлого месяца
Задачи с порогамиОбщие советы «пишите экспертный контент»У задачи названа цифра, из которой она родилась
Чек-лист приёмки мониторинга

Семь слов, без которых отчёт не прочитать

GEO - работа над тем, чтобы чат-модели называли компанию в ответах. AEO - то же для ответов внутри поиска: Алисы над выдачей Яндекса и AI Overviews в Google. В русскоязычных запросах оба понятия чаще ищут одним словосочетанием - «видимость в нейросетях», 302 показа в месяц.

Видимость - доля ответов за период, в которых компания упомянута, по вопросам без её названия. Узнаваемость - доля ответов на вопросы с названием, в которых модель действительно описала компанию, а не переспросила. Доля голоса - часть всех упоминаний компаний в ответах, которая пришлась на вас. Доля цитирований - часть ссылок под ответами, ведущих на ваши домены. Интервал погрешности - разброс, в котором лежит настоящее значение доли при данном числе ответов; чем меньше ответов, тем он шире.

вопросы

Частые вопросы

  • 01Чем GEO-мониторинг отличается от AEO-мониторинга?

    GEO - про ответы чат-моделей: ChatGPT, GigaChat, DeepSeek и других. AEO - про ответы внутри поиска: Алиса над выдачей Яндекса, AI Overviews в Google. Качественный мониторинг покрывает оба контура и не смешивает их в одну цифру, потому что они отвечают на разные вопросы клиента.

  • 02Сколько ответов нужно, чтобы цифре верить?

    Интервал погрешности при 20 ответах и видимости 40% - примерно от 22 до 61 процента. Поэтому важнее не абсолютное число, а то, что под каждой долей стоит интервал и недельная разница называется движением только тогда, когда интервалы не перекрываются.

  • 03Почему вопросы с названием бренда нельзя считать вместе с остальными?

    Модель повторяет название из вопроса в любом случае. Один такой вопрос в списке из десяти поднимает видимость на десять пунктов без единого реального упоминания. Их считают отдельно, как узнаваемость.

  • 04Достаточно ли мониторинга по одной сети?

    Нет. Сети делятся на те, что ищут в вебе, и те, что отвечают по памяти, и цифры у них расходятся в разы. Одна сеть даёт срез одного канала, а не картину видимости.

  • 05Что должно получаться из мониторинга кроме цифр?

    Задачи с порогами: в какой сети провал, в какой теме ноль, на какой площадке вас нет, где упала видимость за неделю. Мониторинг, из которого не рождается список работ, - это отчёт ради отчёта.

  • 06Что такое видимость в нейросетях?

    Доля ответов моделей на вопросы клиентов без названия компании, в которых компания упомянута. Считается по каждой сети отдельно, сводная цифра - среднее по сетям, и под ней всегда стоит интервал погрешности.

  • 07Как часто нужно замерять?

    Раз в неделю одним и тем же списком вопросов. Реже - история не набирается и интервалы не сужаются, чаще - дневные колебания моделей выдаются за движение.

проверить свой бренд

Узнайте, что нейросети отвечают о вас

Первая оценка по вашему сайту занимает десять секунд: SEENGO соберёт вопросы клиентов и покажет, где бренд виден, а где отвечают конкурентами.

читать дальше

Узнайте, что нейросети говорят о вашей компании

Попробуйте бесплатно или оставьте заявку — покажем платформу на ваших данных. Разовая оценка — 5 900 ₽, подписка от 19 900 ₽, все цены открыты.