Почему скриншот ответа нейросети — не метрика: как измерять упоминания компании в ИИ

Люди всё чаще спрашивают рекомендацию у языковой модели, а не у поисковика. И не просят десять вариантов для сравнения — им достаточно двух-трёх имён. Если вашей компании в ответе нет, вы не на восьмом месте. Вас просто нет.

Дальше у большинства возникает вопрос: когда это изменится? Но прежде есть проблема скучнее и важнее — как это вообще измерять. Именно на этом этапе ломаются отчёты.

Скриншот — не измерение

Самый распространённый и самый неудобный для критики способ — сделать скриншот ответа. Скриншот выглядит как доказательство. Но он ничего не доказывает.

Ответ разговорного приложения зависит от истории аккаунта, сессии, внутренней маршрутизации провайдера, региона и того, активирован ли поиск по интернету. Два человека спросят одно и то же в один день — получат разные ответы. Один человек спросит дважды — тоже.

Выход недетерминированный, инструмент нестабильный. Скриншот показывает, что случилось один раз, в контексте, который невозможно воспроизвести. Как метрика для отслеживания динамики он бесполезен.

Работает только серия замеров: один и тот же буквальный запрос, тот же движок, тот же критерий сортировки, повторяется во времени. Абсолютное значение одной точки мало о чём говорит. Имеет значение разница между точками.

Фиксируйте текст запроса, а не его название

Типичный баг процесса: в таблицу сохраняют подпись вроде «запрос про чат-ботов», а не точный текст. Через два месяца никто не вспомнит формулировку. А формулировка решает. «Кто делает X в Аргентине» и «лучшие компании по X в Аргентине» дают разные списки.

Если между раундами текст меняется, серия перестаёт быть сопоставимой. График при этом рисуется такой же красивый. Сохраняйте строку запроса дословно, версионируйте её. Нужно поменять запрос — начинайте новую серию, а не портите старую.

С поиском и без поиска — это два разных замера

Спросить модель с активированным веб-поиском и без него — это два разных измерения. Они могут противоречить друг другу: один и тот же запрос даёт упоминание при включённом поиске и отсутствие — при выключенном.

Это не ошибка модели. Это две разные сущности. Первый вариант показывает, что модель находит сейчас. Второй — что уже встроено в неё. Если смешивать их в одной серии, получаются колебания, которые потом списывают на «нестабильность алгоритма». На самом деле просто в разных точках измеряли разным инструментом.

Каждая точка серии обязана фиксировать, чем именно мерили.

Три состояния вместо одного процента

Вторая зона, где цифры приукрашивают, — классификация. Вместо сквозного «индекса видимости» удобно использовать дискретные состояния:

Если сжать эти три состояния в один «индекс видимости», получится улучшение, которого на практике нет: переход из «отсутствует» в «упомянута» раздует число, хотя структурно ничего не изменилось.

И ещё деталь для автоматизации: поиск названия бренда подстрокой даёт ложные срабатывания, если имя короткое или слипается с другим словом, а также ложные пропуски из-за акцентов и Unicode-нормализации. Прежде чем доверять классификатору, соберите набор граничных случаев.

Сколько ждать первых изменений

При таких условиях повторяется одна и та же картина:

• Брендовые запросы — «что такое ваша компания» — двигаются первыми.
• Категорийные — «лучшие компании в такой-то сфере» — заметно позже.
• Запросы с намерением купить — «кому заказать такую услугу» — в последнюю очередь. И именно они приводят клиентов.

Это логично, если подумать, что нужно модели в каждом случае. Чтобы рассказать, чем занимается компания, достаточно найти о ней достоверную информацию. Чтобы включить в список из трёх, нужно сравнить со всем рынком и решить, что вы заслуживаете места.

Первые подвижки обычно появляются около четвёртой недели.

До этого работа сделана, но пока не видна. Это не то же самое, что отсутствие результата. Именно в этот момент многие меняют стратегию — как раз тогда, когда прежняя начала бы сработать.

Что выясняется в процессе

Во-первых, ваш сайт может не быть источником. Модель способна описать компанию вашими же словами, но сослаться на сторонний каталог. Описание уехало, атрибуция — нет.

Во-вторых, узнавание не означает включение в список. Модель может хорошо рассказать о вас, когда вы сами назвали бренд, и не включить вас при категорийном запросе. Это два разных вопроса, и нужно отслеживать оба.

Ничего из этого не решается одним трюком. Решается измерением в повторяемых условиях и терпением — достаточно долгим, чтобы стало понятно, что именно двигать.