Почему один ответ ИИ — это не рейтинг

Когда я впервые провел тест на видимость в ИИ для известного софтверного бренда, результат выглядел почти идеально. Бренд появлялся во всех запросах без указания названия. На первый взгляд вывод был очевиден: 100% видимость в ИИ. Но результат выглядел слишком чистым. Я повторил те же запросы — и цифры изменились.

После нескольких запусков средняя частота упоминаний упала до 65%, частота рекомендаций — до 59%, а бренд стабильно рекомендовался только в 11 из 18 запросов. Честный результат оказался не 100%, а 61% стабильного покрытия рекомендациями. Этот эксперимент изменил мое представление о том, как измерять видимость в ИИ. Один ответ ИИ может быть полезен, но это не рейтинг.

Почему ответы ИИ нестабильны

Традиционный поиск дает маркетологам привычный объект для измерения: страница имеет позицию, и ее можно проверять снова и снова. С ответами ИИ все иначе. Ответ может зависеть от формулировки вопроса, используемой модели, доступности веб-поиска, источников, полученных при этом запросе, даты, местоположения, контекста предыдущих диалогов и обычной вариативности модели. Задайте один и тот же вопрос дважды — и вы можете получить разный порядок продуктов, другую лучшую рекомендацию, новых конкурентов, меньше продуктов, другие источники или вообще отсутствие цитирований. Это не делает видимость в ИИ неизмеримой, но означает, что единицей измерения не может быть один скриншот.

Покупательские запросы — это не ключевые слова

Еще одна ошибка — считать все вопросы о категории равноценными. Покупатель, ищущий инструмент для ревью кода, может спросить: «Какие лучшие ИИ-инструменты для ревью кода?» Или: «Как находить баги до слияния пул-реквеста?» Или: «Какой доступный инструмент для ревью PR для небольшой команды разработки?» Или: «Какие альтернативы есть у CodeRabbit?» Эти запросы представляют разные стадии осведомленности.

• Категорийные запросы: покупатель уже понимает категорию продукта.
• Проблемные запросы: у покупателя есть проблема, но он может не знать, какой тип продукта ее решает.
• Сегментные запросы: покупатель добавляет ограничения — размер компании, бюджет, рабочий процесс, технологический стек.
• Сравнительные запросы: покупатель уже оценивает известные продукты.

Бренд может хорошо проявляться в категорийных запросах, но оставаться невидимым в проблемных. Это различие важнее единого общего балла.

Брендовая и небрендовая видимость — это разные вещи

Сравните два запроса: «Лучшие ИИ-инструменты для ревью кода» и «Стоит ли CodeRabbit своих денег?». Второй уже содержит название бренда — упоминание ожидаемо. Он показывает, как ИИ описывает компанию, когда покупатель уже знает о ней, но не говорит, обнаружит ли ее покупатель, который никогда о ней не слышал. Поэтому брендовые и небрендовые запросы следует отчитывать отдельно. Брендовая видимость помогает выявить репутацию, возражения, сравнения, воспринимаемые сильные и слабые стороны. Небрендовая — категорийное и проблемное обнаружение, привлечение новых клиентов, попадание в набор рассматриваемых вариантов. Для большинства команд роста небрендовая видимость ценнее.

Упоминание — не значит рекомендация

Инструменты AI visibility часто объединяют несколько результатов в одно число. Но есть большая разница между утверждениями: «CodeRabbit — один из нескольких доступных инструментов» и «CodeRabbit — лучший вариант для небольшой команды, которой нужна быстрая обратная связь по пул-реквестам». Первое — упоминание, второе — рекомендация. Есть и другой случай: «Greptile может быть лучшим вариантом для команд, которым нужен более глубокий контекст репозитория». Здесь CodeRabbit может упоминаться, но рекомендацию получает другой бренд. Полезный анализ видимости в ИИ должен разделять: отсутствие, упоминание, рекомендацию, лучшую рекомендацию, брендовое обнаружение, небрендовое обнаружение, стабильные и нестабильные результаты. Без этих различий бренд может казаться высоковидимым, но постоянно проигрывать реальную рекомендацию покупателю.

Что показали повторные запуски

В пилотном проекте я протестировал 24 покупательских запроса, связанных с ИИ-продуктами для ревью кода. Запросы охватывали четыре группы: категорийное обнаружение, сегмент и ограничения, проблемное обнаружение, сравнение и альтернативы. Каждый запрос повторялся три раза в одинаковых условиях. Первый однократный результат показал почти идеальную видимость. Повторный результат был более нюансированным:

• Средняя доля небрендовых упоминаний: 65%.
• Средняя доля небрендовых рекомендаций: 59%.
• Стабильно рекомендован хотя бы в двух из трех запусков: 11 из 18 небрендовых запросов.
• Стабильное покрытие рекомендациями: 61%.

Бренд был явно видим, но его видимость не была универсальной или идеально стабильной. Это гораздо более полезный вывод, чем «100% видимость».

Стабильное покрытие полезнее скриншота

Представьте два бренда. Бренд A появляется в 15 из 20 запросов за один запуск, но при повторении лишь 6 рекомендаций остаются стабильными. Бренд B появляется в 11 из 20 запросов, но 10 из этих рекомендаций стабильны при повторных запусках. Отчет по одному запуску отдаст предпочтение бренду A, а отчет с акцентом на стабильность — бренду B. Для основателя или маркетолога позиции бренда B, вероятно, сильнее. Поэтому метрика, которая сейчас важна мне больше всего, — стабильное покрытие рекомендациями: процент покупательских запросов, где бренд рекомендуется стабильно при повторных запусках. Она не устраняет неопределенность, но делает ее видимой.

Разные ИИ-движки — разные среды обнаружения

Не существует единого универсального результата поиска в ИИ. Разные ИИ-ассистенты могут возвращать разные ответы на один и тот же запрос. Они могут полагаться на разные модели, поисковые системы, источники, сигналы ранжирования, форматы ответов и поведение цитирования. Компания может активно рекомендоваться одним движком и редко упоминаться другим. Таким образом, у видимости в ИИ есть как минимум три измерения:

• Покрытие запросов: в скольких покупательских ситуациях появляется бренд?
• Повторяемость: выдает ли один и тот же движок похожий результат при повторных запусках?
• Согласованность между движками: рекомендуют ли разные ИИ-системы одну и ту же компанию?

Эти измерения не должны скрываться внутри одного необъяснимого балла. Лучший отчет показывает, где системы согласны, где расходятся и где результат нестабилен.

Цитирования показывают, почему выигрывают конкуренты

Упоминания бренда показывают, что появилось в ответе. Цитирования могут раскрыть, какие источники повлияли на ответ. Конкурент может постоянно поддерживаться документацией, независимыми страницами сравнения, обзорными платформами, GitHub-репозиториями, отраслевыми публикациями, обсуждениями на Reddit, историями клиентов или категорийными обзорами. Это может выявить пробел в источниках: проблема может быть не в том, что ИИ-модель не любит продукт, а в том, что продукт просто отсутствует в источниках, которые модель использует для объяснения категории. Это приводит к практическому вопросу: где ИИ находит убедительную информацию о конкурентах и где наш бренд отсутствует? Ответ может подсказать конкретные действия: создать более четкую страницу сценария использования, опубликовать страницу сравнения, улучшить документацию, добавить свидетельства клиентов, ответить на проблемные вопросы покупателей, добиться включения в релевантные сторонние источники и повторить тест после изменений.

Видимость в ИИ следует рассматривать как эксперимент

Неправильный подход: запустить один запрос, получить оценку, праздновать или паниковать. Правильный подход:

1. Определить репрезентативный набор покупательских запросов.
2. Разделить брендовое и небрендовое обнаружение.
3. Зафиксировать базовый уровень.
4. Повторить запросы для выявления нестабильных результатов.
5. Сравнить несколько ИИ-движков.
6. Найти последовательно проигрываемые покупательские намерения.
7. Просмотреть, какие источники поддерживают рекомендации конкурентов.
8. Внести одно конкретное изменение.
9. Повторить тот же тест.
10. Измерить направленное движение.

Это ближе к экспериментированию, чем к традиционному отслеживанию позиций. Нет гарантии, что бренд сохранит фиксированную позицию внутри сгенерированного ИИ ответа, но все же можно наблюдать, становится ли видимость более широкой, более стабильной, сильнее между движками и лучше поддерживается релевантными источниками.

Самый ценный результат — часто проигранный запрос

Компания может уже появляться по запросу «Лучшие ИИ-инструменты для ревью кода», но отсутствовать по запросу «Как растущей команде разработчиков снизить нагрузку на ручное ревью?». Второй запрос может представлять большую возможность: у покупателя есть проблема, но он еще не выбрал категорию или вендора. Когда бренд постоянно исчезает из таких запросов, результат может привести к полезному действию: опубликовать контент о проблеме, объяснить рабочий процесс до представления продукта, создать материал для конкретного размера команды, прояснить, чем продукт отличается от альтернатив, улучшить внешние доказательства. Это более действенно, чем просто узнать, что «балл видимости в ИИ» вырос с 42 до 47.

Что командам следует измерять

Полезный отчет о видимости в ИИ должен отвечать на вопросы: где нас упоминают, не называя бренда? Где нас действительно рекомендуют? Где мы — первая рекомендация? Какие результаты остаются стабильными при повторных запусках? Какие движки предпочитают наших конкурентов? Какие покупательские намерения мы постоянно проигрываем? Какие источники цитируются повторно? Какое изменение следует протестировать следующим? Цель — не создать постоянный рейтинг в ИИ, а заменить случайные скриншоты повторяемыми доказательствами.

Что этот подход все еще не может доказать

Повторное тестирование делает результат более обоснованным, но не устраняет неопределенность. Снимок видимости не может доказать, что каждый пользователь получит тот же ответ, что ИИ-ассистент продолжит рекомендовать тот же бренд, что цитирования напрямую вызвали рекомендацию, что более высокая видимость автоматически приведет к выручке или что изменение контента одинаково улучшит все движки. Это все еще выборочное наблюдение. Цель повторения — не создать ложную уверенность, а выявить, какие результаты кажутся достаточно стабильными для изучения, а какие могут быть разовыми вариациями.

Заключительная мысль

Годами маркетологи спрашивали: «Где мы ранжируемся в Google?» Эквивалентный вопрос для ИИ-поиска не должен быть: «Какой наш рейтинг в ChatGPT?» Более полезный вопрос: «Насколько последовательно ИИ-системы рекомендуют нас по важным покупательским вопросам — и где вместо нас выигрывают конкуренты?» Один ответ ИИ не может на это ответить. Репрезентативный набор запросов, повторные наблюдения, несколько движков и свидетельства на уровне запросов могут подойти гораздо ближе.