Данные об AI-видимости нестабильны: генеративные модели выдают разные ответы каждый раз, поэтому единичный замер может вводить в заблуждение. Новое исследование IQRush предлагает правило остановки, позволяющее определить, когда рейтинги становятся надёжными. В этой статье мы разберём, как отличить реальный рост от шума измерений и какие практические выводы из этого следуют для маркетологов.
Почему единичные замеры AI-видимости ненадёжны
Поисковые системы вроде SearchGPT, Gemini и Perplexity вносят случайность в каждый ответ. Один и тот же запрос может выдавать разные источники — это особенность архитектуры. Исследование показало, что, например, при тестировании SearchGPT на тему бегового снаряжения Tom’s Guide получал около 9,5% цитирований, а Runner’s World — примерно 6,0%. Разница в 3,5 процентных пункта оказалась в пределах погрешности, так что утверждать превосходство Tom’s Guide было некорректно.
Сколько данных нужно для достоверного рейтинга
Ответ состоит из двух условий, которые должны выполняться одновременно. Первое: порядок должен перестать меняться. После сбора достаточного количества ответов топ-сайты начинают чётко выделяться. Второе: разница между топ-сайтами должна превышать погрешность измерений. Если конкуренты слишком близки, рейтинг не отражает реального превосходства.
В 30 тестах по разным платформам и темам количество ответов, необходимых для выполнения обоих условий, варьировалось от 33 до 94 (учитывались только ответы с цитированиями). В трёх случаях из 30 этого не удалось достичь даже после 125 запросов — все на SearchGPT, где топ-сайты были слишком похожи.
Практические выводы для маркетологов
Рэнд Фишкин (SparkToro) советует: прежде чем тратить деньги на отслеживание AI-видимости, убедитесь, что провайдер «показывает свою математику». Исследование IQRush даёт простое правило остановки, чтобы не полагаться на интуицию. Если после обновления контента вы видите рост цитирований на 3 процентных пункта, это может быть естественной вариацией. Измеряйте показатели до и после несколько раз — единичный замер неотличим от шума.
Разные платформы — разные требования к данным
Gemini нагружает цитатами одни и те же сайты в рамках одного ответа, поэтому многие цитирования несут мало новой информации. SearchGPT даёт меньше цитат на ответ, но распределяет их шире — каждый ответ содержит больше независимых данных. Одинаковое количество ответов на двух платформах не даёт одинаковой уверенности: бюджет, достаточный для Gemini, может оставить вас в неведении на SearchGPT.
Когда данных недостаточно: умейте остановиться
В трёх из 30 тестов топ-сайты так и не разделились чисто. В таких случаях правильное решение — воздержаться от публикации рейтинга. Трекер, который может сказать «недостаточно данных», ценнее того, что выводит уверенный порядок при каждом запросе.
Доверять можно только лидерам: с достаточным количеством ответов они отрываются от середины и хвоста. Но даже для топ-10 типичная погрешность составляет около пяти позиций, а каждая пятая позиция — более 10. Не публикуйте точные места за пределами верхушки списка.
Ограничения исследования
Это препринт, основанный на 30 тестах по трём платформам с использованием вопросов, сгенерированных ChatGPT, а не реальных пользовательских запросов. Точные цифры не переносятся на ваши темы — воспринимайте их как форму проблемы, а не таблицу значений. В одном тесте 125 вопросов дали только 104 полезных ответа (17% потерь), так что реальное количество запросов должно быть больше.
Метод проверен внутренне: ранний рейтинг сравнивался с финальным, а не с внешним эталоном. Однако независимая команда из Университета Санкт-Галлена (Юлиус Шульте, Мальте Блекер, Филипп Кауфманн) в апреле опубликовала аналогичные результаты на своём наборе данных, подтвердив, что единичное чтение ненадёжно.
Будущее AI-видимости: от точных чисел к диапазонам
Отчётность по AI-видимости движется к формату с погрешностью, как в рекламной и веб-аналитике. Пока Search Console не сообщает, какие клики пришли из AI, задача ложится на вас: запускайте проверку несколько раз и сообщайте диапазон, а не одно число с дашборда.
Часто задаваемые вопросы
Сколько раз нужно опрашивать AI-поиск, чтобы получить стабильные данные?
От 33 до 94 ответов с цитированиями в зависимости от платформы и темы. Универсального порога нет.
Можно ли доверять дашбордам AI-видимости?
Только если они показывают погрешность и многократные замеры. Чистое число без контекста — красный флаг.
Что делать, если после обновления контента цитирования выросли на 3%?
Сделайте несколько замеров до и после. Если разница сохраняется — это реальный рост. Если нет — шум.
Какие платформы требуют больше данных?
SearchGPT — из-за меньшего числа цитат на ответ, но большей независимости каждого ответа. Gemini — наоборот, даёт много цитат, но они часто повторяют одни и те же сайты.
Заключение
Главный вывод: AI-видимость — это не фиксированная метрика, а диапазон. Используйте правило остановки, проверяйте несколько раз и не публикуйте рейтинги, если топ-сайты не разделились. Только так вы получите данные, на которые можно опираться. Начните внедрять эти принципы уже сегодня, чтобы ваши отчёты по AI-видимости были надёжными и полезными для принятия решений.