Почему ответы ИИ каждый раз меняются: как измерять видимость при нестабильных результатах

Задайте генеративной системе один и тот же вопрос о покупке дважды, и вы можете получить два разных шорт-листа: бренд, названный утром, к вечеру исчезает, источник меняется, порядок перемешивается. Для того, кто отвечает за измерение видимости в ИИ, это не курьёз, а центральная методологическая проблема: один скриншот не позволяет отличить реальный сдвиг в том, как система относится к вашему бренду, от обычной случайности самого инструмента. Нестабильность ответов — это изменчивость от прогона к прогону того, что система говорит, называет и цитирует в ответ на один и тот же запрос при формально одинаковых условиях. Стоит её признать, и видимость перестаёт быть свойством одного ответа: она становится долей, которую приходится оценивать по повторным сопоставимым прогонам.

Ниже мы сначала разделяем задокументированные источники этой изменчивости, затем разбираем, что измерили эмпирические исследования, и предлагаем метод: как определить долю, сколько прогонов ей нужно, как читать интервал Уилсона и как отличить шум от изменения. Выбор запросов и конкурентов описан в статье почему начинать измерять видимость в ИИ нужно сегодня, выбор метрик — в материале GEO-дашборд и KPI видимости. Здесь же стоит вопрос, предшествующий обоим: насколько можно доверять любому из этих чисел, если шумит сам измерительный инструмент?

Почему один и тот же запрос даёт разные ответы?

Языковая модель пишет ответ по одному токену: на каждом шаге она вычисляет распределение вероятностей для возможных следующих токенов и выбирает один из них; правило такого выбора называют декодированием. Справочник API OpenAI описывает параметр temperature как температуру сэмплирования: высокие значения вроде 0,8 делают вывод более случайным, низкие вроде 0,2 — более сфокусированным и детерминированным. Поскольку другой токен в начале меняет всё, что за ним следует, два прогона могут разойтись уже с первого предложения, а вместе с текстом может измениться и список брендов, которые называет ответ.

Снижение температуры проблему не снимает. OpenAI указывает, что Chat Completions по умолчанию недетерминированы и что даже с параметром seed детерминизм не гарантируется. В сентябре 2025 года Хорас Хи (Horace He) и его коллеги из Thinking Machines Lab сообщили, что среди 1000 ответов открытой модели Qwen3 на один и тот же запрос при нулевой температуре оказалось 80 различных текстов, и связали расхождение главным образом с вычислительными ядрами инференса, результат которых зависит от размера батча, а значит, от нагрузки на сервер. К тому же в потребительских интерфейсах вроде ChatGPT или Google AI Overviews эти настройки выбирает провайдер, а не тот, кто проводит измерение.

Как поиск источников добавляет второй слой изменчивости?

Системы, которые отвечают со ссылками на источники, например поиск ChatGPT и ИИ-функции Google, сначала получают результаты веб-поиска и только потом отвечают, а этап извлечения (retrieval) тоже изменчив. Справочный центр OpenAI объясняет, что поиск ChatGPT, как правило, переписывает вопрос в один или несколько целевых запросов к поисковым провайдерам, а документация Google сообщает, что AI Overviews и AI Mode могут использовать технику «query fan-out», то есть серию связанных поисков по подтемам и источникам данных. Если переписанные запросы различаются от прогона к прогону, различаются и страницы-кандидаты, а с ними и бренды, которые ответ может упомянуть. Индекс тоже не стоит на месте: по словам Google, сканирование может занимать от нескольких дней до нескольких недель.

Изменчиво даже само появление ИИ-ответа. Google указывает, что AI Overviews показываются, только когда его системы считают их полезным дополнением к классическому поиску, и поэтому часто не срабатывают. Как этот слой меняет страницу выдачи, мы разбирали в статье Google AI Overviews и поиск без кликов; для измерения вывод такой: «ИИ-ответ не показан» — самостоятельный исход, и его нельзя смешивать с исходом «ответ нас не назвал».

Важно ли, кто спрашивает, откуда и с какой историей?

Важно, и документация называет конкретные каналы. Поиск ChatGPT может использовать приблизительное местоположение, определённое по IP-адресу, чтобы показывать локальные результаты, а при включённой памяти — релевантные сохранённые воспоминания при переписывании поискового запроса. Google в январе 2026 года представил подключаемую по желанию пользователя функцию Personal Intelligence, которая позволяет AI Mode опираться на контекст из Gmail и Google Фото, сначала для платных подписчиков в США, а в марте 2026 года расширил её доступность в США. Поэтому ответ, который маркетолог видит в своём личном аккаунте, взят из персонализированного распределения, а не из того, с которым сталкивается типичный покупатель. Язык и рынок действуют так же, только в большем масштабе. Отсюда правило: у каждого отслеживаемого запроса должны быть фиксированные рынок и язык, а каждая комбинация образует отдельный ряд; почему языки расходятся, объясняет статья многоязычное GEO.

Когда изменение исходит от системы, а не от вас?

Сэмплирование и поиск разбрасывают результаты вокруг стабильного среднего, а обновления продукта сдвигают само среднее. 27 января 2026 года Google объявил, что Gemini 3 становится моделью по умолчанию для AI Overviews во всём мире, а OpenAI ведёт публичную страницу Model Release Notes с журналом изменений моделей в ChatGPT. Ряд, пересекающий такую дату, состоит из двух режимов, и рядом с ним нужен датированный журнал внешних событий. Различия между самими системами — отдельная ось, которой посвящена статья почему каждая ИИ-система видит ваш бренд по-разному.

Источник изменчивости	Что меняет	Масштаб времени	Как контролировать или фиксировать
Сэмплирование и декодирование	Формулировки, порядок, первые названные бренды	Каждый прогон	Повторять прогоны и оценивать долю
Формулировка запроса	Как понимается потребность	При изменении текста	Заморозить текст; варианты отслеживать отдельно
Переписывание запроса, fan-out	Какие документы найдены и процитированы	Каждый прогон	Повторять; фиксировать источники
Состояние индекса и сканирования	Какие страницы доступны системе	Дни и недели	Датировать изменения контента; учитывать задержку сканирования
Местоположение, аккаунт, память	Личный контекст ответа	Пользователь и сессия	Фиксированные рынок и язык; без личной истории
Срабатывание ответа	Появится ли ИИ-ответ вообще	По запросу и во времени	Отдельно фиксировать состояние «нет ответа»
Обновления модели и продукта	Всё распределение ответов	Нерегулярные скачки	Отметить дату; разделить ряд
Сбой измерения	Есть ли результат вообще	Непредсказуемо	Помечать «не измерено»; никогда не считать нулём

Что показывают эмпирические исследования о масштабе изменчивости?

SparkToro опубликовала отраслевое измерение этой изменчивости. В исследовании, вышедшем в январе 2026 года, Рэнд Фишкин вместе с Патриком О’Доннеллом из Gumshoe.ai попросил около 600 добровольцев прогнать 12 запросов через ChatGPT, Claude и ИИ-выдачу Google и свёл 2961 ответ к упорядоченным спискам брендов. Для ChatGPT и ИИ Google авторы оценивают вероятность получить тот же список дважды как меньше одного шанса из ста, а тот же список в том же порядке — примерно как один шанс из тысячи; «позицию в ИИ» они считают почти бесполезной метрикой, а процент видимости по десяткам или сотням запросов, каждый из которых прогнан несколько раз, — разумной. Авторы указывают, что не являются профессиональными исследователями; исследование вышло в блоге SparkToro без рецензирования, участники сохраняли свои настройки по умолчанию, а местоположение не контролировалось.

Препринт Рональда Силински (Ronald Sielinski), опубликованный на arXiv в 2026 году, собрал цитирования Perplexity, SearchGPT от OpenAI и Google Gemini по трём потребительским темам за девять дней. По его данным, число цитирований заметно колеблется между выборками, многие видимые различия между доменами укладываются в бутстреп-доверительные интервалы, а рейтинги неустойчивы; автор делает вывод, что метрики видимости следует рассматривать как выборочные оценки скрытого распределения ответов. Склар и соавторы (ICLR 2024) добавляют, что изменения форматирования запроса, не затрагивающие смысла, сдвигали точность одной открытой модели на величину до 76 пунктов. Отсюда два правила проектирования: измерять присутствие, а не позицию, и замораживать формулировку запроса, потому что переформулированный запрос — это уже другой инструмент.

Что такое доля видимости в строгом смысле?

Доля имеет смысл, только если её определение полное: для заданного запроса, рынка, языка, системы и окна — доля измеренных ответов, в которых упомянут бренд. Доля цитирований строится так же, только в числителе стоят ответы, ссылающиеся на домен бренда; эти две доли держат раздельно, потому что они вознаграждают разную работу. Каждый элемент определения служит контролем: текст запроса заморожен (как его выбрать, рассказывает статья исследование промптов), рынок и язык фиксированы, ритм измерений регулярен, а каждый ответ засчитывается один раз, сколько бы раз в нём ни повторялось название.

Объединённая цифра по категории допустима, если отчёт прямо говорит, что именно объединено. А поскольку генеративная оптимизация (GEO) в конечном счёте стремится сдвинуть именно такие доли, их определение стоит записать до первого отчёта. Конкурентную версию той же логики, где в знаменателе стоят бренды, а не ответы, мы развили в статье доля голоса в ИИ-поиске.

Сколько прогонов нужно, чтобы оценить долю?

Точность растёт пропорционально квадратному корню из числа прогонов. При истинной доле около 50 процентов полуширина 95-процентного интервала Уилсона составляет примерно 26 процентных пунктов при 10 измеренных ответах, 17 — при 30, 10 — при 100 и 5 — при 400; чтобы вдвое сократить неопределённость, нужно вчетверо больше измерений. Поэтому недельная цифра по одному запросу способна показать лишь крупные сдвиги, а цифра, объединённая по тридцати запросам, улавливает гораздо меньшие.

Формулы предполагают независимые наблюдения. Прогоны с интервалом в несколько минут могут опираться на одни и те же результаты поиска и нести меньше информации, чем прогоны, разнесённые по дням. С объединением связана похожая проблема: если объединённая цифра должна говорить о вопросах покупателей вообще, а не о фиксированном наборе запросов, прогоны группируются внутри запросов с разными истинными долями, и эффективный размер выборки оказывается меньше числа ответов. Распределение прогонов по всему окну и показ цифр по отдельным запросам рядом с объединёнными делают эти искажения видимыми. Размер выборки к тому же следует фиксировать заранее: в препринте Силински интервал по мере накопления выборок мог сначала сужаться, а затем снова расширяться, поэтому остановка в момент, когда он впервые кажется достаточно узким, преуменьшает неопределённость.

Что на самом деле говорит интервал Уилсона?

95-процентный доверительный интервал — это результат процедуры, которая на множестве повторных выборок накрывала бы истинную долю примерно в 95 процентах случаев; он описывает надёжность метода, а не обещание относительно одного конкретного интервала. Учебный интервал Вальда, то есть наблюдаемая доля плюс-минус 1,96 стандартной ошибки, ломается именно там, где живёт GEO-измерение: при нуле упоминаний в десяти ответах его ширина схлопывается до нуля и создаёт видимость уверенности, которую десять прогонов дать не могут.

Интервал Уилсона, предложенный Эдвином Б. Уилсоном в 1927 году, получают, обращая score-тест; его центр слегка смещён к половине, и он никогда не выходит за пределы отрезка от нуля до единицы. Разбирая альтернативы в журнале Statistical Science (2001), Браун, Кай и ДасГупта показали, что покрытие интервала Вальда ведёт себя хаотично, и рекомендовали для малых выборок интервал Уилсона или Джеффриса. На практике ноль упоминаний в десяти ответах даёт примерно от 0 до 28 процентов, что читается как «редко, возможно никогда», а не «никогда»; 12 из 20 дают около 39–78 процентов; 60 из 100 — около 50–69 процентов. Одни и те же наблюдаемые 60 процентов весят очень по-разному в зависимости от того, сколько прогонов за ними стоит.

Один ответ ИИ — это наблюдение; видимость — это доля, а долю нельзя показывать в отчёте без размера выборки, интервала и числа неизмеренных прогонов.

Как отличить шум от реального изменения?

Представим условный пример: в кластере запросов бренд на одной неделе упомянут в 8 из 20 измеренных ответов, на следующей — в 12 из 20. Рост с 40 до 60 процентов выглядит убедительно, но стандартный тест для двух долей даёт z около 1,3, что не дотягивает до привычного порога 1,96; при тех же долях на 60 ответах в каждом периоде z достигает примерно 2,2. Проверка того, перекрываются ли интервалы, гораздо строже 5-процентного теста: Кнол, Пестман и Гроббе (European Journal of Epidemiology, 2011) отмечают, что для независимых оценок с равными дисперсиями при нулевой гипотезе 95-процентные интервалы не перекрываются с вероятностью лишь около 0,006, так что перекрывающиеся интервалы вполне могут скрывать реальную разницу.

Картину дополняют три привычки. Устойчивость: разница в одном прогоне — это наблюдение, и устойчивой можно назвать только ту, что держится несколько окон подряд. Множественность: если пятьдесят запросов каждую неделю проверять на 5-процентном уровне, то даже в неделю, когда ничего не изменилось, в среднем два-три из них пересекут порог чисто случайно. Контекст: прежде чем интерпретировать сдвиг, загляните в журнал событий. Чтобы показать, что изменение вызвал именно ваш контент, нужна контрольная группа; соответствующие схемы описаны в статье GEO-эксперименты.

Почему «не измерено» нельзя приравнивать к нулю?

Каждый запланированный прогон заканчивается одним из трёх состояний: измеренный ответ, измеренное отсутствие ИИ-ответа или отсутствие измерения, потому что провайдер дал сбой или был исчерпан лимит запросов. В знаменатель доли упоминаний входит только первое; второе — это вывод о системе, третье — пробел в инструменте, и если считать его нулём, получится падение, которого не было. Та же дисциплина касается самого метода: когда меняются набор запросов, варианты написания бренда или правила разбора ответов, ряд получает новую версию методологии. Как отличить сломанное число от сломанных данных, рассказано в статье оповещения об аномалиях в отчётах.

Модуль «GEO-видимость» в Rocketly явно фиксирует эти различия. Каждый прогон сохраняется как «измерено», «нет ответа» или «не измерено», и «не измерено» никогда не считается нулём; при наличии хотя бы двух измеренных прогонов показывается 95-процентный интервал Уилсона; недельные изменения помечаются как различимые или неразличимые; различия в ответах отмечаются как наблюдавшиеся, если взяты из одного прогона, и как устойчивые, если сохраняются; версионированная методология описана на странице «Как работает измерение». Google AI Overview стандартно измеряется еженедельно, измерение ChatGPT и Perplexity находится в контролируемом запуске, а Gemini, Claude и Grok не измеряются.

Если вы хотите показывать видимость не скриншотом, а долей с её неопределённостью и пробелами, создайте аккаунт Rocketly и оцените Rocketly GEO Suite, отдельно подключаемый пакет, на собственном наборе запросов.

Частые вопросы

Можно ли стабилизировать ответы ИИ, выставив нулевую температуру?

Не в тех продуктах, которыми пользуются покупатели: там настройки декодирования выбирает провайдер, а не пользователь. Даже через API OpenAI предупреждает, что детерминизм не гарантирован, а опубликованные эксперименты находили расхождения и при нулевой температуре. Поиск, персонализация и обновления моделей в любом случае остаются.

Как часто нужно измерять видимость в ИИ?

Постоянство здесь важнее частоты: фиксированный ритм, например еженедельный, делает отчётные окна сопоставимыми. Ширину интервала определяет число измеренных ответов в каждом отчётном окне, а прогоны, распределённые по окну, информативнее того же числа прогонов, сделанных разом.

Что должен указывать каждый отчёт о видимости?

Систему, рынок, язык, набор запросов и окно; число измеренных ответов и доверительный интервал; число прогонов, которые не удалось измерить, и действующую версию методологии. Рядом с цифрами должны стоять датированные внешние события, например обновление модели: без них два отчёта нельзя сравнить, даже если они показывают одно и то же число.