GEO-эксперименты: как доказать, что изменение контента улучшило видимость в ИИ

Команда переписывает страницу сравнения, и через три недели её бренд появляется в большем числе ответов ИИ на вопросы, которым посвящена эта страница. Напрашивается вывод, что переработка сработала, однако на те же недели могли прийтись обновление модели, запуск продукта у конкурента, сезонный сдвиг спроса и обновление индекса, и любое из этих событий способно нарисовать такой же график. GEO-эксперимент — это заранее спланированное сравнение, цель которого оценить, какая часть изменения видимости в ИИ объясняется конкретным вмешательством, а какая произошла бы и без него. Ненаблюдаемое «произошло бы и без него» называют контрфактическим сценарием, и каждая из схем, разобранных ниже, — это свой способ его приблизить.

Поэтому слову «доказать» в заголовке нужно с самого начала придать точный смысл. В генеративной оптимизации (GEO) случайное разделение пользователей, привычное по лендингам, почти никогда не доступно, так что полной уверенности не будет. Достижим градуированный уровень доказательств, от простой связи до воспроизведённого контролируемого эффекта, и честный отчёт прямо называет уровень, которого он достиг. Статистика сравнения двух версий изложена в статье что такое A/B-тестирование, а причины, по которым один ответ ИИ — ненадёжный замер, — в материале почему ответы ИИ каждый раз меняются; здесь и то и другое считается известным.

Что значит доказать эффект, который нельзя наблюдать напрямую?

В модели потенциальных исходов эффект изменения на долю упоминаний по запросу — это разница между долей, наблюдаемой после изменения, и долей, которую тот же запрос показал бы за тот же период без него. Наблюдать можно только одну из двух величин, поэтому любое причинное утверждение опирается на замену недостающей, например на те же запросы до изменения или на другие запросы, которых изменение не коснулось, и заслуживает ровно столько доверия, сколько эта замена. Связь означает, что видимость и изменение сдвинулись одновременно; причинность — что видимость сдвинулась из-за изменения. Расстояние между ними сокращает только схема исследования, а не более уверенные формулировки.

Такая рамка дисциплинирует и выбор результата. Эксперименту нужна одна основная метрика, выбранная заранее, обычно доля упоминаний или доля цитирований по заданному набору запросов, системе, рынку и языку. Как объяснено в статье упоминание против цитирования в ответах ИИ, эти метрики откликаются на разную работу, и выбор между ними после просмотра данных превращает тест в поиск удобного числа.

Почему простое сравнение «до и после» так слабо?

Сравнение «до и после» использует собственное прошлое затронутых запросов как контрфактический сценарий и тем самым предполагает, что больше ничего существенного не изменилось. В GEO это допущение рушится часто и по вполне определённым причинам. Системы меняют модели: 27 января 2026 года Google объявил, что Gemini 3 становится моделью по умолчанию для AI Overviews во всём мире, так что ряд, пересекающий эту дату, сравнивает две разные системы. Конкуренты публикуют материалы, вопросы покупателей подчиняются сезонам, индекс обновляется по своему графику; по словам Google, сканирование может занимать от нескольких дней до нескольких недель, поэтому неопределённым остаётся даже момент, когда система впервые увидит ваше изменение. Сторонние страницы, которые цитируют системы, — предмет анализа пробелов в источниках, — могут набирать или терять вес без всяких действий с вашей стороны.

Более коварный искажающий фактор — регрессия к среднему. Страницы обычно отбирают для обновления старого контента именно потому, что их видимость была необычно низкой, а за замером, отобранным за свою крайность, как правило, следует замер ближе к среднему, даже если ничего не делать. Барнетт, ван дер Полс и Добсон описывают в International Journal of Epidemiology (2005), как этот эффект выдаёт естественную изменчивость за реальное изменение, особенно когда дальнейшие замеры анализируют только в подгруппе, отобранной по исходному значению. Поэтому рост «до и после» сам по себе свидетельствует лишь о связи, и не более того.

Как SEO-сплит-тесты устанавливают причинность и почему их логика переносится лишь частично?

SEO-тестирование столкнулось с похожей задачей и решило её экспериментами на уровне страниц. Как описывает свой метод SearchPilot, поисковый краулер по сути один «пользователь», поэтому тест делит не посетителей, а страницы одного шаблона на контрольную и вариантную группы, статистически похожие по уровню трафика, его изменчивости и сезонности. Изменение выкатывается только на вариантные страницы, а модель, объединяющая доэкспериментальную связь между группами с текущими показателями контрольной группы, прогнозирует, что показали бы варианты без изменения. Поскольку обе группы работают одновременно, обновление алгоритма или сезонное колебание затрагивает их одинаково. По данным SearchPilot, таким тестам обычно нужны как минимум сотни страниц на одном шаблоне, а значимость достигается, как правило, за две–четыре недели. Руководство Google по тестированию сайтов добавляет правила гигиены: не показывать Googlebot иные URL, чем людям, предпочитать rel="canonical" атрибуту noindex и использовать временный редирект 302, а не постоянный 301.

Логика переносится, условия — в основном нет. В GEO результатом служит ответ на запрос, а не трафик страницы, и соответствие здесь «многие ко многим»: один ответ может опираться на несколько ваших страниц и на сторонние, а одна страница — влиять на многие запросы. В причинном выводе это называют интерференцией; она нарушает ту составляющую допущения, названного Рубином SUTVA (stable unit treatment value assumption), которая требует, чтобы исходы одной единицы не зависели от воздействий на другие единицы. К тому же набор запросов бренда обычно гораздо меньше тех массивов страниц, которых требуют такие тесты, и результат здесь оценивается по повторным прогонам, а не подсчитывается по полным логам трафика. Рандомизированное разделение страниц поэтому реалистично лишь для сайтов с большим числом почти одинаковых шаблонных страниц и чётко разделимыми запросами, и даже тогда результат верен только для измеренных системы, рынка и периода.

Что дают контрольные запросы?

Для команд, которые не могут рандомизировать страницы, самое практичное улучшение — набор контрольных запросов: вопросов, похожих на затронутые по намерению, языку и рынку, но не связанных с изменяемым контентом. Сравнение тогда строится по логике разности разностей (difference-in-differences) — квазиэкспериментальной схемы, которая сопоставляет изменение во времени в группе воздействия с изменением в группе без воздействия. Представим условный пример: за одни и те же недели доля упоминаний по затронутым запросам выросла с 30 до 50 процентов, а по контрольным — с 32 до 42 процентов. Наивный эффект равен 20 пунктам, а оценка разности разностей — 10, потому что половина роста произошла и там, где ничего не менялось.

Оценка хороша ровно настолько, насколько выполняются её допущения. Как поясняет руководство Колумбийского университета по методам исследований здоровья населения, схема требует параллельных трендов, то есть того, чтобы без вмешательства разница между группами оставалась постоянной, а также отсутствия перетока эффекта и распределения, не зависящего от исходного результата. На языке GEO это значит: построить график нескольких недель до изменения и проверить, что группы действительно двигались вместе; выбрать контрольные запросы, на которые изменённая страница вряд ли повлияет, ведь усилившаяся страница способна подтянуть и соседние вопросы; и зафиксировать обе группы до изменения. Разность тоже несёт выборочную неопределённость, поэтому её следует показывать с интервалом, а не одним числом.

Может ли поэтапное внедрение дать больше?

Если изменение можно применить к нескольким сопоставимым группам страниц, поэтапное внедрение обычно информативнее одновременного. Если группа A меняется на первой неделе, а группа B — на пятой, схема предсказывает, что запросы группы A сдвинутся после первой недели, а запросы B останутся на месте, и что запросы B сдвинутся после пятой. Эффект, который появляется дважды, каждый раз после своего этапа, гораздо труднее списать на обновление модели или сезон, ведь они ударили бы по обеим группам в один день. Родственная идея, оценка контрфактического сценария по незатронутым рядам за тот же период, лежит в основе методов синтетического контроля: CausalImpact, байесовский подход на структурных временных рядах, который Бродерсен и коллеги из Google опубликовали в Annals of Applied Statistics в 2015 году, строит такой синтетический контроль из связанных рядов, не затронутых вмешательством.

Схема	Что может подтвердить	Требования	Типичная ловушка
Одно сравнение «до и после»	Связь во времени	Стабильная база за несколько недель	Обновление модели, сезон или обновление индекса в том же окне
Прерванный временной ряд	Излом уровня или тренда в дату изменения	Много недельных точек с обеих сторон; журнал событий с датами	Другое событие в ту же или близкую дату
Контрольные запросы (разность разностей)	Эффект сверх общих с контролем потрясений	Параллельные тренды до изменения; нет перетока; группы зафиксированы заранее	Контрольные запросы зависят от той же страницы или домена
Поэтапное внедрение	Воспроизведённый эффект после каждого этапа	Несколько сопоставимых групп страниц; интервал между этапами	Слишком мало групп или слишком близкие этапы
Рандомизированное разделение страниц	Причинная оценка для данной системы, рынка и периода	Сотни шаблонных страниц; разделимые запросы; достаточно прогонов	Интерференция страниц и ответов; низкая мощность
Варианты формулировки запроса	Различия между формулировками одного вопроса	Та же система и окно; достаточно прогонов на вариант	Трактовка как эффекта контента, который так не измеряется

Что нужно записать до того, как изменение выйдет в работу?

Предрегистрация — это фиксация гипотезы и плана анализа до того, как результат стал известен. Носек и соавторы утверждали в PNAS (2018), что она отделяет настоящие предсказания от постдикций, то есть объяснений, построенных после просмотра данных, которые из-за эффекта знания задним числом легко принять за проверенные результаты. GEO-предрегистрация может уместиться на одной странице: изменение и механизм, через который оно должно сработать; затронутые и контрольные запросы; система, рынок и язык; основная метрика; окна до и после, включая задержку на повторное сканирование; минимальный эффект, ради которого стоит действовать; и правило принятия решения. Как устроена рабочая гипотеза, мы разбирали в статье гипотезы A/B-тестов из анализа креативов; та же структура применима здесь, только вместо креативов выступают запросы.

Результат GEO-эксперимента считается доказательством только тогда, когда гипотеза, группа сравнения и метрика успеха были зафиксированы до того, как кто-либо увидел цифры.

Сколько должен длиться GEO-эксперимент?

Длительность вытекает из трёх ограничений. Период до изменения должен содержать достаточно недельных точек, чтобы показать тренд, на котором уже находились обе группы, а из периода после нужно исключить окно задержки, пока система не увидит новый контент. И в каждом периоде должно быть достаточно измеренных ответов, чтобы обнаружить значимый для вас эффект: по стандартной формуле для двух долей при мощности 80 процентов и двустороннем пороге 5 процентов для обнаружения роста с 40 до 60 процентов нужно около 97 измеренных ответов на период, а для роста с 40 до 50 процентов — около 388. При 25 затронутых запросах, измеряемых раз в неделю, крупному эффекту нужно примерно по четыре недели с каждой стороны от изменения, а малому — около шестнадцати. Эти цифры относятся к простому сравнению «до и после» по затронутым запросам; оценка разности разностей несёт ещё и выборочный шум контрольной группы и требует примерно вдвое больше ответов в каждой группе, а корреляция между прогонами одного запроса поднимает все эти цифры ещё выше.

Установив длительность, придерживайтесь её. Джохари, Пекелис и Уолш показали, что обычные p-значения и доверительные интервалы становятся ненадёжными, если тест непрерывно отслеживают и останавливают, как только он выглядит значимым, а препринт Силински 2026 года об измерении видимости в ИИ также рекомендует фиксировать размер выборки заранее. Смотреть на данные во время теста допустимо; переносить дату окончания из-за увиденного — нет.

Как учитывать всё остальное, что изменилось?

Эксперимент поддаётся интерпретации только на фоне датированного журнала других событий, способных объяснить результат: изменений контента, PR, продукта и кампаний, запусков у конкурентов и обновлений систем. Google, например, рекомендует подождать как минимум полную неделю после завершения основного обновления (core update), прежде чем анализировать его эффект; та же осторожность нужна, когда система ответов меняет модель посреди эксперимента. При наличии журнала совпавшее событие становится задокументированным ограничением, а не скрытым. Базовый ряд тоже должен существовать до изменения, и это ещё один довод начинать заранее, о чём говорится в статье почему начинать измерять видимость в ИИ нужно сегодня.

Модуль «GEO-видимость» в Rocketly поддерживает эту наблюдательную дисциплину и прямо обозначает её пределы. «Заметки» фиксируют изменения контента, PR, продукта или кампаний; панель «Наблюдательное сравнение» показывает метрики упоминаний до и после заметки в окне от 3 до 28 дней и помечает результат как связь, а не причину и следствие; «Варианты вопроса» отслеживают альтернативную формулировку запроса отдельно и сравнивают доли на одной системе в 30-дневном окне, причём сам продукт указывает, что это не причинный эксперимент. Функций A/B-тестирования или удерживаемой контрольной группы (holdout) в Rocketly нет, поэтому контрольные группы, поэтапное внедрение и итоговое причинное суждение остаются частью вашей собственной схемы.

Что можно утверждать в итоге и какими словами?

Утверждение должно соответствовать схеме. Рост «до и после» подтверждает фразу «видимость по этим запросам выросла после изменения». Оценка разности разностей, интервал которой не включает ноль, при правдоподобно параллельных трендах до изменения подтверждает фразу «рост превысил то, что показали похожие незатронутые запросы, и это согласуется с эффектом изменения». Лишь воспроизведённый эффект при поэтапном внедрении или рандомизированное разделение страниц позволяют сказать: «изменение вызвало рост примерно на столько-то пунктов в этой системе, на этом рынке, в этот период». Ни одна схема не даёт права на выводы о других системах, языках или будущих версиях моделей, а нулевой результат означает «эффекта, обнаружимого на такой выборке, не найдено», а не доказательство того, что изменение ничего не дало.

Результаты, изложенные таким образом, остаются сопоставимыми между экспериментами и могут питать представления, описанные в статьях GEO-дашборд и KPI видимости и доля голоса в ИИ-поиске. Чтобы применить эту дисциплину к измеренным данным, откройте аккаунт Rocketly и попробуйте Rocketly GEO Suite — отдельно подключаемый пакет, который стандартно измеряет Google AI Overview еженедельно, предлагает измерение ChatGPT и Perplexity в рамках контролируемого запуска и помечает сравнения «до и после» и сравнения вариантов как наблюдательные, а не причинные.

Частые вопросы

Можно ли провести настоящий A/B-тест на ответах ИИ?

В смысле разделения пользователей — нет: показать разные версии страницы разным «пользователям» системы невозможно, а показ Googlebot иного набора URL, чем людям, руководство Google по тестированию относит к клоакингу. Рандомизированное разделение страниц возможно лишь при большом числе сопоставимых шаблонных страниц и разделимых запросах. Поэтому для большинства команд реалистичные варианты — контрольные запросы и поэтапное внедрение.

Сколько нужно контрольных запросов?

Примерно столько же, сколько затронутых, и подобранных по намерению, языку и рынку, потому что точность разности ограничена её более шумной стороной. Если контрольных запросов слишком мало, нестабильной становится сама контрольная доля, и оценка наследует эту нестабильность.

Что делать, если эффект виден только в одной системе?

Сообщать о нём только для этой системы. Системы различаются моделями, поиском источников и интерфейсами, поэтому эффект в одной из них — законный вывод, который не обобщается автоматически. Остальные системы стоит рассматривать как отдельные гипотезы для следующего теста.