Оригинальные данные и исследования: контент, который ИИ выбирает для цитирования

Представьте, что вы спрашиваете ИИ-ассистента, как быстро небольшие B2B-команды отвечают на входящие заявки. Если каждая страница по этой теме повторяет одни и те же вторичные утверждения, система может подкрепить ответ любой из них и ни в одной конкретно не нуждается. Страница, которая сообщает измеренный результат с указанием выборки, периода и метода, даёт то, чего нет у остальных: конкретный факт с единственным источником, которому его можно приписать. В этом и состоит практический довод в пользу оригинальных данных и исследований в генеративной оптимизации (GEO). Под оригинальным исследованием здесь понимается контент, ключевые выводы которого получены из данных, собранных или созданных самим издателем, — операционных записей, опроса, сравнительного теста или эксперимента, — и поэтому в таком виде больше нигде не существуют.

Первая половина статьи посвящена доказательствам: что на самом деле проверяло академическое исследование, в котором впервые было предложено понятие GEO, где заканчиваются его выводы и что означает и чего не означает понятие «прирост информации». Во второй половине изложен метод производства — от выбора вопроса до дизайна исследования, раскрытия методологии, публикации и этики.

Почему система может предпочесть страницу с данными из первых рук?

В документации Google об AI Overviews и AI Mode сказано, что для появления в них не нужны дополнительные требования или особая оптимизация сверх индексации и права на показ сниппета; это стоит учитывать, читая о том, как AI Overviews изменили страницу результатов. Та же документация отсылает к руководству Google о полезном контенте, ориентированном на людей, где среди вопросов для самопроверки есть такие: содержит ли материал «оригинальную информацию, репортаж, исследование или анализ» и даёт ли он существенную ценность по сравнению с другими страницами в результатах поиска. Ни одно из этих утверждений не раскрывает, как система взвешивает источники, но оба указывают в ту же сторону, что и простое рассуждение об избыточности.

Когда пятьдесят страниц разными словами повторяют одно утверждение, каждая из них заменима и ни одна не обязательна. Страница с измерением, которого никто больше не публиковал, — единственный возможный источник этого измерения, поэтому, если оно относится к делу, сослаться на неё — естественный способ его атрибутировать. Оригинальные данные превращают страницу из одного кандидата среди многих в первоисточник конкретного утверждения. Более широкие сигналы, благодаря которым система готова опираться на такой первоисточник, разобраны в статье о сигналах доверия и авторитета, а основы дисциплины — во введении в GEO.

Что на самом деле проверяло исследование GEO?

Понятие ввела работа «GEO: Generative Engine Optimization» авторов Аггарвала, Мурахари, Раджпурохита, Каляна, Нарасимхана и Дешпанде: она появилась на arXiv в ноябре 2023 года и опубликована в трудах конференции KDD 2024. Авторы собрали GEO-bench — набор из 10 000 запросов из девяти источников, охватывающих 25 предметных областей, — и собственную генеративную систему: для каждого запроса она получала пять первых результатов Google, а gpt-3.5-turbo писал ответ со встроенными ссылками. В каждом запросе один источник выбирался случайно и переписывался языковой моделью поочерёдно каждым из девяти методов — от «авторитетного» тона (Authoritative) и набивки ключевыми словами (Keyword Stuffing) до добавления статистики (Statistics Addition), цитат (Quotation Addition) и ссылок на источники (Cite Sources). Видимость измерялась двумя способами: числом слов ответа, приписанных источнику, с поправкой на позицию, и оценкой «субъективного впечатления» (Subjective Impression), которую выставляла языковая модель.

Лучше всего сработали методы, связанные с доказательностью: по данным статьи, на тестовой части из 1000 запросов Cite Sources, Quotation Addition и Statistics Addition дали относительное улучшение на 30–40% по метрике числа слов и на 15–30% по субъективной метрике. Набивка ключевыми словами почти ничего не дала, а более убедительный, авторитетный тон не принёс значимого прироста. Эффект зависел от области: в разбивке по категориям тремя лучшими для Statistics Addition оказались право и государственное управление, дебаты и вопросы-мнения, а для Quotation Addition — «люди и общество», объяснения и история. В дополнительном эксперименте, где переписывались сразу все пять источников, методы, связанные с доказательностью, смещали видимость к источникам, стоявшим ниже в выдаче Google: при Cite Sources видимость источника на пятой позиции выросла на 115,1%, а у источника на первой позиции в среднем снизилась на 30,3%. На подвыборке из 200 запросов, прогнанной через Perplexity с загрузкой исходных текстов в виде файлов, Quotation Addition улучшил метрику числа слов на 22%, Statistics Addition — субъективную метрику на 37%, а набивка ключевыми словами по метрике числа слов дала результат примерно на 10% хуже исходного варианта.

Где заканчиваются выводы исследования?

Авторы сами называют ограничения: методы, возможно, придётся адаптировать по мере развития систем, реальные запросы со временем меняются, влияние правок на позиции в поиске не оценивалось, а часть меток запросов в наборе может быть ошибочной. На практике важны ещё три ограничения. Основной системой была модель 2023 года, отвечавшая по пяти переданным ей текстам, и даже в тесте с Perplexity ответы строились только по загруженным файлам, так что собственный поиск коммерческого продукта не участвовал ни в одном из случаев. Метрики показывают, какая часть ответа опирается на источник, но не то, верен ли ответ. И главное — переписанные тексты генерировала модель: промпты, опубликованные в открытом репозитории кода исследования, допускают, что добавляемая статистика может быть «гипотетической», а цитаты и источники — выдуманными.

Эта деталь меняет прочтение результата. Исследование показывает, что в контролируемой системе добавление формы доказательности — чисел, цитат и атрибуций — увеличивало долю источника в ответе. Оно не показывает, что годятся любые доказательства, и тем более не даёт права их фабриковать: коммерческие системы могут сверять утверждения с другими источниками, это могут сделать журналист и клиент, а выдуманная статистика, связанная с вашим брендом, становится проблемой, как только её начинают повторять. Обоснованный урок уже и полезнее: давайте системам настоящие числа, настоящие цитаты и настоящие источники, а для утверждений о вашей собственной нише самым надёжным источником настоящих чисел часто оказывается исследование, которое вы проводите сами.

Оригинальное исследование цитируют по той же причине, по которой ему доверяют: оно сообщает проверяемое знание, которого нет ни на одной другой странице.

Что такое прирост информации и что говорит патент Google?

В теории информации и машинном обучении прирост информации — это уменьшение неопределённости относительно одной переменной в результате наблюдения другой, формально ожидаемое уменьшение энтропии. Контент-стратеги используют термин свободнее — для того, что страница добавляет к уже увиденному читателем. У Google есть патент на близкую идею: патент США № 11 354 342 «Contextual estimation of link information gain», заявка на который подана в 2018 году, а выдан он Google LLC в июне 2022 года, описывает оценку документов по тому, сколько информации они добавляют сверх уже просмотренных пользователем документов, применительно к автоматическим ассистентам и результатам поиска. Патент фиксирует изобретение, которое владелец решил защитить; из него не следует, используется ли метод в продуктах Google и каким образом, поэтому подавать его как подтверждённое поведение ранжирования нельзя.

Как редакционный тест идея полезна независимо от того, что вычисляет та или иная система. Составьте список страниц, которые уже цитируются по вашим целевым запросам, — его даёт анализ пробелов в источниках, — и спросите себя, что ваша страница скажет такого, чего нет ни на одной из них. Если честный ответ «ничего», страница — лишь пересказ.

На какой вопрос можете ответить только вы?

Сильный исследовательский вопрос отвечает трём условиям: вашей аудитории ответ нужен для принятия решения, достоверного ответа ещё никто не опубликовал, а у вас есть привилегированный доступ к данным, способным на него ответить. Компании, работающие с программным обеспечением и услугами, часто располагают такими данными как побочным продуктом операций — например, агрегированным временем реакции или сезонными закономерностями по клиентской базе, — и использовать их можно лишь в пределах того, что допускают договоры и законодательство о данных. Если операционные данные не отвечают на вопрос, на него может ответить опрос, контролируемый сравнительный тест или небольшой эксперимент. Прежде чем выбирать метод, сформулируйте вопрос так же точно, как угол подачи в шаблоне контент-брифа: расплывчатый вопрос даёт расплывчатый набор данных.

Какой дизайн исследования подходит для какого вопроса?

Каждый дизайн обменивает определённое преимущество на характерный риск, и добросовестный раздел о методологии называет этот риск, а не скрывает его.

Тип исследования	Источник данных	Главное преимущество	Главный риск для валидности
Анализ операционных данных	Агрегированные записи вашего продукта или сервиса	Большие выборки реального поведения, а не заявленных намерений	Ваши клиенты — не весь рынок; определения метрик со временем меняются
Опрос клиентов или рынка	Анкета для чётко определённой совокупности	Измеряет установки и практики, не оставляющие записей	Нерепрезентативная выборка, неответы, наводящие формулировки
Сравнительный тест	Стандартизированные испытания продуктов или процессов	Сопоставимые цифры в одинаковых условиях	Дизайн теста в пользу одного варианта; быстрое устаревание
Контролируемый эксперимент	Рандомизированное сравнение изменения с контрольной группой	Самая прочная основа для причинных выводов	Малые выборки; ограниченная обобщаемость
Повторный анализ открытых данных	Официальная статистика или открытые наборы данных	Исходные данные может проверить любой	Неверно понятые определения; интерпретация под видом новых данных
Экспертные интервью	Структурированные беседы с практиками	Объясняют механизмы, стоящие за цифрами	Избирательный подбор собеседников; частный случай под видом распространённости

Как спроектировать опрос, который выдержит проверку?

Сначала определите совокупность, которую должны описывать выводы, — по роли, размеру компании, рынку и периоду, — а затем назовите основу выборки, то есть список, из которого фактически отбираются респонденты. Опрос подписчиков вашей рассылки описывает ваших подписчиков, а не отрасль. Американская ассоциация исследователей общественного мнения (AAPOR) требует указывать, является ли выборка вероятностной, а её кодекс гласит, что отчёты по невероятностным опросам могут приводить показатели точности только вместе с подробным описанием лежащей в их основе модели и допущений. Поэтому добровольную онлайн-выборку не следует сопровождать обычной предельной ошибкой.

И для вероятностных выборок предельная ошибка означает меньше, чем кажется. Как объясняет методолог Pew Research Center, она отражает только ошибку выборки, а не ошибки охвата, неответов или формулировок; для подгрупп она больше; а для разницы между двумя показателями одного опроса, например долями двух кандидатов, она примерно вдвое больше, чем для каждого из них. Для простой случайной выборки из 400 человек 95-процентная предельная ошибка для доли около 50% составляет примерно плюс-минус 4,9 процентного пункта — достаточно, чтобы многие громкие «различия» потеряли смысл. Вторая половина работы — формулировки вопросов: наводящие, двойные и перегружающие память вопросы разобраны в нашем руководстве о том, как составлять вопросы опроса, которые действительно измеряют. Каждую анкету перед запуском проверяйте на нескольких представителях целевой совокупности.

Что должен раскрывать раздел о методологии?

Раздел о методологии превращает утверждение в вывод, на который можно ссылаться, потому что позволяет читателю, журналисту или модели проверить, что означает число. Стандарты раскрытия AAPOR служат хорошим шаблоном и за пределами опросов общественного мнения: кто финансировал и кто проводил исследование; точные формулировки вопросов и вариантов ответа; совокупность и способ набора выборки, включая вознаграждения; способ сбора данных и языки; даты сбора; размеры выборок; взвешивание; проверки качества данных и исключения; и заявление об ограничениях. Для операционных данных аналогами служат временное окно, критерии включения, число учётных записей или событий, точные определения метрик и обработка выбросов. Размещайте раздел на той же странице, что и выводы, присваивайте ему номер версии и дату и оставляйте прежние версии доступными после обновлений.

Как писать и публиковать выводы, чтобы их цитировали точно?

Формулируйте каждый ключевой вывод как самодостаточное утверждение, которое сохраняет смысл вне страницы и содержит в одном предложении число, совокупность, период и выборку. Представим условный пример: «В опросе 412 руководителей операционных подразделений в Турции, проведённом в сентябре 2026 года, 38% ответили, что пересматривают договоры с поставщиками ежеквартально». Один вывод — одно предложение, абсолютные значения рядом с относительными изменениями и ни одного прилагательного, которое не подтверждают данные; структура «сначала ответ» из нашей статьи о FAQ-страницах для ИИ подходит и для резюме исследований.

Публикуйте числа текстом, а не только картинками. Учебное руководство W3C по доступности таблиц указывает, что ячейки заголовков должны быть размечены как заголовки, а ячейки данных — как данные; таблицу, опубликованную текстом, в отличие от картинки с графиком, могут разобрать и программы. Если вы предлагаете набор данных для скачивания, Google описывает разметку schema.org Dataset, которая помогает наборам данных появляться в Dataset Search: обязательны название и описание, а среди рекомендуемых свойств — лицензия, автор, временной охват и способ распространения; внедрение разобрано в нашем руководстве по разметке структурированных данных. Определите график обновлений до первого выпуска и сохраняйте метод и вопросы неизменными между выпусками, чтобы тренды оставались сопоставимыми; актуальность входит в число критериев, которые проверяет аудит готовности к ИИ.

Какие этические границы нельзя переходить?

Люди, чьи данные вы используете, должны знать цель. Закон Турции № 6698 о защите персональных данных (KVKK) обязывает оператора при сборе данных сообщать субъектам, кто является оператором, каковы цели обработки, кому и с какой целью данные могут передаваться, каковы способ и правовое основание сбора и какие права даёт им статья 11. Публикуйте только должным образом анонимизированные агрегаты. KVKK определяет анонимизацию как приведение данных в состояние, при котором их невозможно связать с определённым или определяемым физическим лицом даже при сопоставлении с другими данными, а пункт 26 преамбулы GDPR указывает, что псевдонимизированные данные остаются персональными, тогда как действительно анонимная информация не подпадает под регламент, в том числе при использовании в статистических или исследовательских целях. Не публикуйте категории настолько малые, что в них можно узнать отдельную компанию; общую правовую картину см. в нашем руководстве об ИИ и данных клиентов, а для своего случая получите юридическую консультацию.

Добросовестность не менее важна, чем конфиденциальность. Фиксируйте вопросы и план анализа до того, как увидите результаты, публикуйте неудобные для вас выводы наравне с остальными и никогда не округляйте, не перевзвешивайте и не отбрасывайте данные ради красивой истории. Не выдумывайте статистику и цитаты, что бы ни говорил об их эффекте тест на переписанных текстах, и не штампуйте поверхностные «исследовательские» страницы: правила Google о спаме относят массовое создание страниц прежде всего ради манипуляции позициями к злоупотреблению масштабированным контентом.

Чтобы увидеть, приносит ли работа результат, «Разведка источников» в Rocketly GEO Suite показывает, какие домены и URL системы цитируют по вашим отслеживаемым запросам, вместе с историей каждого источника, — так можно понять, попала ли исследовательская страница в список источников. Google AI Overview измеряется еженедельно в стандартном режиме, измерение ChatGPT и Perplexity находится в контролируемом запуске, а Gemini, Claude и Grok не измеряются. Черновики контента в продукте проходят этапы черновика, проверки и утверждения другим сотрудником и никогда не публикуются автоматически, а само исследование остаётся работой вашей команды. Создайте аккаунт Rocketly, чтобы отслеживать запросы, на которые должно отвечать ваше исследование.

Частые вопросы

Гарантирует ли оригинальное исследование, что ИИ-системы будут цитировать мою страницу?

Нет. Ни одна система не публикует подробных критериев отбора источников, а большая часть опубликованных экспериментальных данных получена на контролируемом наборе тестов, а не на коммерческих продуктах. Оригинальные данные делают вашу страницу единственным источником конкретного утверждения и тем самым устраняют главную причину цитировать по этому утверждению кого-то другого; результат измеряйте на собственных запросах, а не предполагайте.

Какой должна быть выборка опроса?

Это зависит от нужной точности и от подгрупп, которые вы собираетесь показывать. Для простой случайной выборки около 400 ответов дают предельную ошибку примерно плюс-минус 5 процентных пунктов для доли около 50%, а у каждой выделенной подгруппы она шире. Для добровольных выборок вместо предельной ошибки указывайте размер выборки и способ набора респондентов.

Как часто обновлять исследование?

Подбирайте ритм к скорости изменения темы — например, ежегодно для опроса об установках и ежеквартально для операционной метрики — и объявляйте его вместе с первым выпуском. Датируйте каждую версию и сохраняйте доступ к прежним выпускам, чтобы любой, кто ссылается на старую цифру, мог найти её источник.