Попадание в ChatGPT: пять экспериментов, никаких формул

Начну с признания. Мы не можем сказать вам, как попасть в результаты ChatGPT, потому что OpenAI не опубликовала, как её поиск выбирает источники, а ответы ChatGPT варьируются от запуска к запуску.

Что вы можете делать, так это наблюдать. Поиск ChatGPT, запущенный 31 октября 2024 года, показывает ссылки на источники, поэтому каждый ответ оставляет след. Perplexity и Claude с поиском по веб-интернету делают то же самое, что позволяет сравнивать движки по одним и тем же запросам.

Каждый запуск — это выборка. Но не приговор. Используйте одинаковую формулировку, сессию без авторизации, где это возможно, и столбец с датой. Без этой дисциплины результаты будут анекдотичными, сколько бы скриншотов вы ни собрали. Делайте выборку достаточно маленькой, чтобы завершить эксперимент, и достаточно большой, чтобы она имела значение. Опишите план на одной странице.

Не спамьте запросами ассистенту, чтобы искусственно завысить какие-либо показатели, и не публикуйте скриншоты как доказательство тренда. Это правило обязательно. Аккуратная таблица убеждает больше людей, чем папка с изображениями.

Как читать то, что возвращается

С разницей в час один и тот же запрос может цитировать разные страницы. Ожидайте шум и ожидайте, что текст ответа изменится, пока источники останутся прежними.

Единичные появления мало о чём говорят. Судите по частоте. Если ваш домен появляется в шести из восьми еженедельных запусков по одному вопросу, это закономерность, которую стоит отметить. Если он появляется один раз — это совпадение, которое просто льстит вам.

Google AI Overviews, поиск ChatGPT, Perplexity и Claude каждый извлекают данные своим способом, поэтому победа в одном мало о чём говорит для другого. Сравнивайте движки отдельно. Глоссарий объясняет, почему привязка (grounding) различается между ними.

Планируйте время до начала. Эксперимент один займет полдня. Остальные — это в основном ожидание: переиндексация может занять дни или недели, и ничто в процессе нельзя ускорить платной подпиской.

Почему тот же запрос «уплывает»

Прежде чем записать изменение в свой журнал, перечислите вещи, которые изменились между запусками. Большинство «уплываний» имеет скучную причину, скрытую в настройках, а не в поисковом движке.

Формулировка и сессия

Небольшие правки запроса могут изменить источники. Добавленный вопрос, синоним или дополнительное предложение могут привести к другим страницам. Авторизованная сессия также может хранить историю, которой нет в чистом браузере.

Записывайте точный запрос в журнал, а не его пересказ. Пересказы кажутся безобидными, пока вы не попытаетесь сравнить два месяца запусков. Сообщите коллеге набор запросов до начала, чтобы список нельзя было редактировать под результаты.

Время суток и изменения продукта

Один и тот же запрос может возвращать разные источники с разницей в несколько часов. Модели, системы извлечения и их входные данные постоянно меняются, и вендоры не анонсируют каждое изменение. Датырованный журнал — единственный способ отличить «уплывание» от сдвига. Запуск, который выглядит странно, стоит повторить в тот же день, так как один странный час мало о чём говорит.

Записывайте изменения продукта в журнал, когда вы о них знаете. Датырованный таймлайн поможет сопоставить закономерность с запуском, хотя дата запуска — это лишь предположение.

Движок, страна и аккаунт

У каждого движка свой путь извлечения, и так же для каждой страны или типа аккаунта. Сравнивайте сопоставимое и записывайте регион, который использовался при запуске. Ведите заметки о том, какие из этих факторов вы контролировали.

Результат из одного региона — не результат для каждого региона. Укажите это в любом отчете рядом с цифрой, которую он ограничивает. Если один движок тестируется на ноутбуке, а другой на телефоне, изменилось два фактора, поэтому держите устройство неизменным в рамках серии.

Что считается реальным изменением

Изменение реально только тогда, когда оно выделяется на фоне колебаний, которые вы бы наблюдали в любом случае. Это звучит очевидно, однако многие журналы пропускают базовый уровень и считают каждое колебание результатом.

Оценка движения на фоне шума

Прежде чем называть что-то изменением, измерите, насколько сильно ответы меняются сами по себе. Базовый уровень с широкими колебаниями делает небольшое улучшение невидимым.

Сравните разброс вашего базового уровня с размером изменения, которое вы надеетесь увидеть. Если изменение меньше колебаний, честная оценка — «не обнаружено изменений». Сохраните заметку о том, как выглядел базовый уровень в день начала, включая любые странные результаты, которые вы сохранили. Эти заметки не дадут последующему сравнению незаметно сдвинуться.

Частота вместо единичных скриншотов

Скриншот фиксирует один момент, а для закономерности нужно несколько. Посчитайте количество запусков, в которых появляется ваш домен, затем разделите на количество запусков для этого запроса.

Отчитывайтесь долей, а не скриншотом, и укажите, сколько запусков легло в её основу. Читатели смогут сами оценить выборку.

Честность бюджета

Эксперименты чаще проваливаются по времени, чем по деньгам. План, который вписывается в вашу неделю, легче поддерживать, чем амбициозный, который застопорится после первого запуска.

Сколько запусков достаточно

Четыре еженедельных запуска — это минимум, а не цель. Восемь дают более четкую закономерность для большинства вопросов, хотя правильное число зависит от того, насколько сильно меняются ответы.

Считайте запросы, а не часы. Двадцать запросов, запущенных четыре раза, дают восемьдесят строк, что уже больше, чем быстрый обзор за одно полднее.

Куда уходит время

Большая часть усилий приходится на первый полдень, когда создаются набор запросов и журнал. После этого работа — это повторение, а повторение легко пропустить. Запланируйте следующий запуск в календаре, прежде чем закончить текущий. Грубое правило здесь помогает: определите количество запусков до первого, и не расширяйте серию, потому что ранние результаты выглядят хорошо.

Закладывайте бюджет и на написание отчета. Короткая заметка, в которой указаны выборка, даты и ограничения, пишется сложнее, чем сами запуски.