Rankear no ChatGPT: cinco experimentos, sem fórmulas

Aqui vai uma confissão para começar. Não podemos dizer a você como rankear no ChatGPT, porque a OpenAI não publicou como seu mecanismo de busca seleciona fontes, e as respostas do ChatGPT variam entre as execuções.

O que você pode fazer é observar. A busca do ChatGPT, lançada em 31 de outubro de 2024, mostra fontes vinculadas, então cada resposta deixa um rastro. Perplexity e Claude com busca na web fazem o mesmo, o que permite comparar motores com os mesmos prompts.

Cada execução é uma amostra. Nunca uma sentença. Use a mesma formulação, uma sessão em modo anônimo quando possível, e uma coluna de data. Sem essa disciplina, os resultados são anedotas, não importa quantos screenshots você colete. Mantenha a amostra pequena o suficiente para concluir, e grande o suficiente para ter significado. Escreva esse plano em uma página.

Não faça spam de prompts em um assistente para inflar qualquer contagem, e não publique screenshots como prova de uma tendência. Essa regra não é opcional. Uma planilha organizada convence mais pessoas do que uma pasta de imagens.

Como ler o que é retornado

Com uma hora de diferença, o mesmo prompt pode citar páginas diferentes. Espere ruído, e espere que o texto da resposta mude enquanto as fontes permanecem.

Aparições únicas provam pouco. Julgue pela frequência. Se o seu domínio aparecer em seis de oito execuções semanais para uma pergunta, isso é um padrão que vale a pena anotar. Se aparecer apenas uma vez, é uma coincidência que acontece para te favorecer.

Google AI Overviews, busca do ChatGPT, Perplexity e Claude cada um recupera de sua própria maneira, então uma vitória em um diz pouco sobre o outro. Compare motores separadamente. O glossário explica por que o grounding difere entre eles.

Planeje seu tempo antes de começar. O experimento um leva uma tarde. Os outros são principalmente espera: uma reindexação pode levar dias ou semanas, e nada no processo pode ser apressado pagando por isso.

Por que o mesmo prompt deriva

Antes de ler uma mudança no seu registro, liste as coisas que mudaram entre as execuções. A maioria das deriva tem uma causa maçante que está na configuração, não no mecanismo de busca.

Formulação e sessão

Pequenas edições em um prompt podem mudar as fontes. Uma pergunta final, um sinônimo ou uma cláusula extra podem trazer páginas diferentes. Uma sessão logada também pode carregar histórico que um navegador limpo não tem.

Escreva o prompt exato no registro, não uma paráfrase. Paráfrases parecem inofensivas até você tentar comparar duas meses de execuções. Diga a um colega o conjunto de prompts antes de começar, para que a lista não possa ser editada para se adequar aos resultados.

Hora do dia e mudanças de produto

O mesmo prompt pode retornar fontes diferentes algumas horas de distância. Modelos, sistemas de recuperação e suas entradas mudam todos, e os fornecedores não anunciam todas as mudanças. Um registro datado é a única maneira de distinguir deriva de mudança. Uma execução que parece estranha vale a pena ser repetida no mesmo dia, já que uma única hora estranha prova pouco.

Anote mudanças de produto no registro quando souber sobre elas. Uma linha do tempo datada ajuda você a combinar um padrão com um lançamento, embora uma data de lançamento seja apenas um indício.

Motor, país e conta

Cada motor tem seu próprio caminho de recuperação, e assim pode cada país ou tipo de conta. Compare similar com similar, e registre a localização que a execução usou. Mantenha notas sobre quais desses você controlou.

Um resultado de uma região não é um resultado para todas as regiões. Diga isso em qualquer relatório, ao lado do número que qualifica. Se um motor é testado em um laptop e outro em um celular, duas coisas mudaram, então mantenha o dispositivo fixo em toda a série.

O que conta como uma mudança real

Uma mudança é real apenas quando se destaca do tremor que você veria de qualquer maneira. Isso parece óbvio, no entanto muitos registros pulam a linha de base e leem qualquer oscilação como resultado.

Julgando uma mudança contra seu ruído

Antes de chamar algo de mudança, meça quanto as respostas se movem por conta própria. Uma linha de base que oscila amplamente torna uma pequena melhoria invisível.

Compare a dispersão da sua linha de base com o tamanho da mudança que você espera ver. Se a mudança for menor que o tremor, o rótulo honesto é nenhuma mudança detectável. Mantenha uma nota de como a linha de base parecia no dia em que você começou, incluindo quaisquer resultados estranhos que você manteve. Essas notas impedem que a comparação posterior mude silenciosamente.

Frequência sobre screenshots únicos

Um screenshot captura um momento, e um padrão precisa de vários. Conte as execuções nas quais o seu domínio aparece, depois divida pelo número de execuções para aquele prompt.

Relate a fração, não o screenshot, e declare quantas execuções estiveram por trás disso. Os leitores podem então julgar a amostra por conta própria.

Mantendo o orçamento honesto

Experimentos falham no tempo mais frequentemente do que no dinheiro. Um plano que cabe na sua semana é mais fácil de manter do que um ambicioso que trava após a primeira execução.

Quantas execuções são suficientes

Quatro execuções semanais são um piso, não um alvo. Oito dá um padrão mais claro para a maioria das perguntas, embora o número certo dependa de quanto as respostas mudam.

Conte prompts, não horas. Vinte prompts executados quatro vezes fazem oitenta linhas, o que já é mais do que uma olhada rápida de uma tarde lhe daria.

Onde o tempo vai

A maior parte do esforço cai na primeira tarde, quando o conjunto de prompts e o registro são construídos. Depois disso, o trabalho é repetição, e repetição é fácil de pular. Coloque a próxima execução no calendário antes de terminar esta. Uma regra aproximada ajuda aqui: decida o número de execuções antes da primeira, e não estenda a série porque os resultados iniciais parecem bons.

Orçamento para o relatório também. Uma nota curta que declara a amostra, as datas e os limites é mais difícil de escrever do que as execuções em si.