Umístění ve ChatGPT: pět experimentů, žádné vzorce

Začněme přiznáním. Nemůžeme vám říct, jak se umístit ve ChatGPT, protože OpenAI nezveřejnilo, jak vyhledávání vybírá zdroje, a odpovědi ChatGPT se mezi jednotlivými běhy liší.

Co můžete dělat, je pozorování. Vyhledávání v ChatGPT, spuštěné 31. října 2024, zobrazuje odkazované zdroje, takže každá odpověď zanechává stopu. Perplexity a Claude s vyhledáváním na webu dělají totéž, což umožňuje porovnat vyhledávače na stejných dotazech.

Každý běh je vzorek. Nikdy verdikt. Použijte stejné znění, relaci v anonymním režimu, pokud je to možné, a sloupec s datem. Bez této disciplíny jsou výsledky jen anekdotami, ať už nasbíráte kolik screenshotů chcete. Udržujte vzorek dostatečně malý na to, abyste ho stihli, a dostatečně velký na to, aby měl význam. Napište tento plán na jednu stránku.

Nespamujte asistenty dotazy, abyste nafoukli nějaký počet, a nezveřejňujte screenshoty jako důkaz trendu. Toto pravidlo není volitelné. Upravený sešit přesvědčí více lidí než složka obrázků.

Jak číst to, co se vrátí

O hodinu od sebe mohou stejné dotazy citovat různé stránky. Počítejte s šumem a s tím, že se text odpovědi změní, zatímco zdroje zůstanou stejné.

Jednotlivé výskyty mnoho neprokazují. Hodnoťte podle frekvence. Pokud se váš doména objeví v šesti z osmi týdenních běhů pro jednu otázku, je to vzorec, který stojí za poznámku. Pokud se objeví jednou, je to náhoda, která vás právě lichotí.

Google AI Overviews, vyhledávání v ChatGPT, Perplexity a Claude každý načítají svým vlastním způsobem, takže úspěch u jednoho málo vypovídá o druhém. Porovnávejte vyhledávače odděleně. Slovník vysvětluje, proč se liší zakotvení (grounding) mezi nimi.

Naplánujte si čas před začátkem. Experiment jeden zabere odpoledne. Ostatní jsou většinou čekání: opětovné indexování může trvat dny nebo týdny a nic v procesu nelze urychlit placením.

Proč se stejný dotaz posouvá

Než zaznamenáte změnu do logu, vyjmenujte věci, které se mezi běhy změnily. Většina driftu má nudnou příčinu, která spočívá v nastavení, nikoliv ve vyhledávači.

Znění a relace

Malé úpravy dotazu mohou změnit zdroje. Přidaná otázka, synonymum nebo další věta mohou přitáhnout jiné stránky. Relace s přihlášením může také nést historii, kterou čistý prohlížeč nemá.

Zapište přesný dotaz do logu, ne jeho parafrázi. Parafráze se zdají neškodné, dokud se nepokusíte porovnat dva měsíce běhů. Řekněte kolegovi sadu dotazů před začátkem, aby seznam nemohl být upraven podle výsledků.

Čas dne a změny produktu

Stejný dotaz může vrátit různé zdroje s odstupem několika hodin. Modely, systémy pro načítání a jejich vstupy se všechny mění a dodavatelé neoznamují každou změnu. Dátovaný log je jediný způsob, jak rozlišit drift od posunu. Běh, který vypadá divně, stojí za opakování téhož dne, protože jeden divný den mnoho neprokazuje.

Zaznamenejte změny produktu do logu, když o nich víte. Dátovaná časová osa vám pomůže spárovat vzorec s vydáním, i když datum vydání je jen vodítko.

Vyhledávač, země a účet

Každý vyhledávač má svou vlastní cestu načítání a stejně tak každá země nebo typ účtu. Porovnávejte podobné s podobným a zaznamenejte polohu, kterou běh použil. Udržujte poznámky o tom, které z těchto faktorů jste kontrolovali.

Výsledek z jedné oblasti není výsledkem pro každou oblast. Řekněte to v jakémkoli zápise vedle čísla, které kvalifikuje. Pokud je jeden vyhledávač testován na notebooku a druhý na telefonu, změnily se dvě věci, takže udržte zařízení fixní napříč sérií.

Co se počítá jako skutečná změna

Změna je skutečná pouze tehdy, když vyniká nad kolísáním, které byste viděli i jinak. Zní to zjevně, ale mnoho logů přeskočí základní linii a čte každý výkyv jako výsledek.

Hodnocení pohybu vůči šumu

Než cokoli označíte za změnu, změřte, jak moc se odpovědi pohybují samy od sebe. Základní linie, která se výrazně kolísá, udělá malý vylepšení neviditelným.

Porovnejte rozptyl vaší základní linie s velikostí pohybu, který doufáte, že uvidíte. Pokud je pohyb menší než kolísání, upřímným označením je „žádná detekovatelná změna“. Udržte poznámku o tom, jak vypadala základní linie v den, kdy jste začali, včetně všech divných výsledků, které jste si ponechali. Tyto poznámky zabrání tomu, aby se pozdější porovnání tiše posunulo.

Frekvence před jednotlivými screenshoty

Screenshot zachycuje jeden okamžik a vzorec potřebuje několik. Spočítejte běhy, ve kterých se váš doména objeví, a poté vydělte počtem běhů pro daný dotaz.

Nahlaste zlomek, ne screenshot, a uveďte, kolik běhů za ním stojí. Čtenáři si pak mohou vzorek posoudit sami.

Udržení rozpočtu poctivým

Experimenty selhávají na častěji než na penězích. Plán, který se vejde do vašeho týdne, je snazší udržet než ambiciózní plán, který uvízne po prvním běhu.

Kolik běhů je dost

Čtyři týdenní běhy jsou podlahou, nikoliv cílem. Osmdesát dává jasnější vzorec pro většinu otázek, i když správné číslo závisí na tom, jak moc se odpovědi pohybují.

Počítejte dotazy, ne hodiny. Dvacet dotazů spuštěných čtyřikrát dělá osmdesát řádků, což je už více než letmý pohled jednoho odpoledne vám dá.

Kam čas jde

Většina úsilí připadá na první odpoledne, kdy se staví sada dotazů a log. Poté je práce opakování a opakování je snadné přeskočit. Naplánujte další běh do kalendáře, než dokončíte tento. Hrubé pravidlo zde pomáhá: rozhodněte o počtu běhů před prvním a neprodlužujte sérii, protože rané výsledky vypadají dobře.

Počítejte s rozpočtem i na zápis. Krátká poznámka, která uvádí vzorek, data a limity, je těžší napsat než samotné běhy.