Frågor om hur man rankar i ChatGPT kommer in dagligen, och säkra svar är billiga. Dessa experiment kostar några timmar och ger dig ditt eget data.
AlgoLink forskarlag ·
Här kommer en bekännelse att börja med. Vi kan inte berätta för dig hur du rankar i ChatGPT, eftersom OpenAI inte har publicerat hur dess sökning väljer källor, och ChatGPT-svar varierar mellan körningar.
Det du kan göra är att observera. ChatGPT-sökning, lanserad den 31 oktober 2024, visar länkade källor, så varje svar lämnar en spår. Perplexity och Claude med webbsökning gör samma sak, vilket gör att du kan jämföra motorer på identiska prompts.
Varje körning är en stickprov. Aldrig en dom. Använd samma formulering, en inloggad session där det är möjligt, och en datumkolumn. Utan den disciplinen är resultaten anekdoter, hur många skärmbilder du än samlar. Håll stickprovet litet nog att slutföra, och stort nog att betyda något. Skriv den planen på en sida.
Spamma inte prompts i en assistent för att blåsa upp något antal, och publicera inte skärmbilder som bevis för en trend. Den regeln är inte valfri. En prydlig kalkylblad övertygar fler människor än en mapp med bilder.
De fem experimenten
01
Experiment 1: baslinjeloggningen
Välj 20 frågor som dina kunder ställer. Kör varje i ChatGPT, Perplexity och Google, och registrera varje citerad domän. Detta är din kontroll för allt nedan.
02
Experiment 2: känslighet för formulering
Omformulera fem av frågorna tre gånger vardera. Räkna hur många citerade domäner som överlever. Låg överlappning berättar att skärmbilder från en enskild prompt betyder lite.
03
Experiment 3: ändra en sida
Skriv om en sida så att svaret öppnas på två meningar, lämna en liknande sida orörd, och kör om loggen efter en omindexering. Endast en ändring, eller så lär du dig ingenting.
04
Experiment 4: grannkontrollen
Lista de citerade domänerna för ett ämne och hämta deras hänvisande domäntal. Se om din webbplats liknar dem. Detaljerad genomgång visar anropen.
05
Experiment 5: omnämnandejakten
Sök efter platser som beskriver ditt varumärke utan att länka till det. Be om en länk eller en tydligare beskrivning, och se sedan hur synligheterna förändras över åtta veckor.
En loggningsformat som förblir jämförbart
Vanlig CSV räcker. Raderna nedan är uppfunna för illustration och bär inga verkliga resultat.
Datum registrerade, och motorernas produktnamn noterade
Minst fyra veckovisa körningar innan jämförelse
En sida i taget ändrad
En kontrollpage lämnad orörd
Länkdata hämtad efter en indexuppdatering, inte innan
Hur man läser vad som kommer tillbaka
En timme isär kan samma prompt citera olika sidor. Förvänta dig brus, och förvänta dig att svars texten ändras medan källorna förblir desamma.
Enstaka framträdanden bevisar lite. Döm efter frekvens. Om din domän visas i sex av åtta veckovisa körningar för en fråga, är det ett mönster värt att notera. Om det visas en gång är det en slump som smickrar dig.
Google AI Overviews, ChatGPT-sökning, Perplexity och Claude hämtar var och en på sitt eget sätt, så en vinst i en säger lite om en annan. Jämför motorer separat. Ordlistan förklarar varför grounding skiljer sig mellan dem.
Planera din tid innan du börjar. Experiment ett tar en eftermiddag. De andra är mest väntan: en omindexering kan ta dagar eller veckor, och inget i processen kan påskyndas genom att betala för det.
Varför samma prompt driver iväg
Innan du läser en ändring i din logg, lista de saker som har rört sig mellan körningar. De flesta driftar har en tråkig orsak som sitter i upplägget snarare än i sökmotorn.
Formulering och session
Små redigeringar av en prompt kan ändra källorna. En efterföljande fråga, en synonym eller en extra klausul kan dra in olika sidor. En inloggad session kan också bära historik som en ren webbläsare inte gör.
Skriv exakt prompt i loggen, inte en parafras. Parafraser känns ofarliga tills du försöker jämföra två månaders körningar. Berätta för en kollega promptsetet innan du börjar, så att listan inte kan redigeras för att passa resultaten.
Tid på dygnet och produktändringar
Samma prompt kan returnera olika källor några timmar isär. Modeller, hämtningssystem och deras indata ändras alla, och leverantörer tillkännager inte varje ändring. En daterad logg är det enda sättet att skilja drift från en förändring. En körning som ser konstig ut är värd att upprepa samma dag, eftersom en enskild konstig timme bevisar lite.
Notera produktändringar i loggen när du vet om dem. En daterad tidslinje hjälper dig att matcha ett mönster till en lansering, även om ett lanseringsdatum bara är en ledtråd.
Motor, land och konto
Varje motor har sin egen hämningsväg, och så kan varje land eller kontotyp. Jämför likvärdigt med likvärdigt, och registrera den plats körningen använde. Håll anteckningar om vilka av dessa du kontrollerade.
Ett resultat från en region är inte ett resultat för varje region. Säg det i vilken som helst skrivuppgift, bredvid siffran den kvalificerar. Om en motor testas på en laptop och en annan på en telefon, har två saker förändrats, så håll enheten fixerad över serien.
Vad räknas som en verklig förändring
En förändring är bara verklig när den sticker ut från den svängning du skulle se ändå. Det låter uppenbart, men många loggar hoppar över baslinjen och läser varje sväng som ett resultat.
Att döma en rörelse mot dess brus
Innan du kallar något en förändring, mäta hur mycket svaren rör sig på egen hand. En baslinje som svänger brett gör en liten förbättring osynlig.
Jämför spridningen av din baslinje med storleken på rörelsen du hoppas se. Om rörelsen är mindre än svängningen, är den ärliga etiketten ingen upptäckbar förändring. Håll en anteckning om hur baslinjen såg ut den dagen du började, inklusive alla konstiga resultat du höll. De anteckningarna stoppar den senare jämförelsen från att tyst flytta.
Frekvens över enskilda skärmbilder
En skärmbild fångar ett ögonblick, och ett mönster behöver flera. Räkna körningarna där din domän visas, och dela sedan med antalet körningar för den prompten.
Rapportera bråket, inte skärmbilden, och ange hur många körningar satt bakom det. Läsare kan då döma stickprovet själva.
Misstag folk gör när de testar
Testa med en prompt
En prompt är ett stickprov. Använd ett set av relaterade prompts så att en enskild konstig svar inte kan bestämma resultatet.
Ändra två saker samtidigt
Om du skriver om en sida och ändrar dess länkar samma vecka, kan du inte säga vilken förändring flyttade källorna.
Att läsa bara svars texten
Meningen kan genereras fräsch varje gång. De citerade länkarna är den stabila delen, så registrera dem.
Att sluta efter en bra vecka
Tidiga vinster bleknar eller upprepar sig inte. Planera minst fyra körningar innan du drar en linje under ett resultat.
Vad ett nullresultat betyder
Om inget rör sig, har du lärt dig något verkligt: att din förändring inte var spaken, eller att bruset är större än effekten. Skriv det ändå. Det kommer att rädda dig från att upprepa det.
Att hålla budgeten ärlig
Experiment misslyckas med tid oftare än med pengar. En plan som passar din vecka är lättare att hålla än en ambitiös en som stannar efter den första körningen.
Hur många körningar är tillräckligt
Fyra veckovisa körningar är en golv, inte en mål. Åtta ger ett tydligare mönster för de flesta frågor, även om det rätta antalet beror på hur mycket svaren rör sig.
Räkna prompts, inte timmar. Tjugo prompts körda fyra gånger gör åttio rader, vilket redan är mer än en skum av en eftermiddag skulle ge dig.
Var tiden går
Det mesta av ansträngningen faller på den första eftermiddagen, när promptsetet och loggen byggs. Efter det är arbetet repetition, och repetition är lätt att hoppa över. Lägg nästa körning i kalendern innan du slutför denna. En grov regel hjälper här: bestäm antalet körningar innan den första, och förläng inte serien eftersom tidiga resultat ser bra ut.
Budgetera också för skrivuppgiften. En kort anteckning som anger stickprovet, datumen och gränserna är svårare att skriva än körningarna själva.
Frågor om experimenten
Kan jag köpa mig in i ChatGPT-svar?
Inget vi vet om fungerar det sättet utifrån. Reklam och betald placering är inte samma sak som en citation vunnit i ett svar, och denna sida säljer varken. Det kloka draget är att köra loggen och se vilka källor som faktiskt visas.
Behöver jag en API-nyckel för att köra dessa experiment?
Nej. Baslinjen och loggen behöver bara en webbläsare och ett kalkylblad. Den detaljerade genomgången använder fria anrop för översikt och DR-lookups, och batch DR-kontroller kostar ett kredit per anrop.
Hur lång tid innan en webbplatsförändring visas?
Det ärliga svaret är att det varierar. Omindexering kan ta dagar eller veckor, och loggen kommer bara att visa effekten om du fortsätter att köra samma prompts under den perioden. Håll loggen igång efter att du tror att testet är över, eftersom sena effekter ofta är vad en andra blick hittar.
Ska jag publicera vad jag hittar?
Du kan. Publicera metoden, datumen och nullresultaten tillsammans med siffrorna, så att läsare kan döma stickprovet. Skriv metoden först, innan du ser resultaten. AI Overviews-källtabellen visar samma vana att märka varje påstående.
