Ranken in ChatGPT: vijf experimenten, geen formules

Hier is een eerlijkheid om mee te beginnen. We kunnen je niet vertellen hoe je kunt ranken in ChatGPT, omdat OpenAI niet heeft gepubliceerd hoe zijn zoekmachine bronnen selecteert en ChatGPT-antwoorden per run kunnen verschillen.

Wat je wel kunt doen, is observeren. ChatGPT Search, gelanceerd op 31 oktober 2024, toont gelinkte bronnen, dus elk antwoord laat een spoor achter. Perplexity en Claude met webzoekfunctie doen hetzelfde, wat je in staat stelt om engines te vergelijken op basis van identieke prompts.

Elke run is een steekproef. Geen oordeel. Gebruik dezelfde formulering, een logged-out sessie waar mogelijk, en een datumkolom. Zonder die discipline zijn de resultaten anekdotes, hoe veel screenshots je ook verzamelt. Houd de steekproef klein genoeg om af te ronden, en groot genoeg om iets te betekenen. Schrijf dit plan op één pagina.

Spam niet met prompts bij een assistent om een telling op te drijven, en publiceer geen screenshots als bewijs van een trend. Die regel is niet optioneel. Een nette spreadsheet overtuigt meer mensen dan een map met afbeeldingen.

Hoe de resultaten te interpreteren

Een uur uit elkaar kan dezelfde prompt verschillende pagina's citeren. Verwacht ruis, en verwacht dat de antwoordtekst verandert terwijl de bronnen hetzelfde blijven.

Enkele verschijningen bewijzen weinig. Beoordeel op frequentie. Als je domein in zes van acht wekelijkse runs verschijnt voor één vraag, is dat een patroon dat het noteren waard is. Als het één keer verschijnt, is het een toevalstreffer die je juist flatterend vindt.

Google AI Overviews, ChatGPT Search, Perplexity en Claude halen elk op hun eigen manier bronnen op, dus een winst in de ene zegt weinig over de andere. Vergelijk engines apart. De glossary legt uit waarom grounding verschilt tussen hen.

Plan je tijd voordat je begint. Experiment één kost een middag. De anderen bestaan grotendeels uit wachten: een re-indexering kan dagen of weken duren, en niets in het proces kan worden versneld door er geld voor te betalen.

Waarom dezelfde prompt verschuift

Voordat je een verandering in je logboek opneemt, noteer je wat er is veranderd tussen de runs. De meeste drift heeft een saaie oorzaak die in de setup zit, niet in de zoekmachine.

Formulering en sessie

Kleine bewerkingen aan een prompt kunnen de bronnen veranderen. Een volgende vraag, een synoniem of een extra clausule kan andere pagina's aantrekken. Een ingelogde sessie kan ook geschiedenis bevatten die een schone browser niet heeft.

Schrijf de exacte prompt in het logboek, geen parafrase. Parafrases lijken onschuldig totdat je probeert twee maanden aan runs te vergelijken. Geef je collega de promptset voordat je begint, zodat de lijst niet kan worden aangepast om bij de resultaten te passen.

Dag van de week en productwijzigingen

Dezelfde prompt kan verschillende bronnen teruggeven, een paar uur uit elkaar. Modellen, retrieval-systemen en hun inputs veranderen allemaal, en leveranciers kondigen niet elke verandering aan. Een gedateerde log is de enige manier om drift van een verschuiving te onderscheiden. Een run die er vreemd uitziet, is het waard om dezelfde dag nog eens te herhalen, omdat een enkele vreemde uur weinig bewijst.

Noteer productwijzigingen in de log als je erachter komt. Een gedateerde tijdlijn helpt je een patroon aan een lancering te koppelen, hoewel een lanceringdatum slechts een aanwijzing is.

Engine, land en account

Elke engine heeft zijn eigen retrieval-pad, en dat geldt ook voor elk land of accounttype. Vergelijk gelijksoortigs met gelijksoortigs, en registreer de locatie die de run gebruikte. Noteer welke van deze factoren je hebt gecontroleerd.

Een resultaat uit één regio is geen resultaat voor elke regio. Zeg dat in elke samenvatting, naast de figuur die het kwalificeert. Als de ene engine op een laptop wordt getest en de andere op een telefoon, zijn er twee dingen veranderd, dus houd het apparaat vast over de serie heen.

Wat telt als een echte verandering

Een verandering is alleen echt als deze opvalt uit de schommeling die je toch zou zien. Dat klinkt voor de hand liggend, maar veel logs slaan de baseline over en lezen elke schommeling als een resultaat.

Een beweging beoordelen tegen zijn ruis

Voordat je iets een verandering noemt, meet je hoeveel de antwoorden vanzelf bewegen. Een baseline die breed schommelt, maakt een kleine verbetering onzichtbaar.

Vergelijk de spreiding van je baseline met de grootte van de beweging die je hoopt te zien. Als de beweging kleiner is dan de schommeling, is het eerlijke label geen detecteerbare verandering. Noteer hoe de baseline eruitzag op de dag dat je begon, inclusief eventuele vreemde resultaten die je bewaarde. Die notities voorkomen dat de latere vergelijking stil verschuift.

Frequentie boven enkele screenshots

Een screenshot vangt één moment vast, en een patroon vereist er meerdere. Tel de runs waarin je domein verschijnt, en deel dit door het aantal runs voor die prompt.

Rapporteer de fractie, niet de screenshot, en geef aan hoeveel runs erachter zitten. Lezers kunnen dan zelf de steekproef beoordelen.

Het budget eerlijk houden

Experimenten falen vaker op tijd dan op geld. Een plan dat in je week past, is makkelijker vol te houden dan een ambitieus plan dat stopt na de eerste run.

Hoeveel runs is genoeg

Vier wekelijkse runs is een bodem, geen doel. Acht geeft een duidelijker patroon voor de meeste vragen, hoewel het juiste aantal afhangt van hoeveel de antwoorden bewegen.

Tel prompts, geen uren. Twintig prompts vier keer uitgevoerd maken tachtig rijen, wat al meer is dan een snelle blik van één middag je zou opleveren.

Waar de tijd naartoe gaat

Het grootste deel van de inspanning valt in de eerste middag, wanneer de promptset en het logboek worden gebouwd. Daarna is het werk herhaling, en herhaling is makkelijk over te slaan. Zet de volgende run in je agenda voordat je deze afsluit. Een ruwe regel helpt hier: bepaal het aantal runs voordat de eerste, en verleng de serie niet omdat vroege resultaten er goed uitzien.

Houd ook budget voor de samenvatting. Een korte notitie die de steekproef, de data en de limieten vermeldt, is moeilijker te schrijven dan de runs zelf.