In ChatGPT ranken: Fünf Experimente, keine Formeln

Hier ist ein Geständnis zum Einstieg: Wir können Ihnen nicht sagen, wie Sie in ChatGPT ranken, da OpenAI nicht veröffentlicht hat, wie seine Suche Quellen auswählt, und die ChatGPT-Antworten zwischen den Durchläufen variieren.

Was Sie tun können, ist beobachten. Die ChatGPT-Suche, gestartet am 31. Oktober 2024, zeigt verlinkte Quellen, sodass jede Antwort eine Spur hinterlässt. Perplexity und Claude mit Websuche verhalten sich ähnlich, was den Vergleich der Engines bei identischen Prompts ermöglicht.

Jeder Durchlauf ist eine Stichprobe, nie ein Urteil. Verwenden Sie dieselbe Formulierung, eine abgemeldete Sitzung, wenn möglich, und eine Datums-Spalte. Ohne diese Disziplin sind die Ergebnisse Anekdoten, egal wie viele Screenshots Sie sammeln. Halten Sie die Stichprobe klein genug, um sie abzuschließen, und groß genug, um etwas zu bedeuten. Schreiben Sie diesen Plan auf eine Seite.

Spammen Sie nicht mit Prompts an einen Assistenten, um eine beliebige Zahl aufzublähen, und veröffentlichen Sie keine Screenshots als Beweis für einen Trend. Diese Regel ist nicht optional. Eine ordentliche Tabelle überzeugt mehr Menschen als ein Ordner mit Bildern.

Wie man das Ergebnis liest

Mit einer Stunde Abstand kann derselbe Prompt verschiedene Seiten zitieren. Erwarten Sie Rauschen und erwarten Sie, dass sich der Antworttext ändert, während die Quellen gleich bleiben.

Einzelne Auftritte beweisen wenig. Beurteilen Sie nach der Häufigkeit. Wenn Ihre Domain in sechs von acht wöchentlichen Durchläufen für eine Frage erscheint, ist dies ein Muster, das eine Notiz wert ist. Wenn es nur einmal erscheint, ist es ein Zufall, der Ihnen schmeichelt.

Google AI Overviews, ChatGPT-Suche, Perplexity und Claude rufen jede auf ihre eigene Weise ab, daher sagt ein Erfolg in einer wenig über die andere aus. Vergleichen Sie die Engines getrennt. Das Glossar erklärt, warum die Grounding-Verfahren sich unterscheiden.

Planen Sie Ihre Zeit vor dem Start. Experiment eins dauert einen Nachmittag. Die anderen bestehen hauptsächlich aus Wartezeit: Ein Re-Index kann Tage oder Wochen dauern, und nichts im Prozess kann durch Bezahlung beschleunigt werden.

Warum derselbe Prompt driftet

Bevor Sie eine Änderung in Ihr Protokoll aufnehmen, listen Sie die Dinge auf, die zwischen den Durchläufen verschoben wurden. Die meiste Drift hat eine langweilige Ursache, die im Setup liegt und nicht in der Suchmaschine.

Formulierung und Sitzung

Kleine Änderungen an einem Prompt können die Quellen verändern. Eine nachgestellte Frage, ein Synonym oder ein zusätzlicher Satzteil kann andere Seiten anziehen. Eine angemeldete Sitzung kann auch Verlaufsinhalte enthalten, die ein sauberer Browser nicht hat.

Schreiben Sie den exakten Prompt in das Protokoll, keine Paraphrase. Paraphrasen wirken harmlos, bis Sie versuchen, zwei Monate an Durchläufen zu vergleichen. Teilen Sie Ihrer Kollegin den Promptsatz mit, bevor Sie beginnen, damit die Liste nicht an die Ergebnisse angepasst werden kann.

Tageszeit und Produktänderungen

Derselbe Prompt kann wenige Stunden später unterschiedliche Quellen zurückgeben. Modelle, Abrufsysteme und ihre Eingaben ändern sich ständig, und Anbieter kündigen nicht jede Änderung an. Ein datiertes Protokoll ist die einzige Möglichkeit, Drift von einer Verschiebung zu unterscheiden. Ein seltsamer Durchlauf ist es wert, am selben Tag wiederholt zu werden, da eine einzelne seltsame Stunde wenig beweist.

Notieren Sie Produktänderungen im Protokoll, wenn Sie davon wissen. Eine datierte Zeitleiste hilft Ihnen, ein Muster mit einem Launch abzugleichen, obwohl ein Launch-Datum nur ein Hinweis ist.

Engine, Land und Konto

Jede Engine hat ihren eigenen Abrufpfad, und dies gilt auch für jedes Land oder jeden Kontotyp. Vergleichen Sie Gleiches mit Gleichem und notieren Sie den Standort, den der Durchlauf verwendet hat. Führen Sie Notizen darüber, welche dieser Faktoren Sie kontrolliert haben.

Ein Ergebnis aus einer Region ist kein Ergebnis für jede Region. Geben Sie dies in jeder Auswertung an, neben der Zahl, die es einschränkt. Wenn eine Engine auf einem Laptop und eine andere auf einem Telefon getestet wird, haben sich zwei Dinge verändert, also halten Sie das Gerät über die Serie hinweg fest. Halten Sie das Gerät in der Serie fest.

Was als echte Änderung zählt

Eine Änderung ist nur dann echt, wenn sie sich vom Rauschen abhebt, das Sie sowieso sehen würden. Das klingt offensichtlich, doch viele Protokolle überspringen die Basislinie und lesen jede Schwankung als Ergebnis.

Eine Bewegung gegen ihr Rauschen beurteilen

Bevor Sie etwas als Änderung bezeichnen, messen Sie, wie stark die Antworten von selbst schwanken. Eine Basislinie, die stark schwankt, macht eine kleine Verbesserung unsichtbar.

Vergleichen Sie die Streuung Ihrer Basislinie mit der Größe der Bewegung, die Sie sehen möchten. Wenn die Bewegung kleiner ist als das Rauschen, ist das ehrliche Label „keine feststellbare Änderung“. Notieren Sie, wie die Basislinie am Tag des Starts aussah, einschließlich aller seltsamen Ergebnisse, die Sie behalten haben. Diese Notizen verhindern, dass der spätere Vergleich sich leise verschiebt.

Häufigkeit vor einzelnen Screenshots

Ein Screenshot erfasst einen Moment, und ein Muster benötigt mehrere. Zählen Sie die Durchläufe, in denen Ihre Domain erscheint, und teilen Sie dies durch die Anzahl der Durchläufe für diesen Prompt.

Berichten Sie den Bruchteil, nicht den Screenshot, und geben Sie an, wie viele Durchläufe dahinterstanden. Leser können die Stichprobe dann selbst beurteilen.

Das Budget ehrlich halten

Experimente scheitern öfter an der Zeit als am Geld. Ein Plan, der in Ihre Woche passt, ist leichter einzuhalten als ein ehrgeiziger, der nach dem ersten Durchlauf stockt.

Wie viele Durchläufe sind genug

Vier wöchentliche Durchläufe sind eine Untergrenze, kein Ziel. Acht geben für die meisten Fragen ein klareres Muster, obwohl die richtige Anzahl davon abhängt, wie stark die Antworten schwanken.

Zählen Sie Prompts, keine Stunden. Zwanzig Prompts, viermal ausgeführt, ergeben achtzig Zeilen, was bereits mehr ist als ein flüchtiger Blick an einem Nachmittag.

Wofür die Zeit aufgewendet wird

Der Großteil der Arbeit fällt in den ersten Nachmittag, wenn der Promptsatz und das Protokoll erstellt werden. Danach besteht die Arbeit aus Wiederholung, und Wiederholung ist leicht zu überspringen. Legen Sie den nächsten Durchlauf in den Kalender, bevor Sie diesen beenden. Eine grobe Regel hilft hier: Entscheiden Sie die Anzahl der Durchläufe vor dem ersten, und verlängern Sie die Serie nicht, weil die frühen Ergebnisse gut aussehen.

Budgetieren Sie auch für die Auswertung. Eine kurze Notiz, die die Stichprobe, die Daten und die Grenzen angibt, ist schwieriger zu schreiben als die Durchläufe selbst.