Lewati ke konten
AlgoLink
AlgoLinkDaftar

Eksperimen

Dapatkan Peringkat di ChatGPT: lima eksperimen, tanpa rumus

Pertanyaan tentang cara mendapatkan peringkat di ChatGPT datang setiap hari, dan jawaban yang percaya diri seringkali murah. Eksperimen ini membutuhkan beberapa jam dan memberikan data Anda sendiri.

Lima jembatan kayu mini dengan desain berbeda berdiri di atas kartu putih, mewakili eksperimen yang bervariasi

Berikut adalah pengakuan untuk memulai. Kami tidak dapat memberi tahu Anda cara mendapatkan peringkat di ChatGPT, karena OpenAI belum memublikasikan bagaimana mesin pencarinya memilih sumber, dan jawaban ChatGPT bervariasi antar sesi.

Yang dapat Anda lakukan adalah mengamati. Pencarian ChatGPT, diluncurkan pada 31 Oktober 2024, menampilkan sumber yang ditautkan, sehingga setiap jawaban meninggalkan jejak. Perplexity dan Claude dengan pencarian web juga melakukan hal yang sama, yang memungkinkan Anda membandingkan mesin pencari dengan prompt yang sama.

Setiap sesi adalah satu sampel. Bukan sebuah putusan. Gunakan kata-kata yang sama, sesi tanpa login jika memungkinkan, dan kolom tanggal. Tanpa disiplin itu, hasilnya hanyalah anekdot, berapa banyak screenshot yang Anda kumpulkan. Jaga sampel agar cukup kecil untuk diselesaikan, dan cukup besar agar bermakna. Tulis rencana itu dalam satu halaman.

Jangan membanjiri asisten dengan prompt untuk membantah jumlah apa pun, dan jangan mempublikasikan screenshot sebagai bukti tren. Aturan ini tidak bersifat opsional. Spreadsheet yang rapi meyakinkan lebih banyak orang daripada folder berisi gambar.

Lima eksperimen

01

Eksperimen 1: log dasar

Pilih 20 pertanyaan yang diajukan oleh pelanggan Anda. Jalankan setiap pertanyaan di ChatGPT, Perplexity, dan Google, serta catat setiap domain yang dikutip. Ini adalah kontrol Anda untuk semua hal di bawah ini.

02

Eksperimen 2: sensitivitas kata-kata

Ulangi lima pertanyaan dengan tiga variasi kata-kata. Hitung berapa banyak domain yang dikutip yang bertahan. Tumpang tindih yang rendah menunjukkan bahwa screenshot dengan satu prompt berarti sedikit.

03

Eksperimen 3: ubah satu halaman

Tulis ulang satu halaman sehingga jawabannya muncul dalam dua kalimat, biarkan halaman serupa tetap tidak berubah, dan jalankan kembali log setelah pengindeksan ulang. Hanya satu perubahan, atau Anda tidak akan belajar apa pun.

04

Eksperimen 4: pemeriksaan lingkungan

Daftarkan domain yang dikutip untuk satu topik dan tarik jumlah domain pengacu mereka. Lihat apakah situs Anda menyerupai mereka. Tarikan yang telah dikerjakan menunjukkan panggilan tersebut.

05

Eksperimen 5: pencarian sebutan

Cari tempat yang menggambarkan merek Anda tanpa menautkan ke situs Anda. Minta tautan atau deskripsi yang lebih jelas, lalu lihat apakah kemunculan berubah selama delapan minggu.

Format log yang tetap dapat dibandingkan

CSV polos sudah cukup. Baris di bawah ini dibuat untuk ilustrasi dan tidak memuat hasil nyata.

csv
date,engine,prompt_id,cited_domain,position,ours
2026-10-05,chatgpt_search,q07,example-a.com,1,no
2026-10-05,chatgpt_search,q07,example-b.org,2,no
2026-10-05,perplexity,q07,example-a.com,1,no
2026-10-12,chatgpt_search,q07,example-b.org,1,no

Sebelum mempercayai hasil

  • Prompt yang sama, kata demi kata, di setiap sesi
  • Tanggal dicatat, dan nama produk mesin pencari dicatat
  • Setidaknya empat sesi mingguan sebelum membandingkan
  • Satu halaman diubah pada satu waktu
  • Halaman kontrol dibiarkan tanpa perubahan
  • Data tautan diambil setelah refresh indeks, bukan sebelum
Penanda batu yang ditempatkan pada interval berbeda di model jalan taman berliku menunjukkan frekuensi versus kejadian tunggal

Cara membaca hasil yang muncul

Selisih satu jam, prompt yang sama dapat mengutip halaman yang berbeda. Harapkan noise, dan harapkan teks jawaban berubah sementara sumber tetap sama.

Kemunculan tunggal membuktikan sedikit. Putuskan berdasarkan frekuensi. Jika domain Anda muncul di enam dari delapan sesi mingguan untuk satu pertanyaan, itu adalah pola yang layak dicatat. Jika muncul sekali, itu adalah kebetulan yang hanya memihak Anda.

Google AI Overviews, pencarian ChatGPT, Perplexity, dan Claude masing-masing mengambil data dengan cara mereka sendiri, sehingga kemenangan di satu mesin sedikit berarti untuk mesin lainnya. Bandingkan mesin secara terpisah. Glosarium menjelaskan mengapa grounding berbeda di antara mereka.

Rencanakan waktu Anda sebelum memulai. Eksperimen satu membutuhkan waktu satu sore. Yang lainnya sebagian besar adalah menunggu: pengindeksan ulang dapat memakan waktu beberapa hari atau minggu, dan tidak ada dalam proses ini yang dapat dipercepat dengan membayar.

Mengapa prompt yang sama bergeser

Sebelum Anda mencatat perubahan dalam log Anda, daftarkan hal-hal yang berubah antar sesi. Sebagian besar pergeseran memiliki penyebab membosankan yang terletak pada pengaturan, bukan pada mesin pencari.

Penggunaan kata-kata dan sesi

Edit kecil pada prompt dapat mengubah sumber. Pertanyaan tambahan, sinonim, atau klausa tambahan dapat menarik halaman yang berbeda. Sesi yang masuk ke dalam akun juga dapat membawa riwayat yang tidak dimiliki browser bersih.

Tulis prompt persis seperti adanya ke dalam log, bukan parafrase. Parafrase terasa tidak berbahaya sampai Anda mencoba membandingkan dua bulan sesi. Beritahu rekan kerja tentang kumpulan prompt sebelum memulai, sehingga daftar tersebut tidak dapat diedit untuk menyesuaikan hasil.

Waktu dalam sehari dan perubahan produk

Prompt yang sama dapat mengembalikan sumber yang berbeda beberapa jam kemudian. Model, sistem pengambilan data, dan inputnya semuanya berubah, dan vendor tidak mengumumkan setiap perubahan. Log yang bertanggal adalah satu-satunya cara untuk membedakan pergeseran dari perubahan. Sesi yang terlihat aneh layak diulang pada hari yang sama, karena satu jam aneh membuktikan sedikit.

Catat perubahan produk dalam log ketika Anda mengetahuinya. Garis waktu bertanggal membantu Anda mencocokkan pola dengan peluncuran, meskipun tanggal peluncuran hanyalah petunjuk awal.

Mesin pencari, negara, dan akun

Setiap mesin memiliki jalur pengambilan data sendiri, dan begitu pula setiap negara atau jenis akun. Bandingkan yang sejenis dengan yang sejenis, dan catat lokasi yang digunakan untuk sesi tersebut. Catat mana dari hal-hal ini yang Anda kendalikan.

Hasil dari satu wilayah bukan hasil untuk setiap wilayah. Sebutkan hal ini dalam penulisan ulang, di samping angka yang menjadi kualifikasinya. Jika satu mesin diuji di laptop dan mesin lainnya di ponsel, dua hal telah berubah, jadi tetapkan perangkat di seluruh seri.

Apa yang dianggap sebagai perubahan nyata

Sebuah perubahan hanya nyata ketika menonjol dari goyangan yang akan Anda lihat secara alami. Ini terdengar jelas, namun banyak log melewatkan baseline dan membaca setiap ayunan sebagai hasil.

Menilai pergerakan terhadap noise

Sebelum menyebut apa pun sebagai perubahan, ukur seberapa jauh jawaban bergerak secara mandiri. Baseline yang bergoyang luas membuat peningkatan kecil menjadi tidak terlihat.

Bandingkan sebaran baseline Anda dengan ukuran pergerakan yang berharap Anda lihat. Jika pergerakan lebih kecil dari goyangan, label yang jujur adalah tidak ada perubahan yang terdeteksi. Simpan catatan tentang bagaimana tampilan baseline pada hari Anda memulai, termasuk hasil aneh apa pun yang Anda simpan. Catatan tersebut mencegah perbandingan nanti bergeser secara diam-diam.

Frekuensi di atas screenshot tunggal

Screenshot menangkap satu momen, dan pola membutuhkan beberapa. Hitung sesi di mana domain Anda muncul, lalu bagi dengan jumlah sesi untuk prompt tersebut.

Laporkan fraksinya, bukan screenshotnya, dan nyatakan berapa banyak sesi yang mendasarinya. Pembaca kemudian dapat menilai sampelnya sendiri.

Kesalahan yang sering dilakukan orang saat menguji

  • Menguji dengan satu prompt

    Satu prompt adalah satu sampel. Gunakan kumpulan prompt terkait sehingga satu jawaban aneh tidak dapat menentukan hasilnya.

  • Mengubah dua hal sekaligus

    Jika Anda menulis ulang halaman dan mengubah tautannya dalam minggu yang sama, Anda tidak dapat mengatakan perubahan mana yang menggerakkan sumber.

  • Membaca hanya teks jawaban

    Kalimat tersebut mungkin dibuat baru setiap kali. Tautan yang dikutip adalah bagian yang stabil, jadi catatlah itu.

  • Berhenti setelah satu minggu yang baik

    Kemenangan awal memudar atau gagal diulang. Rencanakan setidaknya empat sesi sebelum Anda menarik garis bawah pada hasil.

Apa arti hasil nol

Jika tidak ada yang berubah, Anda telah mempelajari sesuatu yang nyata: bahwa perubahan Anda bukan tuasnya, atau bahwa noise lebih besar dari efeknya. Tetap tuliskan. Itu akan menyelamatkan Anda dari mengulanginya.

Penggaris kayu dan balok tumpuk di model meja kerja mewakili menjaga anggaran agar jujur

Menjaga anggaran agar jujur

Eksperimen gagal karena waktu lebih sering daripada karena uang. Rencana yang sesuai dengan minggu Anda lebih mudah dipertahankan daripada rencana ambisius yang macet setelah sesi pertama.

Berapa banyak sesi yang cukup

Empat sesi mingguan adalah batas bawah, bukan target. Delapan memberikan pola yang lebih jelas untuk sebagian besar pertanyaan, meskipun jumlah yang tepat bergantung pada seberapa jauh jawaban bergerak.

Hitung prompt, bukan jam. Dua puluh prompt yang dijalankan empat kali menghasilkan delapan puluh baris, yang sudah lebih banyak daripada sekilas satu sore akan berikan.

Ke mana waktu dihabiskan

Sebagian besar usaha jatuh pada sore pertama, ketika kumpulan prompt dan log dibangun. Setelah itu, pekerjaan adalah pengulangan, dan pengulangan mudah untuk dilewati. Jadwalkan sesi berikutnya di kalender sebelum Anda menyelesaikan sesi ini. Aturan kasar membantu di sini: tentukan jumlah sesi sebelum sesi pertama, dan jangan perpanjang seri karena hasil awal terlihat bagus.

Anggaran untuk penulisan ulang juga. Catatan singkat yang menyatakan sampel, tanggal, dan batasnya lebih sulit ditulis daripada sesi itu sendiri.

Pertanyaan tentang eksperimen

Bisakah saya membeli diri saya ke dalam jawaban ChatGPT?

Tidak ada yang kami ketahui bekerja dengan cara itu dari luar. Iklan dan penempatan berbayar bukan sama dengan kutipan yang diperoleh dalam jawaban, dan halaman ini tidak menjual keduanya. Langkah yang masuk akal adalah menjalankan log dan melihat sumber mana yang benar-benar muncul.

Apakah saya memerlukan kunci API untuk menjalankan eksperimen ini?

Tidak. Baseline dan log hanya membutuhkan browser dan spreadsheet. Tarikan yang telah dikerjakan menggunakan panggilan gratis untuk ringkasan dan pencarian DR, dan pemeriksaan DR batch biaya satu kredit per panggilan.

Berapa lama sebelum perubahan situs muncul?

Jawaban yang jujur adalah bahwa itu bervariasi. Pengindeksan ulang dapat memakan waktu beberapa hari atau minggu, dan log hanya akan menunjukkan efek jika Anda terus menjalankan prompt yang sama selama periode tersebut. Terus jalankan log setelah Anda berpikir pengujian telah berakhir, karena efek terlambat sering kali adalah apa yang ditemukan dalam pandangan kedua.

Haruskah saya memublikasikan apa yang saya temukan?

Anda bisa. Publikasikan metode, tanggal, dan hasil nol bersama dengan angka, sehingga pembaca dapat menilai sampelnya. Tulis metode terlebih dahulu, sebelum Anda melihat hasilnya. Tabel sumber AI Overviews menunjukkan kebiasaan yang sama dalam memberi label setiap klaim.