ChatGPT में रैंक करें: पांच प्रयोग, कोई सूत्र नहीं

शुरुआत में एक बात कबूल कर लें। हम आपको नहीं बता सकते कि ChatGPT में कैसे रैंक करें, क्योंकि OpenAI ने यह नहीं बताया है कि उसकी खोज स्रोतों को कैसे चुनती है, और ChatGPT के जवाब हर बार अलग-अलग आते हैं।

आप जो कर सकते हैं, वह है अवलोकन। 31 अक्टूबर 2024 को शुरू की गई ChatGPT खोज लिंक वाले स्रोत दिखाती है, इसलिए हर जवाब एक निशान छोड़ता है। Perplexity और वेब खोज के साथ Claude भी ऐसा ही करते हैं, जिससे आप समान प्रॉम्प्ट के साथ अलग-अलग इंजनों की तुलना कर सकते हैं।

हर रन एक नमूना है। कोई फैसला नहीं। समान शब्दों का उपयोग करें, जहाँ तक हो सके लॉग-आउट सेशन का, और एक तारीख कॉलम रखें। उस अनुशासन के बिना, चाहे आप कितने भी स्क्रीनशॉट इकट्ठा कर लें, नतीजे केवल किस्से रहेंगे। नमूने को इतना छोटा रखें कि आप उसे पूरा कर सकें, और इतना बड़ा कि उसका कोई मतलब हो। उस योजना को एक पन्ने पर लिखें।

किसी भी काउंट को बढ़ाने के लिए असिस्टेंट पर प्रॉम्प्ट स्पैम न करें, और रुझान का सबूत बनाने के लिए स्क्रीनशॉट प्रकाशित न करें। यह नियम अनिवार्य है। एक साफ-सुथरा स्प्रेडशीट लोगों को छवियों के एक फोल्डर से ज्यादा आकर्षित करता है।

वापस आने वाले डेटा को कैसे पढ़ें

एक घंटे के अंतर पर, समान प्रॉम्प्ट अलग-अलग पन्नों का उल्लेख कर सकता है। शोर की उम्मीद करें, और उम्मीद करें कि जवाब का टेक्स्ट बदल जाएगा जबकि स्रोत वैसे के वैसे रहेंगे।

एकल प्रकट होने से कम साबित होता है। आवृत्ति के आधार पर निर्णय लें। यदि आपका डोमेन एक सवाल के लिए आठ साप्ताहिक रनों में छह बार दिखाई देता है, तो यह एक पैटर्न है जिस पर नोट करने की जरूरत है। यदि यह एक बार दिखाई देता है, तो यह एक संयोग है जो आपको खुश करता है।

Google AI Overviews, ChatGPT खोज, Perplexity और Claude हर एक अपने तरीके से रीट्रीव करते हैं, इसलिए एक में मिली जीत दूसरे के बारे में कुछ नहीं बताती। इंजनों की अलग-अलग तुलना करें। शब्दावली समझाती है कि ग्राउंडिंग उनके बीच अलग क्यों है।

शुरुआत करने से पहले अपना समय योजनाबद्ध करें। प्रयोग एक को दोपहर लेता है। बाकी ज्यादातर इंतजार हैं: री-इंडेक्स में दिन या सप्ताह लग सकते हैं, और प्रक्रिया में किसी भी चीज़ को पैसा देकर तेज़ नहीं किया जा सकता।

समान प्रॉम्प्ट क्यों बदलता है

अपने लॉग में कोई बदलाव पढ़ने से पहले, उन चीज़ों की सूची बनाएं जो रनों के बीच बदली हैं। ज्यादातर ड्रिफ्ट का कारण सेटअप में होता है, खोज इंजन में नहीं।

शब्दावली और सेशन

प्रॉम्प्ट में छोटे संपादन स्रोतों को बदल सकते हैं। एक ट्रेलिंग सवाल, एक पर्यायवाची शब्द या एक अतिरिक्त क्लॉज अलग-अलग पन्नों को खींच सकता है। एक लॉग-इन सेशन में भी ऐसी इतिहास हो सकता है जो एक साफ ब्राउज़र में नहीं होता।

लॉग में सटीक प्रॉम्प्ट लिखें, परफ़्रेज़ नहीं। परफ़्रेज़ तब तक हानिरहित लगते हैं जब तक आप दो महीने के रनों की तुलना नहीं करते। शुरुआत से पहले एक सहकर्मी को प्रॉम्प्ट सेट बता दें, ताकि सूची को नतीजों के अनुसार संपादित न किया जा सके।

दिन का समय और उत्पाद बदलाव

समान प्रॉम्प्ट कुछ घंटों के अंतर पर अलग-अलग स्रोत दे सकता है। मॉडल, रीट्रीवल सिस्टम और उनके इनपुट सभी बदलते हैं, और वेंडर हर बदलाव की घोषणा नहीं करते। एक तारीख वाला लॉग ड्रिफ्ट और शिफ्ट में अंतर दिखाने का एकमात्र तरीका है। एक अजीब दिखने वाला रन उसी दिन दोहराने योग्य है, क्योंकि एक अजीब घंटा कम साबित करता है।

जब आपको पता चले तो लॉग में उत्पाद बदलाव नोट करें। एक तारीख वाली टाइमलाइन आपको एक पैटर्न को लॉन्च से मिलाने में मदद करती है, हालाँकि लॉन्च की तारीख केवल एक संकेत है।

इंजन, देश और खाता

हर इंजन का अपना रीट्रीवल पाथ होता है, और हर देश या खाता प्रकार भी। समान की तुलना समान से करें, और रन के लिए उपयोग की गई स्थिति को रिकॉर्ड करें। नोट रखें कि आपने इनमें से किन्हें नियंत्रित किया।

एक क्षेत्र से आया नतीजा हर क्षेत्र के लिए नतीजा नहीं है। किसी भी लेखन में, उस आंकड़े के बगल में इसे बताएं। यदि एक इंजन लैपटॉप पर और दूसरा फोन पर टेस्ट किया जाता है, तो दो चीज़ें बदली गई हैं, इसलिए श्रृंखला भर में डिवाइस को स्थिर रखें।

एक असली बदलाव क्या माना जाता है

बदलाव तभी असली होता है जब वह उस हिलने-डुलने से अलग खड़ा हो जो आप anyway देखते। यह स्पष्ट लगता है, फिर भी कई लॉग बेसलाइन छोड़ देते हैं और हर उतार-चढ़ाव को नतीजा मान लेते हैं।

शोर के मुकाबले एक बदलाव का आकलन

कुछ भी बदलाव कहने से पहले, मापें कि जवाब अपने आप कितने हिलते हैं। एक बेसलाइन जो काफी हिलता-डुलता है, एक छोटे सुधार को अदृश्य बना देता है।

अपने बेसलाइन के फैलाव की तुलना उस आकार के बदलाव से करें जिसे आप देखना चाहते हैं। यदि बदलाव हिलने से छोटा है, तो ईमानदार लेबल है 'कोई डिटेक्टेबल बदलाव नहीं'। उस दिन की बेसलाइन कैसी दिखती थी, उसका नोट रखें, साथ ही उन अजीब नतीजों का भी जिन्हें आपने रखा था। ये नोट बाद की तुलना को धीरे-धीरे बदलने से रोकते हैं।

एकल स्क्रीनशॉट के बजाय आवृत्ति

एक स्क्रीनशॉट एक पल को कैप्चर करता है, और एक पैटर्न को कई बार की जरूरत होती है। गिनें कि कितने रनों में आपका डोमेन दिखाई देता है, फिर उस प्रॉम्प्ट के लिए कुल रनों से भाग दें।

स्क्रीनशॉट के बजाय अंश (fraction) रिपोर्ट करें, और बताएं कि उसके पीछे कितने रन थे। पाठक तब नमूने का आकलन खुद कर सकते हैं।

बजट को ईमानदार रखना

प्रयोग पैसें से ज्यादा समय पर फेल होते हैं। एक योजना जो आपकी सप्ताह में फिट बैठती है, उसे रखना आसान है, जबकि एक महत्वाकांक्षी योजना पहले रन के बाद रुक जाती है।

कितने रन काफी हैं

चार साप्ताहिक रन एक फ्लोर हैं, टारगेट नहीं। आठ ज्यादा स्पष्ट पैटर्न देते हैं, हालाँकि सही नंबर इस बात पर निर्भर करता है कि जवाब कितने बदलते हैं।

घंटों को नहीं, प्रॉम्प्ट्स को गिनें। बीस प्रॉम्प्ट्स चार बार चलाने से अस्सी पंक्तियाँ बनती हैं, जो कि एक दोपहर की झलक से कहीं ज्यादा हैं।

समय कहाँ जाता है

ज्यादातर प्रयास पहले दोपहर में आता है, जब प्रॉम्प्ट सेट और लॉग बनाए जाते हैं। उसके बाद काम दोहराव है, और दोहराव छोड़ना आसान है। इस रन को खत्म करने से पहले अगला रन कैलेंडर में डालें। एक अनुमानित नियम यहाँ मदद करता है: पहले रन से पहले ही रनों की संख्या तय करें, और शुरुआती नतीजे अच्छे लगने पर श्रृंखला को न बढ़ाएं।

लेखन के लिए भी बजट बनाएं। एक छोटा नोट जो नमूना, तारीखें और सीमाएँ बताता है, रनों से कठिन लिखा जाता है।