ChatGPT에서 어떻게 상위 노출되는지에 대한 질문이 매일 들어오지만, 자신감 있는 답변은 쉽게 구할 수 있습니다. 이 실험들은 몇 시간의 비용으로 당신만의 데이터를 남깁니다.
AlgoLink 연구팀 ·
시작하며 솔직히 말하자면, ChatGPT에서 상위 노출되는 방법을 정확히 알려드릴 수 없습니다. OpenAI가 검색 소스를 어떻게 선정하는지 공개하지 않았고, ChatGPT의 답변은 실행할 때마다 달라지기 때문입니다.
당신이 할 수 있는 것은 관찰입니다. 2024년 10월 31일 출시된 ChatGPT 검색은 링크된 소스를 보여주므로, 각 답변에는 흔적이 남습니다. 웹 검색 기능이 있는 Perplexity와 Claude도 같은 방식을 사용하므로, 동일한 프롬프트로 엔진 간 비교가 가능합니다.
각 실행은 하나의 샘플일 뿐입니다. 결론이 아닙니다. 동일한 문구를 사용하고, 가능하면 로그아웃된 세션에서 수행하며 날짜 열을 기록하세요. 이러한 규칙을 지키지 않으면 스크린샷을 얼마나 많이 모으든 결과는 일화에 불과합니다. 완료할 수 있을 정도로 샘플을 작게, 의미 있을 정도로 크게 유지하세요. 계획을 한 페이지에 정리하세요.
어시스턴트에게 프롬프트를 남발하여 수치를 부풀리지 마세요. 또한 스크린샷을 추세의 증거로 게시하지 마세요. 이 규칙은 선택사항이 아닙니다. 깔끔한 스프레드시트는 이미지 폴더보다 더 많은 사람을 설득합니다.
5가지 실험
01
실험 1: 베이스라인 로그
고객이 묻는 질문 20개를 선택하세요. ChatGPT, Perplexity, Google에서 각각 실행하고 인용된 도메인을 모두 기록하세요. 이는 이후 모든 실험의 통제가 됩니다.
02
실험 2: 문구 민감도
질문 5개를 각각 세 가지 방식으로 재구성하세요. 인용된 도메인이 얼마나 유지되는지 세어보세요. 중복도가 낮다면 단일 프롬프트 스크린샷은 큰 의미가 없다는 것을 알 수 있습니다.
03
실험 3: 페이지 변경
답변이 두 문장으로 시작되도록 페이지 하나를 수정하고, 유사한 페이지는 그대로 둔 채 재색인 후 로그를 다시 실행하세요. 한 번에 하나의 변경만 하세요. 그렇지 않으면 아무것도 배울 수 없습니다.
04
실험 4: 이웃 확인
한 주제에 대한 인용 도메인 목록을 작성하고 해당 도메인의 참조 도메인 수를 확인하세요. 내 사이트가 그들과 유사한지 확인하세요. 작업 예시에서 호출 방법을 확인할 수 있습니다.
05
실험 5: 언급 탐색
브랜드를 설명하지만 링크하지 않는 곳을 검색하세요. 링크나 더 명확한 설명을 요청한 후, 8주 동안 언급 횟수가 어떻게 변하는지 확인하세요.
비교 가능한 로그 형식
일반 CSV면 충분합니다. 아래 행은 illustrative purposes를 위해 작성된 것이며 실제 결과를 담고 있지 않습니다.
1시간의 차이만으로도 동일한 프롬프트가 다른 페이지를 인용할 수 있습니다. 노이즈가 발생할 수 있으며, 소스는 그대로 유지된 채 답변 텍스트가 변경될 수 있음을 예상하세요.
단일 발생은 큰 의미가 없습니다. 빈도로 판단하세요. 한 질문에 대해 8회 중 6회에서 내 도메인이 표시된다면 이는 주목할 만한 패턴입니다. 한 번만 표시된다면 당신을 칭찬하는 우연의 일치일 뿐입니다.
Google AI Overviews, ChatGPT 검색, Perplexity, Claude는 각각 고유한 방식으로 검색하므로, 한 엔진에서의 승리가 다른 엔진에도 적용된다고 볼 수 없습니다. 엔진을 별도로 비교하세요. 용어집에서 그라운드링의 차이가 발생하는 이유를 설명합니다.
시작하기 전에 시간을 계획하세요. 실험 1에는 오후 한 시간이 소요됩니다. 나머지 실험은 대부분 대기 시간입니다. 재색인에는 며칠에서 몇 주가 걸릴 수 있으며, 프로세스의 어떤 부분도 비용을 지불해서 빠르게 할 수 없습니다.
동일한 프롬프트가 흔들리는 이유
변화를 로그에 기록하기 전에, 실행 간에 변경된 사항을 나열하세요. 대부분의 드리프트는 검색 엔진이 아닌 설정에 있는 지루한 원인으로 인해 발생합니다.
문구와 세션
프롬프트의 작은 수정도 소스를 변경할 수 있습니다. 뒤따르는 질문, 동의어 또는 추가 절이 다른 페이지를 끌어올 수 있습니다. 로그인된 세션은 깨끗한 브라우저가 가지지 않은 기록을 포함할 수도 있습니다.
의미 변경 없이 프롬프트를 로그에 정확히 기록하세요. 의역은 두 달 치 실행을 비교하려 할 때 문제가 됩니다. 시작하기 전에 동료에게 프롬프트 세트를 알려주세요. 그래야 결과가 좋게 나오도록 목록을 수정할 수 없습니다.
시간대와 제품 변경
동일한 프롬프트라도 몇 시간 차이로 다른 소스를 반환할 수 있습니다. 모델, 검색 시스템 및 입력값이 모두 변경되며, 벤더는 모든 변경 사항을 발표하지 않습니다. 드리프트와 변화를 구분하는 유일한 방법은 날짜가 기록된 로그입니다. 이상해 보이는 실행은 그날 다시 반복해 볼 가치가 있습니다. 이상한 시간의 단일 실행은 큰 의미가 없기 때문입니다.
알고 있는 제품 변경 사항을 로그에 기록하세요. 날짜별 타임라인을 사용하면 패턴을 출시 시기와 일치시킬 수 있지만, 출시 날짜는 단지 단서일 뿐입니다.
엔진, 국가 및 계정
각 엔진은 고유한 검색 경로를 가지며, 국가나 계정 유형에 따라 다를 수 있습니다. 유사한 조건끼리 비교하고 실행에 사용된 위치를 기록하세요. 이러한 변수 중 어떤 것을 통제했는지 메모하세요.
한 지역의 결과는 모든 지역의 결과가 아닙니다. 수치 옆에 이를 명시하세요. 한 엔진은 노트북으로, 다른 엔진은 스마트폰으로 테스트했다면 두 가지 변수가 변경된 것이므로 시리즈 전체에서 장치를 고정하세요.
진짜 변화의 기준
변화는 일반적으로 발생할 수 있는 변동보다 뚜렷하게 나타날 때만 진짜 변화입니다. 이는 당연해 보이지만, 많은 로그가 베이스라인을 생략하고 모든 변동을 결과로 해석합니다.
노이즈 대비 변화 판단
무언가를 변화라고 부르기 전에, 답변이 자체적으로 얼마나 움직이는지 측정하세요. 변동이 큰 베이스라인은 작은 개선을 보이지 않게 만듭니다.
베이스라인의 분포와 기대하는 변화의 크기를 비교하세요. 변화가 변동보다 작다면, 정직한 라벨은 '검출 가능한 변화 없음'입니다. 시작当天的 베이스라인 상태(유명한 결과 포함)를 메모하세요. 이러한 메모는 나중에 비교가 조용히 이동하는 것을 방지합니다.
단일 스크린샷보다 빈도
스크린샷은 한 순간을 포착하지만, 패턴은 여러 번의 실행이 필요합니다. 내 도메인이 표시된 실행 횟수를 세고, 해당 프롬프트의 총 실행 횟수로 나누세요.
스크린샷이 아닌 비율을 보고하고, 그 뒤에 있는 실행 횟수를 명시하세요. 그러면 독자가 샘플을 스스로 판단할 수 있습니다.
테스트 시 사람들이 자주 하는 실수
하나의 프롬프트로 테스트
하나의 프롬프트는 하나의 샘플입니다. 하나의 이상한 답변이 결과를 결정하지 않도록 관련 프롬프트 세트를 사용하세요.
두 가지 사항을 동시에 변경
페이지를 수정하고 같은 주에 링크를 변경하면, 어떤 변경이 소스를 이동시켰는지 알 수 없습니다.
답변 텍스트만 읽기
문장은 매번 새로 생성될 수 있습니다. 인용된 링크가 안정적인 부분이므로, 이를 기록하세요.
좋은 주가 오면 중단하기
초기 승상은 사라지거나 반복되지 않습니다. 결론을 내리기 전에 최소 4회의 실행을 계획하세요.
Null 결과의 의미
아무것도 변하지 않으면, 당신은 이미 중요한 것을 배웠습니다. 즉, 당신의 변경이 원인이 아니었거나, 노이즈가 효과보다 크다는 것입니다. 어쨌든 기록하세요. 이를 반복하지 않도록 도와줄 것입니다.
예산의 정직함 유지
실험은 돈보다 시간 때문에 실패하는 경우가 더 많습니다. 일정에 맞는 계획이 첫 실행 후 중단되는 야심 찬 계획보다 유지하기 쉽습니다.
얼마나 많은 실행이 충분한가
주간 4회 실행은 목표가 아니라 최소치입니다. 8회는 대부분의 질문에 더 명확한 패턴을 제공하지만, 적절한 숫자는 답변이 얼마나 변동하는지에 따라 다릅니다.
시간이 아닌 프롬프트를 세세요. 20개의 프롬프트를 4회 실행하면 80개의 행이 생성되며, 이는 오후 한 시간의 스캔보다 훨씬 많은 데이터입니다.
시간이 어디로 가는가
노력의 대부분은 프롬프트 세트와 로그가 구축되는 첫 오후에 집중됩니다. 그 후의 작업은 반복이며, 반복은 건너뛰기 쉽습니다. 이번 작업을 마치기 전에 다음 실행을 캘린더에 넣으세요. 여기 도움이 되는 대략적인 규칙이 있습니다: 첫 실행 전에 실행 횟수를 결정하고, 초기 결과가 좋아 보인다고 해서 시리즈를 연장하지 마세요.
작성에도 예산을 책정하세요. 샘플, 날짜 및 한계를 명시한 짧은 메모는 실행 자체보다 작성하기 더 어렵습니다.
실험에 대한 질문
ChatGPT 답변에 유료로 진입할 수 있나요?
외부에서 그런 방식으로 작동하는 것은 알려진 바가 없습니다. 광고와 유료 게재는 답변에서 얻은 인용과 다르며, 이 페이지는 둘 다 판매하지 않습니다. 현명한 방법은 로그를 실행하고 실제로 어떤 소스가 나타나는지 확인하는 것입니다.
이 실험을 수행하기 위해 API 키가 필요한가요?
아니요. 베이스라인과 로그에는 브라우저와 스프레드시트만 필요합니다. 작업 예시는 개요 및 DR 조회를 위해 무료 호출을 사용하며, 배치 DR 확인은 호출당 1크레딧이 필요합니다.
사이트 변경 사항이 언제 나타나는가요?
솔직한 답변은 다양하다는 것입니다. 재색인에는 며칠에서 몇 주가 걸릴 수 있으며, 로그는 해당 기간 동안 동일한 프롬프트를 계속 실행할 때만 효과를 보여줍니다. 테스트가 끝났다고 생각한 후에도 로그를 계속 실행하세요. 늦은 효과는 종종 두 번째 눈으로 발견되는 것이기 때문입니다.
발견한 내용을 게시해야 하나요?
게시할 수 있습니다. 숫자 alongside 방법, 날짜 및 Null 결과를 게시하여 독자가 샘플을 판단할 수 있게 하세요. 결과를 보기 전에 방법을 먼저 작성하세요. AI Overviews 소스 테이블은 각 주장을 레이블링하는 동일한 습관을 보여줍니다.