GPTBot 설명: OpenAI의 웹 크롤러와 웹사이트에 미치는 영향

최근 서버 로그를 확인했다면 GPTBot이 나타난 것을 보셨을 것입니다. 그 옆에서 다른 작업을 수행하는 조용한 형제인 OAI-SearchBot은 눈치채는 사람이 적습니다. 이 둘을 혼동하는 것은 AI robots.txt 설정에서 가장 흔한 실수이며, 아무도 이유를 모른 채 사이트의 ChatGPT 인용을 조용히 잃게 만들고 있습니다.

두 크롤러는 훈련과 검색이라는 한 가지 기준으로 명확하게 나뉩니다. robots.txt에서 이 기준을 잘못 설정하면 포기할 의도가 없었던 인용을 잃을 수 있습니다.

GPTBot 대 OAI-SearchBot: 두 가지 다른 OpenAI 크롤러

GPTBot과 OAI-SearchBot은 별개의 작업을 수행하는 별개의 크롤러입니다. GPTBot은 OpenAI 모델 훈련을 위한 콘텐츠를 수집하고, OAI-SearchBot은 ChatGPT가 검색 답변에서 페이지를 검색하고 인용할 수 있도록 페이지를 색인화합니다. 이들을 하나의 ‘OpenAI 봇’으로 취급하는 것이 대부분의 robots.txt 파일이 잘못되는 지점입니다.

OpenAI는 소규모 사용자 에이전트 제품군을 운영하며, 훈련과 검색 간의 분리는 의도적입니다. OpenAI의 자체 크롤러 문서에 따르면, 각 설정은 독립적입니다. 웹마스터는 OAI-SearchBot이 검색 결과에 나타나도록 허용하면서 GPTBot이 모델 훈련에서 콘텐츠를 제외하도록 허용하지 않을 수 있습니다. 이것이 대부분의 SEO 팀이 놓치는 전체 전략적 퍼즐입니다.

실제로 알아야 할 OpenAI 에이전트는 두 개가 아니라 네 개입니다.

• GPTBot: OpenAI의 훈련 파이프라인에 공급하는 대량 크롤러.
• OAI-SearchBot: ChatGPT의 검색 및 인용 기능을 위해 특별히 페이지를 색인화합니다.
• ChatGPT-User: 라이브 사용자가 ChatGPT에 특정 URL을 실시간으로 가져오도록 요청할 때만 실행됩니다.
• OAI-AdsBot: 정책 준수를 위해 ChatGPT에 제출된 광고의 랜딩 페이지를 확인합니다. 광고로 제출된 페이지에만 방문하며, OpenAI 문서에 따르면 해당 데이터는 모델 훈련에 사용되지 않습니다.

2023-2024년에 발행된 대부분의 가이드는 GPTBot만 언급하는데, 이는 OAI-SearchBot이 아직 존재하지 않았기 때문입니다. 그 이후로 robots.txt가 변경되지 않았다면, 현재 ChatGPT에서 인용되는 데 필요한 정확한 크롤러를 조용히 차단하고 있을 가능성이 높습니다.

각 크롤러의 역할과 중요성

GPTBot은 OpenAI의 생성형 AI 모델을 훈련하고 개선하는 데 사용될 수 있는 웹 콘텐츠를 수집합니다. OAI-SearchBot은 ChatGPT의 검색 및 인용 기능을 지원하는 실시간 색인을 구축하며, 훈련에는 전혀 사용되지 않습니다. 실질적인 차이점은 하나는 모델이 장기적으로 아는 것에 영향을 미치고, 다른 하나는 지금 당장 나타날지 여부에 영향을 미친다는 것입니다.

GPTBot(현재 사용자 에이전트: GPTBot/1.4, 전체 문자열: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot)은 OpenAI의 훈련 파이프라인에 공급하는 역할만 합니다. 이를 차단하면 귀하의 콘텐츠는 미래 모델을 훈련하지 않습니다. ChatGPT 검색에는 영향을 미치지 않습니다. 이는 별개의 시스템입니다.

OAI-SearchBot(현재 사용자 에이전트: OAI-SearchBot/1.4; 전체 문자열은 GPTBot보다 길며, Chrome 스타일 접두사를 사용합니다: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)은 더 최근에 출시되었고, 더 목적 지향적이며, 실시간 답변을 위한 최신 색인을 유지하기 위해 크롤링합니다. 이를 차단해도 귀하의 IP가 훈련으로부터 보호되지는 않습니다. 이는 ChatGPT의 답변 표면에서 귀하를 완전히 제거합니다. AI 검색 가시성이 목표라면, 이 크롤러가 중요합니다. 두 에이전트의 버전 번호는 주기적으로 변경되므로, 정확한 버전 문자열에 고정하기보다는 GPTBot 또는 OAI-SearchBot 부분 문자열을 기준으로 일치시키십시오.

ChatGPT-User(사용자 에이전트: ChatGPT-User/1.0)는 특이한 경우입니다. 이는 자동화된 크롤링이 전혀 아닙니다. 누군가 ChatGPT에 귀하의 URL을 입력하고 모델에 읽어달라고 요청하거나, GPT Actions를 통해 Custom GPT와 상호 작용할 때만 실행됩니다. OpenAI는 이에 대해 직접적으로 언급합니다. 이러한 가져오기는 사용자 시작이므로 robots.txt 규칙이 자동화된 크롤러에 적용되는 방식과 동일하게 적용되지 않을 수도 있습니다. 이를 차단하는 것은 거의 유용하지 않습니다. 사용자가 명시적으로 요청한 가져오기를 중단시킬 수 있으며, 어쨌든 검색 옵트아웃을 위한 제어 지점이 아닙니다. 이는 OAI-SearchBot의 역할입니다.

결론: 이것들은 하나의 스위치가 아니라 독립적인 레버입니다. 각각을 개별적으로 작동시키면 OpenAI 생태계가 귀하의 사이트와 상호 작용하는 방식을 제어할 수 있습니다.

robots.txt 구성: 하나는 허용하고 다른 하나는 차단

GPTBot과 OAI-SearchBot은 동일한 robots.txt 파일에서 별도의 User-agent 블록을 사용하여 독립적으로 구성합니다. 하나를 허용하고 다른 하나를 허용하지 않는 것은 다른 하나의 동작에 영향을 미치지 않습니다. 이것이 대부분의 콘텐츠 중심 사이트가 2026년에 실행해야 할 구성입니다. 인용 자격을 유지하고 훈련에서 제외하십시오.

대부분의 게시자에게 권장되는 설정: ChatGPT 검색에 표시되고 훈련에서 제외됨:

# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /

최대 AI 가시성: 두 크롤러 모두 허용, 콘텐츠가 훈련에도 사용될 수 있음을 수락:

User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

완전 옵트아웃: 인용 없음, 훈련 없음, 일반적으로 유료 또는 규제된 콘텐츠에만 해당:

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /

하이브리드, 경로 수준 제어. 많은 기업 사이트는 전면적인 결정을 내리지 않습니다. 블로그와 문서를 공개하고 계정 영역과 내부 도구를 잠급니다.

User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /

이러한 설정 중 하나를 적용하기 전에 알아두어야 할 몇 가지 사항:

• robots.txt는 강제 메커니즘이 아니라 요청입니다. 잘 작동하는 크롤러는 이를 존중하지만, 그 자체로는 법적 효력이 없습니다.
• OpenAI 시스템이 robots.txt 변경 사항을 검색 관련 동작에 반영하는 데 약 24시간이 소요될 것으로 예상하십시오.
• 디렉토리 수준 규칙은 올바른 User-agent 블록 아래에 있을 때만 작동합니다. 잘못된 에이전트 아래의 잘못된 Allow: /는 귀하의 의도를 무효화합니다.

확인: IP 범위 및 크롤링 패턴

GPTBot 또는 OAI-SearchBot이라고 주장하는 크롤러는 사용자 에이전트 문자열만 믿는 것이 아니라 OpenAI가 게시한 IP 범위와 요청을 대조하여 확인합니다. 사용자 에이전트는 위조될 수 있지만, IP 범위는 위조하기 훨씬 어렵습니다. OpenAI는 이 확인을 자동화할 수 있도록 각 에이전트에 대한 기계 판독 가능한 JSON 파일을 특별히 게시합니다.

게시된 범위는 예측 가능한 URL에 있습니다:

• openai.com/gptbot.json (GPTBot의 범위)
• openai.com/searchbot.json (OAI-SearchBot의 범위)
• openai.com/chatgpt-user.json (ChatGPT-User의 범위)

실질적인 확인 워크플로는 다음과 같습니다:

1. 관련 부분 문자열(GPTBot, OAI-SearchBot, ChatGPT-User)에 대해 서버 액세스 로그를 검색합니다.
2. 일치하는 각 로그 라인에서 요청 IP를 가져옵니다.
3. 해당 IP를 일치하는 JSON 범위 파일과 교차 참조합니다.
4. OpenAI 크롤러라고 주장하지만 게시된 범위와 일치하지 않는 모든 요청에 플래그를 지정합니다. 이는 위조되거나 관련 없는 봇이며 OpenAI가 아닙니다.

로그 감사 시 혼동을 일으키는 한 가지 세부 사항: GPTBot 또는 OAI-SearchBot이 robots.txt 파일 자체를 가져올 때, OpenAI 문서에서는 사용자 에이전트 문자열에 추가 robots.txt 마커를 추가할 수 있다고 언급합니다. 이는 전체 경로 데이터가 없는 로그에서도 robots.txt 확인을 일반 페이지 가져오기와 구별할 수 있도록 하기 위함입니다. 사용자 에이전트만으로 로그를 그랩하는 경우, 해당 마커를 고려하지 않으면 요청이 중복되거나 잘못 분류될 수 있습니다.

크롤링 패턴에 대해: OpenAI는 사이트가 GPTBot과 OAI-SearchBot을 모두 허용하는 경우, 동일한 페이지를 두 번 크롤링하는 대신 단일 크롤링 결과를 두 가지 목적으로 재사용할 수 있다고 밝혔습니다. 두 에이전트에 대한 동일한 크롤링 흔적이 반드시 두 번의 별도 통과를 의미하는 것은 아닙니다. 크롤링 볼륨을 어떤 에이전트가 ‘더 공격적인지’에 대한 대리 지표로 해석하지 마십시오. 어떤 에이전트가 실제로 로그에 기록되는지 확인하고, 해당 IP를 게시된 범위와 대조하십시오.

ChatGPT 인용에 미치는 영향

OAI-SearchBot을 차단하면 GPTBot이 이미 다른 곳에서 동일한 페이지를 크롤링하고 훈련했더라도 ChatGPT의 검색 답변에서 귀하의 콘텐츠가 제거됩니다. OpenAI 문서에 따르면, 옵트아웃된 사이트는 인용된 검색 답변에 표시되지 않지만, 일반적인 탐색 링크로는 여전히 나타날 수 있습니다. 옵트아웃은 인용 등급 포함에 영향을 미치며, 모든 언급에 영향을 미치지는 않습니다. 이는 오래된 가정(‘AI가 이미 내 사이트를 알고 있다면 괜찮다’)을 깨뜨립니다. 2026년에는 ‘아는 것’과 ‘인용하는 것’이 별개의 시스템입니다.

내재화할 가치가 있는 몇 가지 결과:

• 사이트는 모델에 ‘알려져’ 있지만 검색 답변에는 보이지 않을 수 있습니다. 훈련 데이터와 실시간 인용 색인은 서로 통신하지 않습니다.
• GPTBot을 허용하는 것은 오늘날 귀하가 인용되는지 여부와는 관련이 없습니다. 훈련은 미래 모델 버전에 영향을 미치며, 이번 주 ChatGPT 검색 결과에는 영향을 미치지 않습니다.
• 2023년 템플릿에서 상속된 robots.txt 파일은 누락된 인용의 흔하고 보이지 않는 원인입니다. OAI-SearchBot은 이러한 파일이 작성될 당시에는 존재하지 않았으므로, 종종 그 이전에 존재했던 포괄적인 ‘모든 OpenAI 봇 차단’ 규칙에 의해 차단됩니다.
• 경로 수준 차단은 여전히 적용됩니다. OAI-SearchBot이 사이트 전체에서 허용되지만 귀하의 최고의 장문 콘텐츠에서 차단되는 경우, 해당 콘텐츠는 아무리 강력하더라도 ChatGPT 답변에 나타나지 않습니다.

귀하의 콘텐츠 전략이 AI 검색 가시성에 의존한다면, 그리고 2026년 대부분의 경쟁적인 틈새 시장에서 점점 더 그러하듯이, OAI-SearchBot 접근은 선택 사항이 아닙니다. 이는 귀하의 최고의 작업이 인용될 기회를 가질지 여부를 결정하는 단 하나의 구성 라인입니다.

귀하의 AI 가시성 설정을 확인하십시오

체크리스트를 읽는 것과 귀하의 사이트가 올바르게 구성되었는지 아는 것은 별개의 문제입니다. 잘못 구성된 robots.txt 규칙, 고아 ‘모든 AI 차단’ 템플릿, 경로 수준 실수는 너무 흔해서 추측은 신뢰할 수 있는 전략이 아닙니다.

ICODA의 AI 가시성 도구는 바로 이것을 확인합니다. 귀하의 사이트가 OAI-SearchBot 및 AI 인용 자격을 결정하는 다른 크롤러에 도달할 수 있는지, 그리고 어떤 격차가 있는지 확인합니다. GPTBot과 OAI-SearchBot이 robots.txt 파일에서 하나의 구별되지 않는 라인이었다면, 원치 않는 인용에서 실수로 옵트아웃하고 있지 않은지 확인하는 데 5분 정도 투자할 가치가 있습니다.