암호화폐 프로젝트가 AI 인용에서 차단되는 이유는 콘텐츠가 약하거나 도메인 권한이 낮아서가 아니라, 스크래퍼로부터 프로젝트를 보호하는 동일한 보안 인프라가 프로젝트를 추천할 모든 봇의 진입을 거부하기 때문입니다. 잘 다듬어진 백서, 활발한 커뮤니티, 견고한 토큰 경제를 가지고 있더라도 ChatGPT 또는 Perplexity 답변에서 보이지 않을 수 있습니다. 대부분의 팀은 이런 일이 발생하고 있다는 사실을 모릅니다.
당사가 500개 이상의 암호화폐 및 Web3 사이트에서 AI 가시성 검사기를 실행했을 때, 계속해서 발견한 패턴이 바로 이것입니다. 콘텐츠 문제가 아니라 구성 문제입니다.
암호화폐의 AI 가시성 문제를 정의하는 5가지 숫자
- 당사가 감사한 500개 이상의 암호화폐 사이트 중 68%는 최소한 하나의 주요 AI 검색 크롤러 — GPTBot, OAI-SearchBot, PerplexityBot, 또는 ClaudeBot —를 차단하고 있으며, 대부분은 이를 인지하지 못하고 있습니다.
- 54%는 어떤 주요 페이지 유형에서도 JSON-LD 스키마가 전혀 없습니다.
- 4% 미만이 도메인 루트에 llms.txt 파일을 가지고 있습니다.
- 평균 AI 가시성 점수: 100점 만점에 31점 — 명백히 "미흡" 등급입니다.
- 차단된 사이트 중 61%는 인프라 기본 설정 — Cloudflare WAF 규칙, 보안 플러그인 —에 의해 차단되며, 의도적인 robots.txt 정책 때문이 아닙니다.
이 데이터 세트의 대다수 사이트는 콘텐츠가 약해서 보이지 않는 것이 아닙니다. 서버 마이그레이션 중에 적용된 WAF 규칙이 다시 검토되지 않았기 때문에 보이지 않는 것입니다. 해결책은 몇 달간의 링크 빌딩이 아니라, 어떤 계층을 봐야 하는지 안다면 오후 한나절이면 되는 구성 변경입니다.
ICODA AI 가시성 점수 작동 방식
검사기는 각 사이트를 다음 네 가지 범주에 걸쳐 점수를 매깁니다.
AI 크롤러 접근 (35%) — GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended, 및 ChatGPT-User에 대한 robots.txt 지시문, 그리고 WAF 수준 차단 감지. WAF 규칙은 robots.txt가 읽히기 전에 실행되므로, 차단 WAF 규칙이 있는 허용적인 robots.txt는 아무것도 달성하지 못합니다.
구조화된 데이터 (25%) — JSON-LD 스키마 존재 여부, 오래된 dateModified 값, Microdata 또는 RDFa 플래그. 검사기는 스키마가 AI 인용을 직접적으로 유도하기 때문이 아니라, 전반적인 기술 성숙도와 상관관계가 있기 때문에 이를 점수화합니다. 이에 대한 자세한 내용은 발견 2에서 다룹니다.
기술 인프라 (25%) — 페이지가 JavaScript 실행 없이 크롤링 가능한 HTML로 렌더링되는지 여부; llms.txt 존재 여부; 사이트맵 접근성.
콘텐츠 접근성 (15%) — 로그인 장벽 없이 도달 가능한 페이지, 엔티티 정의 콘텐츠 존재 여부, AI 시스템이 인용 가능한 주장을 추출할 수 있는 콘텐츠 구조.
| 점수 | 계층 | 의미 |
|---|---|---|
| 0–44 | 미흡 | AI 검색 시스템에 차단되거나 거의 보이지 않음 |
| 45–64 | 보통 | 일관성 없는 인용, 주로 정확히 일치하는 쿼리 |
| 65–79 | Good | 정기적으로 접근 가능; 관련 틈새 쿼리에 인용됨 |
| 80+ | 우수 | 완전히 개방; 서버 렌더링; 일관된 AI 인용 |
학습 크롤러 vs. 검색 봇
이 구분이 대부분의 수정 시도가 잘못되는 지점입니다:
| 학습 크롤러 | 검색 봇 | |
|---|---|---|
| 목적 | 모델 학습을 위한 콘텐츠 수집 | AI 답변에 인용할 실시간 콘텐츠 가져오기 |
| 예제 | GPTBot, CCBot | OAI-SearchBot, PerplexityBot, ClaudeBot |
| 차단하시겠습니까? | 귀하의 판단에 따름 — 학습 사용으로부터 보호 | 차단 = AI 답변에서 보이지 않음 |
사이트 소유자는 로그에서 "GPTBot"을 보고, GPTBot에 대한 Allow: /를 추가한 후 ChatGPT 가시성을 해결했다고 생각합니다. 하지만 그렇지 않습니다. OAI-SearchBot은 ChatGPT 검색 인용을 유도하는 검색 크롤러입니다. 이 둘은 독립적으로 작동하며, 수천 개의 암호화폐 사이트가 하나를 허용하면서 다른 하나를 차단했습니다.
발견 1: 암호화폐 사이트의 68%는 자신도 모르게 AI 크롤러를 차단하고 있습니다.
당사 데이터 세트의 68% 사이트는 최소한 하나의 AI 검색 크롤러를 차단하고 있습니다. 차단은 일반적으로 의도적인 선택이 아닙니다.
메커니즘에 앞서 한 가지 주의할 점: robots.txt는 기술적 장벽이 아니라 자발적 준수 프로토콜입니다. 주요 AI 제공업체는 이를 존중할 것을 약속하며, 준수하는 봇은 그렇게 합니다. Perplexity는 2025년 8월에 지시문을 우회하기 위해 사용자 에이전트를 변경하는 미신고 크롤러를 실행한 것으로 기록되었습니다. 실시간 사용자 지향 페치는 robots.txt를 완전히 우회하는 경우가 많습니다. 그러나 대부분의 인용을 유도하는 주류 봇의 경우 robots.txt는 여전히 중요합니다. 문제는 대부분의 암호화폐 사이트가 규칙을 준수하는 봇에 대해서도 차단된다는 것입니다.
세 가지 차단 메커니즘이 데이터에서 지배적입니다:
robots.txt 와일드카드 비허용 — Disallow: / 아래의 User-agent: *는 모든 크롤러를 차단합니다. 일부 CMS 보안 플러그인은 이를 기본값으로 생성하여 사이트 소유자가 명시적인 예외를 추가하도록 하지만, 이들은 결코 추가되지 않습니다.
Cloudflare WAF 규칙 — WAF는 robots.txt가 처리되기 전에 요청을 평가합니다. 포괄적인 "모든 봇 차단" 규칙은 깨끗한 robots.txt 지시문이 있더라도 AI 크롤러를 완전히 침묵시킵니다. 이러한 지시문은 요청이 WAF 계층에서 차단되면 결코 도달되지 않습니다. 이것이 차단된 사이트의 61% 뒤에 있는 메커니즘입니다. 정책이 아니라 설정 중에 구성되고 다시 검토되지 않은 WAF입니다. 이는 데이터 세트에서 가장 중요한 구분입니다. 이 사이트들은 AI 크롤러를 차단하기로 선택한 것이 아닙니다. 그들은 단순히 AI 크롤러를 명시적으로 허용하기로 선택하지 않았고, 기본 설정이 그들을 대신하여 선택한 것입니다.
보안 플러그인 기본 설정 — WordPress 기반 암호화폐 블로그는 자격 증명 스터핑 및 스팸으로부터 보호하기 위해 공격적인 봇 차단 규칙을 추가하는 보안 플러그인을 자주 실행하며, 악성 스크래퍼와 AI 검색 크롤러를 구분하지 않습니다.
GPTBot/OAI-SearchBot 함정은 가장 흔한 부분 수정 오류입니다. GPTBot(학습)을 허용하면서 OAI-SearchBot(ChatGPT 검색 검색)을 추가하지 않는 것입니다. 사이트는 GPTBot에 대한 Allow: /를 가질 수 있지만, OAI-SearchBot이 먼저 WAF 차단에 걸리기 때문에 ChatGPT 검색에서 보이지 않을 수 있습니다.
빠른 수동 확인: yoursite.com/robots.txt를 열고 User-agent: *와 Disallow: /를 찾고, 검색 봇에 대한 후속 허용 지시문이 없는지 확인하십시오. 이는 robots.txt를 다루는 것이며, WAF 수준 차단은 드러내지 않습니다. AI 가시성 검사기는 30초 안에 두 계층을 모두 감사합니다.
한 가지 중요한 한계: 개방형 크롤러 접근은 인용을 위한 전제 조건이지, 인용을 보장하는 것은 아닙니다. 이는 AI 봇이 귀하의 페이지에 도달할 수 있다는 것을 의미하며, 인용할 것이라는 의미는 아닙니다. 접근이 개방된 후에도 콘텐츠 권한과 엔티티 명확성이 무엇이 인용될지를 결정합니다. 접근을 먼저 해결하는 것이 결과를 낳는 유일한 순서입니다. 차단된 상태에서 권한을 구축하는 것은 아무런 결과를 낳지 않습니다.
귀하의 비즈니스에 미치는 영향: 68%에 속한다는 것은 단순히 인용을 놓치는 것이 아니라, 고려 단계를 완전히 놓치는 것입니다. AI는 귀하의 프로젝트를 평가하고 낮게 평가한 것이 아닙니다. AI는 귀하의 프로젝트를 전혀 보지 못했습니다. 초기 단계 프로젝트의 경우, 이는 품질에 관계없이 출시 콘텐츠 및 프로토콜 문서가 AI 지식 계층에 진입하지 못한다는 것을 의미합니다. 기존 프로젝트의 경우, 기본이 약하지만 크롤러가 개방된 경쟁업체가 귀하를 대신하여 인용되고 있습니다. WAF 및 robots.txt를 수정하는 것은 콘텐츠 의존성이 전혀 없으며 48~72시간 이내에 측정 가능한 결과를 낳습니다.
발견 2: 스키마 마크업은 AI 인용을 유도하지 않습니다.
당사 데이터 세트 하위 절반의 54% 사이트에는 JSON-LD 스키마가 전혀 없습니다. 기술 성숙도의 격차는 실제입니다. 그러나 AI 인용률에 대한 그 중요성은 대부분의 가이드가 주장하는 바와 다릅니다.
2026년 5월, Ahrefs는 2025년 8월부터 2026년 3월 사이에 JSON-LD 스키마를 추가한 1,885개 페이지를 추적하여, 유사한 인용 이력을 가진 대조 페이지와 비교했습니다. 그 결과: Google AI 모드(+2.4%), ChatGPT(+2.2%), 또는 AI 개요(–4.6%)에서 의미 있는 상승은 없었습니다. 처음 두 가지는 통계적으로 노이즈와 구별할 수 없습니다.
통제된 실험은 메커니즘을 설명합니다. 연구원 Mark Williams-Cook는 유효하지 않은, 만들어진 JSON-LD 내부에만 주소를 포함시켰습니다. 보이는 페이지 콘텐츠에는 아무것도 없었습니다. ChatGPT와 Perplexity는 모두 이를 정확하게 추출하고 반환했습니다. LLM은 <script> 블록을 원시 텍스트로 토큰화합니다. 그들은 내부의 단어를 읽지만, 스키마 어휘와 구조는 그들에게 보이지 않습니다. 게다가 Google은 2026년 5월 7일에 FAQ 리치 결과를 더 이상 사용하지 않도록 하여, FAQPage 스키마가 AI 답변 추출에 제공될 것으로 예상되었던 주요 메커니즘을 제거했습니다.
스키마는 여전히 가치가 있습니다. 고전적인 Google 및 Bing 순위를 위해서입니다. Microsoft는 2025년 3월에 스키마가 Copilot이 콘텐츠를 이해하는 데 도움이 된다고 확인했습니다. ChatGPT 검색은 주로 Bing의 인덱스에서 가져오므로, 더 나은 고전적인 순위는 간접적으로 AI 인용으로 이어집니다. 홈페이지의 조직 스키마는 엔티티 명확성을 위해 유지할 가치가 있습니다. 콘텐츠 페이지 전체의 기사 스키마는 합리적인 SEO 위생입니다. FAQPage는 더 이상 우선순위를 둘 가치가 없습니다.
| 스키마 유형 | 실제 가치 | 위치 |
|---|---|---|
| 조직 | 엔티티 명확성 → 고전적인 SEO를 통한 간접적인 AI 이점 | 홈페이지 |
| 기사/블로그 게시물 | 고전적인 SEO 신선도 신호 | 콘텐츠 페이지 |
| FAQPage | 2026년 5월 사용 중단; AI 인용 가치 없음 | - |
귀하의 비즈니스에 미치는 영향: 스키마를 AI 가시성 해결책으로 취급하는 것을 중단하십시오. "스키마 계층을 아직 마무리 중"이기 때문에 WAF 및 robots.txt 작업을 미루고 있었다면, 그 우선순위를 뒤집으십시오. 20분 걸리는 Cloudflare 규칙 변경이 20~40시간이 걸리는 스키마 전면 개편보다 더 많은 AI 인용 상승을 가져올 것입니다. 조직 스키마는 빠르고 고전적인 SEO를 지원하므로 수행한 다음, 실제로 AI에 영향을 미치는 수정 사항으로 넘어가십시오.
발견 3: 도메인 등급과 AI 가시성은 상관관계가 없습니다.
암호화폐 SEO의 지배적인 이야기는 간단합니다. 링크를 구축하고, 권한을 키우고, AI에 의해 인용되는 것입니다. 데이터는 이를 뒷받침하지 않습니다.
당사의 500개 이상 사이트 데이터 세트에서, 크롤러 접근 격차가 설명된 후에는 40 이상의 도메인 등급이 AI 가시성 점수에서 일관된 개선을 보이지 않았습니다.
높은 DR 사이트가 저조한 성과를 보이는 것은 예측 가능한 이유 때문입니다. 과거 보안 사고 중에 적용되었지만 다시 검토되지 않은 Cloudflare WAF 차단. 서버 측 렌더링이 없는 React 또는 Next.js SPA — AI 크롤러는 JavaScript를 실행하지 않으므로, 도메인에 얼마나 많은 백링크가 있든 관계없이 빈 페이지를 봅니다. React SPA에 구축된 DR 60 거래소는 SSR이 없으면 제품 페이지에 AI가 읽을 수 있는 콘텐츠가 전혀 없습니다. 백링크는 도움이 되지 않습니다. 크롤러는 방문하여 아무것도 보지 못하고 떠납니다.
동료 그룹보다 뛰어난 성능을 보이는 낮은 DR 사이트는 일관된 프로필을 공유합니다. 개방형 크롤러, 서버 렌더링 HTML, 깨끗한 엔티티 페이지. 기술적 위생은 틈새 쿼리 수준에서 권한 부족을 보완합니다. "최고의 암호화폐 거래소"와 같은 카테고리 수준 쿼리에서는 여전히 권한이 지배적입니다. "수수료가 낮은 비KYC 솔라나 DEX"와 같은 특정 틈새 쿼리에서는 기술적으로 깨끗한 작은 사이트가 PerplexityBot을 차단하는 기존 경쟁업체보다 AI 답변에 나타날 수 있습니다. 기술적 위생이 이러한 이점을 창출하는 기회는 지금 존재하며, 시장이 성숙함에 따라 아마도 제한적일 것입니다. 기존 플레이어는 결국 구성을 수정할 것입니다.
귀하의 비즈니스에 미치는 영향: 기존 프로젝트의 경우, 이 발견은 경고입니다. 귀하의 DR은 AI 가시성을 보호하지 않습니다. WAF가 검색 크롤러를 차단한다면, 깨끗한 구성을 가진 새로운 경쟁업체가 귀하가 명백한 답변이어야 할 쿼리에 대해 인용되고 있습니다. 초기 단계 프로젝트의 경우, 이는 기회입니다. 네 가지 기술 범주를 수정하면 오늘날 틈새 쿼리에 대해 기존 플레이어와 동등한 입장에서 경쟁할 수 있으며, 18개월간의 링크 빌딩 후가 아닙니다.
상위 10%가 공통적으로 가진 것
데이터 세트의 모든 고득점 사이트에서 다섯 가지 패턴이 나타납니다:
1. 모든 주요 검색 봇에 대한 명명된 robots.txt 지시문 — Allow: *가 아니라 OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, 및 Google-Extended에 대한 명시적인 지시문.
2. 홈페이지의 기준 조직 스키마 — 이는 검색 엔진에서 엔티티 해결에 의미 있게 도움이 되는 유일한 스키마 유형이며, 간접적으로 AI 인용에 기여합니다. Ahrefs 데이터를 고려할 때, 상위 사이트에서 이러한 패턴은 스키마가 원인 요인이라기보다는 전반적인 기술적 성숙도를 반영할 가능성이 높습니다.
3. llms.txt 파일 — 일반 데이터 세트의 4% 미만이 하나를 가지고 있지만, 상위 10% 사이트는 모두 가지고 있습니다. 현재 증거에 따르면 ChatGPT 및 Perplexity 검색에 대한 인용 영향은 미미합니다. 실제 가치는 에이전트 컨텍스트(IDE 에이전트, MCP 통합)에 있습니다. 어쨌든 배포하십시오. 비용이 들지 않으며 주요 AI 검색 엔진이 채택할 경우 유리한 위치를 차지할 수 있습니다.
4. 모든 공개 페이지의 서버 측 렌더링 HTML — SSR이 없는 React/Next.js SPA 사이트의 경우, 이것이 최우선 수정 사항입니다. AI 크롤러는 JavaScript를 실행하지 않으므로, 다른 모든 것과 관계없이 빈 페이지를 봅니다. 클라이언트 측 React 앱에 구축된 DR 60 DeFi 프로토콜은 AI 크롤러의 관점에서 본질적으로 빈 도메인입니다.
5. 깨끗한 엔티티 정의 페이지 — 조직이 무엇인지, 무엇을 하는지, 어떤 체인 또는 프로토콜에서 실행되는지, 언제 설립되었는지. 이것이 없으면 AI 시스템은 여러 페이지에 걸쳐 파편화된 신호에서 정체성을 추론하여 일관성 없는 인용 또는 전혀 인용하지 않습니다. "X는 무엇인가"에 직접 답하도록 구조화된 명확하고 크롤링 가능한 정보 페이지면 충분합니다.
이러한 사이트들이 가지고 있지 않은 것은 예외적인 도메인 등급입니다. 상관관계는 구성이지 권한이 아닙니다.
하루 만에 점수 수정
시작하기 전에 AI 가시성 검사기를 실행하십시오. 이 검사기는 귀하의 사이트에 실제로 필요한 단계와 그 영향을 보여줍니다. WAF가 귀하에게 도달하려는 모든 AI 크롤러를 조용히 차단하고 있는데 스키마에 4시간을 소비할 필요는 없습니다.
1단계 — robots.txt 업데이트 (30분)
파일에 이미 있는 Disallow 규칙 위에 다음 사용자 에이전트 각각에 대한 명시적인 Allow 지시문을 추가하십시오: OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, 및 Google-Extended. 각 봇은 자체 User-agent 블록과 Allow: /가 필요합니다. 단일 와일드카드는 여기에서 충분히 신뢰할 수 없습니다. OpenAI가 귀하의 콘텐츠로 학습하는 것을 원하지 않는다면 GPTBot은 차단된 상태로 유지할 수 있습니다. 이를 차단하는 것은 ChatGPT 검색에 영향을 미치지 않습니다.
2단계 — Cloudflare WAF 확인 (20분)
보안 → WAF → 사용자 지정 규칙. 봇 점수 또는 사용자 에이전트별로 봇 트래픽을 차단하는 규칙이 있는지 확인하십시오. WAF 규칙이 먼저 실행되면 1단계는 아무것도 변경하지 않습니다. 요청이 WAF 계층에서 삭제되면 robots.txt의 지시문은 결코 도달되지 않습니다.
3단계 — llms.txt 생성 (20분)
yoursite.com/llms.txt에 일반 텍스트 파일을 생성하십시오. 최소한의 버전: 프로젝트를 식별하는 한 줄, 사이트가 무엇을 포함하고 누구를 위한 것인지 설명하는 두세 문장, 그리고 각 주요 페이지 URL과 한 줄 설명의 짧은 목록. 목표는 AI 에이전트에게 귀하의 엔티티에 대한 직접적이고 명확한 설명(최소한 홈페이지, 문서, 정보 페이지)을 제공하는 것입니다.
4단계 — 기본 스키마 추가 (1~2시간)
홈페이지에 조직 스키마, 콘텐츠 페이지에 기사/블로그 게시물 스키마. FAQPage는 건너뛰십시오. 2026년 5월 Google에서 사용 중단되었으며 AI 시스템에 의해 구조적으로 무시됩니다. 스키마는 고전적인 SEO에 중요하며, 직접적인 AI 인용에는 중요하지 않습니다.
5단계 — JavaScript 없이 HTML이 렌더링되는지 확인
브라우저 개발자 도구에서 JavaScript를 비활성화한 상태로 주요 페이지를 열거나, curl을 통해 직접 가져와 응답을 검사하십시오. 빈 HTML 또는 거의 빈 HTML은 SSR이 차단 요인임을 의미합니다. 해당 페이지에서 다른 모든 것보다 먼저 이를 수정하십시오.
500개 이상의 감사가 알려주는 것
암호화폐의 AI 가시성 문제는 구성 문제입니다. 크롤러 접근과 서버 측 렌더링은 인용되는 사이트와 보이지 않는 사이트를 구분하는 두 가지 변수입니다. 스키마와 llms.txt는 미미한 영향을 미 미치며, 업계는 그 영향을 과장했습니다. 2026년 5월 Ahrefs 데이터는 스키마 논쟁을 종결시켰습니다.
지금 구성 계층을 수정하는 프로젝트의 경우 상위 10%와 나머지 사이트 간의 격차가 줄어들고 있습니다. 스키마 감사를 기다려야만 변화가 있을 것이라고 생각하는 프로젝트의 경우, 기술적으로 깨끗한 경쟁업체는 이미 WAF 규칙 변경과 30분 작업으로 인용되고 있습니다.
자주 묻는 질문(FAQ)
GPTBot은 OpenAI 학습 데이터를 공급합니다. OAI-SearchBot은 실시간으로 ChatGPT 검색 인용을 지원합니다. 이들은 별도의 사용자 에이전트 문자열을 가진 별도의 크롤러이며, 별도의 robots.txt 지시문이 필요합니다. GPTBot을 차단하면서 OAI-SearchBot을 허용할 수 있으며, 그 반대도 가능합니다. 이 두 작업은 서로에게 영향을 미치지 않습니다.
아니요. GPTBot을 차단하면 OpenAI의 학습 파이프라인에서 콘텐츠가 제거됩니다. OAI-SearchBot은 ChatGPT 검색 인용을 유도하며 독립적으로 작동합니다. 당사 데이터 세트의 많은 사이트는 학습 사용으로부터 콘텐츠를 보호하기 위해 의도적으로 GPTBot을 차단하지만, 여전히 높은 AI 가시성 점수를 달성합니다.
아니요. 크롤러 접근이 통제된 후에는 당사 데이터 세트에서 40 이상의 DR이 AI 가시성 점수와 일관된 상관관계를 보이지 않습니다. SSR이 없는 DR 70 React SPA는 DR 10 사이트와 동일한 구성으로 0점을 받습니다.
예 — AI 가시성 검사기는 계정 없이 30초 안에 네 가지 범주를 모두 감사합니다.
거의 확실히 robots.txt 이전에 실행되는 WAF 규칙 때문이거나, JavaScript로 렌더링된 페이지가 크롤러에게 빈 HTML을 반환하기 때문입니다. 스키마는 원인이 아닐 가능성이 높습니다. 2026년 5월 Ahrefs 연구는 JSON-LD 추가로 인한 의미 있는 인용 상승을 발견하지 못했습니다.
공유
기사 평가하기
