加密项目被 AI 引用屏蔽，并不是因为其内容薄弱或域名权重（DA）低 —— 而是因为保护它们免受爬虫侵害的同一安全基础设施，也在拒绝每一个会推荐它们的机器人的进入。您可以拥有精美的白皮书、活跃的社区和稳健的代币经济学，但在 ChatGPT 或 Perplexity 的回答中仍然不可见。大多数团队并不知道这种情况正在发生。
当我们对 500 多家加密和 Web3 网站运行 AI 可见性检查器 时，这就是我们不断发现的模式。这不是内容问题。而是配置问题。
定义加密货币 AI 可见性问题的 5 个数字
- 在我们审计的 500 多家加密网站中，68% 屏蔽了至少一个主要的 AI 检索爬虫 —— GPTBot、OAI-SearchBot、PerplexityBot 或 ClaudeBot —— 其中大多数是在未意识到的情况下进行的。
- 54% 的网站在任何关键页面类型中都没有 JSON-LD 架构。
- 只有不到 4% 的网站在域名根目录下有 llms.txt 文件。
- 平均 AI 可见性得分：31 分（满分 100 分） —— 处于“差”这一等级。
- 在被屏蔽的网站中，61% 是被基础设施默认设置屏蔽的 —— 例如 Cloudflare WAF 规则、安全插件 —— 而非刻意的 robots.txt 策略。
该数据集中大多数网站的不可见并非因为文案薄弱。它们之所以不可见，是因为在服务器迁移期间应用的 WAF 规则从未被重新检查。修复方法不是数月的外部链接建设 —— 而是只需一个下午的配置更改，前提是您知道该查看哪一层。
ICODA AI 可见性评分的工作原理
检查器从四个维度对每个网站进行评分：
AI 爬虫访问权限 (35%) —— 针对 GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot、Claude-SearchBot、Google-Extended 和 ChatGPT-User 的 robots.txt 指令，以及 WAF 级别的屏蔽检测。WAF 规则在读取 robots.txt 之前触发，因此即使 robots.txt 允许访问，但 WAF 规则屏蔽，也无济于事。
结构化数据 (25%) —— JSON-LD 架构的存在、过时的 dateModified 值、Microdata 或 RDFa 标记。检查器对此评分是因为它与整体技术成熟度相关 —— 而不是因为架构直接驱动 AI 引用。详见发现 2。
技术基础设施 (25%) —— 页面是否在不执行 JavaScript 的情况下渲染为可抓取的 HTML；llms.txt 的存在；站点地图的可访问性。
内容可访问性 (15%) —— 无需登录墙即可访问的页面、存在的实体定义内容、允许 AI 系统提取可引用声明的内容结构。
| 得分 | 层 | 其含义 |
|---|---|---|
| 0–44 | 差 | 对 AI 检索系统屏蔽或近乎不可见 |
| 45–64 | 一般 | 引用不一致，主要针对精确匹配查询 |
| 65–79 | 良好 | 定期可访问；针对相关的利基查询被引用 |
| 80+ | 优秀 | 完全开放；服务器端渲染；一致的 AI 引用 |
训练爬虫 vs. 检索机器人
这种区别是大多数修复尝试失败的原因：
| 训练爬虫 | 检索机器人 | |
|---|---|---|
| 目的 | 收集内容用于模型训练 | 抓取实时内容以在 AI 回答中引用 |
| 实例 | GPTBot, CCBot | OAI-SearchBot, PerplexityBot, ClaudeBot |
| 屏蔽？ | 由您决定 —— 防止被用于训练 | 屏蔽 = 在 AI 回答中不可见 |
网站所有者在日志中看到“GPTBot”，为 GPTBot 添加了 Allow: /，并认为他们已经修复了 ChatGPT 的可见性。其实不然。OAI-SearchBot 才是驱动 ChatGPT 搜索引用的检索爬虫。两者独立运行，成千上万的加密网站允许了其中一个，却屏蔽了另一个。
发现 1：68% 的加密网站在不知情的情况下屏蔽了 AI 爬虫
我们数据集中 68% 的网站屏蔽了至少一个 AI 检索爬虫。 这种屏蔽通常不是刻意的选择。
在讨论机制之前有一点需要注意：robots.txt 是一种自愿遵守的协议，而非技术壁垒。主要的 AI 提供商承诺遵守它，合规的机器人也确实如此。据记录，Perplexity 在 2025 年 8 月运行了未声明的爬虫，通过轮换 User-Agent 来绕过指令。实时用户导向的抓取通常会完全绕过 robots.txt。然而，对于驱动大多数引用的主流机器人来说，robots.txt 仍然很重要 —— 问题在于，大多数加密网站甚至对遵守规则的机器人也进行了屏蔽。
数据中占主导地位的三种屏蔽机制：
robots.txt 通配符禁止 —— User-agent: * 下的 Disallow: / 会屏蔽所有爬虫。一些 CMS 安全插件将其生成为默认设置，导致网站所有者需要添加显式例外，但他们从未添加。
Cloudflare WAF 规则 —— WAF 在处理 robots.txt 之前评估请求。即使有清晰的 robots.txt 指令，一条笼统的“屏蔽所有机器人”规则也会完全阻断 AI 爬虫 —— 那些指令根本无法触达。这是 61% 被屏蔽网站背后的机制：不是政策问题，而是在设置期间配置了 WAF 后从未重新检查。这是数据集中最重要的区别：这些网站并没有选择屏蔽 AI 爬虫。它们只是从未明确选择允许它们，而默认设置替它们做了决定。
安全插件默认设置 —— 基于 WordPress 的加密博客经常运行安全插件，这些插件会添加激进的机器人屏蔽规则以防止撞库和垃圾邮件，但并未区分恶意爬虫和 AI 检索爬虫。
GPTBot/OAI-SearchBot 陷阱 是最常见的局部修复错误：允许 GPTBot（训练）但未添加 OAI-SearchBot（ChatGPT 搜索检索）。一个网站可能对 GPTBot 设置了 Allow: /，但在 ChatGPT 搜索中仍然不可见，因为 OAI-SearchBot 首先遇到了 WAF 屏蔽。
快速手动检查：打开 yoursite.com/robots.txt，查找带有 Disallow: / 且随后没有针对检索机器人的 Allow 指令的 User-agent: *。这涵盖了 robots.txt —— 但它不会显示 WAF 级别的屏蔽。AI 可见性检查器 可在 30 秒内审计这两个层面。
一个重要的限制： 开放爬虫访问是引用的前提，而非保证。这意味着 AI 机器人可以触达您的页面 —— 但不代表它们会引用。一旦访问开放，内容权威性和实体清晰度仍将决定哪些内容被引用。先修复访问权限是产生结果的唯一顺序；在被屏蔽的情况下建立权威性不会产生任何结果。
对您的业务意味着什么： 处于这 68% 之中不仅意味着错失引用 —— 还意味着完全错过了考量阶段。AI 并没有评估您的项目并给出低排名。它根本没看到它。对于早期项目，这意味着无论质量如何，发布内容和协议文档都不会进入 AI 知识层。对于成熟项目，一个基本面较弱但开放爬虫的竞争对手正在取代您被引用。修复 WAF 和 robots.txt 不依赖于内容，且在 48-72 小时内即可看到可衡量的结果。
发现 2：架构标记并不驱动 AI 引用
我们数据集中后半部分 54% 的网站没有 JSON-LD 架构。 这种技术成熟度上的差距是真实存在的。然而，它对 AI 引用率的重要性并不像大多数指南声称的那样。
2026 年 5 月，Ahrefs 追踪了 1,885 个页面，这些页面在 2025 年 8 月至 2026 年 3 月期间添加了 JSON-LD 架构，并将每个页面与具有相似引用历史的对照页面进行匹配。结果显示：在 Google AI 模式 (+2.4%)、ChatGPT (+2.2%) 或 AI 概览 (−4.6%) 上均无显著提升。前两者在统计学上与噪音无异。
一项受控实验解释了其中的机制。研究员 Mark Williams-Cook 将一个地址专门嵌入到无效的、虚构的 JSON-LD 中 —— 在可见的页面内容中没有任何信息。ChatGPT 和 Perplexity 都正确提取并返回了该地址。LLM 将 <script> 块标记为原始文本。它们读取其中的单词，但架构词汇和结构对它们来说是不可见的。除此之外，Google 在 2026 年 5 月 7 日弃用了 FAQ 富媒体搜索结果，移除了 FAQPage 架构原本用于喂给 AI 答案提取的主要机制。
架构仍然具有价值 —— 针对传统的 Google 和 Bing 排名。微软在 2025 年 3 月确认，架构有助于 Copilot 理解内容。ChatGPT 搜索很大程度上借鉴了 Bing 的索引，因此更好的传统排名确实会间接转化为 AI 引用。主页上的 Organization 架构值得保留，以确保实体清晰。内容页面上的 Article 架构是合理的 SEO 卫生习惯。FAQPage 不再值得优先考虑。
| 架构类型 | 实际价值 | 位置 |
|---|---|---|
| Organization | 实体清晰度 → 通过传统 SEO 产生间接 AI 收益 | 主页 |
| Article/BlogPosting | 传统 SEO 新鲜度信号 | 内容页面 |
| FAQPage | 2026 年 5 月弃用；无 AI 引用价值 | - |
对您的业务意味着什么： 停止将架构视为 AI 可见性的修复手段。如果您因为“我们还在完善架构层”而推迟 WAF 和 robots.txt 的工作，请反转优先级。一个只需 20 分钟的 Cloudflare 规则更改，比耗时 20-40 小时的架构大修更能提升 AI 引用率。做 Organization 架构是因为它很快且支持传统 SEO —— 然后转向那些真正能影响 AI 指标的修复。
发现 3：域名评分与 AI 可见性不相关
加密货币 SEO 中的主流叙事很简单：建立链接、提高权威性、获得 AI 引用。但数据并不支持这一点。
在我们 500 多个网站的数据集中，一旦考虑到爬虫访问权限差距，域名评分（DR）超过 40 的网站在 AI 可见性得分上并未显示出持续的改善。
高 DR 网站表现不佳的原因显而易见。Cloudflare WAF 屏蔽是在过去的某次安全事件中应用的，之后从未重新检查。没有服务器端渲染的 React 或 Next.js SPA —— AI 爬虫不执行 JavaScript，因此无论有多少反向链接指向该域名，它们看到的都是空白页面。一个建立在没有 SSR 的 React SPA 上的 DR 60 交易所，其产品页面上没有任何 AI 可读的内容。反向链接毫无帮助。爬虫降落，空无一物，随即离开。
表现优于同行的低 DR 网站具有一致的特征：开放的爬虫、服务器端渲染的 HTML、干净的实体页面。在利基查询层面，技术卫生弥补了权威性的不足。对于“最佳加密交易所”等类别级查询，权威性仍占主导地位。但对于特定的利基查询 —— 如“低费用的非 KYC Solana DEX” —— 一个技术上干净的小型网站可以出现在 AI 答案中，排在屏蔽 PerplexityBot 的成熟竞争对手之前。技术卫生创造这种优势的窗口期现在正存在，并且随着领域的成熟可能是有限的 —— 成熟的参与者最终会修复他们的配置。
对您的业务意味着什么： 对于成熟项目，这一发现是一个警告 —— 您的 DR 并不能保护您的 AI 可见性。如果您的 WAF 屏蔽了检索爬虫，一个配置干净的新竞争对手正在您本该是显而易见答案的查询中被引用。对于早期项目，这是一个机会。修复四个技术类别，您今天就可以在利基查询上与成熟玩家平等竞争，而不需要等待 18 个月的链接建设。
前 10% 的共同点
数据集中每个高分网站都出现了五个模式：
1. 为每个主要检索机器人命名 robots.txt 指令 —— 不是 Allow: *，而是针对 OAI-SearchBot、ChatGPT-User、PerplexityBot、ClaudeBot、Claude-SearchBot 和 Google-Extended 的明确指令。
2. 主页上的基准 Organization 架构 —— 这是唯一一种能显著帮助搜索引擎进行实体解析的架构类型，从而间接促进 AI 引用。鉴于 Ahrefs 的数据，顶级网站中的这种模式可能反映了整体技术成熟度，而非架构是因果因素。
3. llms.txt 文件 —— 通用数据集中只有不到 4% 的网站拥有该文件；而前 10% 的网站全部拥有。目前的证据表明，它对 ChatGPT 和 Perplexity 搜索的引用影响微乎其微；其真正价值在于 Agent 上下文（IDE Agent、MCP 集成）。无论如何都要部署它 —— 它不花一分钱，并且在主要 AI 搜索引擎采用它时为您占据先机。
4. 所有公共页面上的服务器端渲染 HTML —— 对于没有 SSR 的 React/Next.js SPA 网站，这是最高优先级的修复。AI 爬虫不执行 JavaScript，因此无论其他方面如何，它们看到的都是空白页面。一个建立在客户端 React 应用上的 DR 60 DeFi 协议，从 AI 爬虫的角度来看，本质上是一个空域名。
5. 干净的实体定义页面 —— 组织是谁、做什么、运行在哪个链或协议上、何时成立。如果没有它，AI 系统会从多个页面的碎片信号中推断身份，从而导致引用不一致或完全没有引用。一个结构清晰、可抓取且能直接回答“什么是 X”的“关于我们”页面就足够了。
这些网站不具备的特点：异常高的域名评分。相关性在于配置，而非权威性。
在一天内修复您的评分
在开始之前运行 AI 可见性检查器。它会显示您的网站实际需要哪些步骤，并按影响程度进行加权 —— 如果您的 WAF 正在默默屏蔽每一个试图触达您的 AI 爬虫，那么花四个小时在架构上就没有意义。
第 1 步 —— 更新 robots.txt (30 分钟)
为以下每个 User-Agent 添加显式的 Allow 指令，并放置在文件中已有的任何 Disallow 规则之上：OAI-SearchBot、ChatGPT-User、PerplexityBot、ClaudeBot、Claude-SearchBot 和 Google-Extended。每个机器人都需要自己的 User-agent 块并带有 Allow: / —— 在这里，单一的通配符不够可靠。如果您不希望 OpenAI 使用您的内容进行训练，可以保持对 GPTBot 的屏蔽；屏蔽它对 ChatGPT 搜索没有影响。
第 2 步 —— 检查 Cloudflare WAF (20 分钟)
安全性 → WAF → 自定义规则。查找任何根据机器人分数或 User-Agent 屏蔽机器人流量的规则。如果 WAF 规则首先触发，第 1 步的更改将毫无作用 —— 如果请求在 WAF 层被丢弃，robots.txt 中的指令永远无法触达。
第 3 步 —— 创建 llms.txt (20 分钟)
在 yoursite.com/llms.txt 创建一个纯文本文件。最小可行版本：一行标识项目，两到三句话描述网站包含的内容及其适用对象，然后是关键页面 URL 的简短列表，并对每个页面进行单行描述。目标是为 AI Agent 提供关于您实体的直接、明确的描述 —— 至少包括主页、文档和关于页面。
第 4 步 —— 添加基准架构 (1–2 小时)
主页上的 Organization 架构，内容页面上的 Article/BlogPosting。跳过 FAQPage —— Google 已于 2026 年 5 月将其弃用，且 AI 系统在结构上也会忽略它。架构对传统 SEO 很重要，但对直接的 AI 引用不重要。
第 5 步 —— 验证 HTML 在没有 JavaScript 的情况下渲染
在浏览器开发工具中禁用 JavaScript 后打开关键页面，或通过 curl 直接抓取并检查响应。空白或近乎空的 HTML 意味着 SSR 是阻碍因素 —— 在处理这些页面上的其他任何事情之前，先修复这个问题。
500 多项审计告诉了我们什么
加密货币的 AI 可见性问题是一个配置问题。爬虫访问权限和服务器端渲染是区分被引用网站和不可见网站的两个变量。架构和 llms.txt 在边缘层面起作用，而行业夸大了它们的影响 —— 2026 年 5 月的 Ahrefs 数据平息了关于架构的争论。
对于现在修复配置层的项目，前 10% 与其余项目之间的差距正在缩小。对于那些还在等待架构审计来改变现状的人来说，技术上干净的竞争对手已经凭借 WAF 规则的更改和 30 分钟的工作获得了引用。
常见问题（FAQ）
GPTBot 为 OpenAI 提供训练数据。OAI-SearchBot 实时驱动 ChatGPT 搜索引用。它们是具有独立 User-Agent 字符串的独立爬虫，需要独立的 robots.txt 指令。您可以屏蔽 GPTBot 同时允许 OAI-SearchBot，反之亦然 —— 这两项操作互不影响。
不会。屏蔽 GPTBot 会将您的内容从 OpenAI 的训练流水线中移除。OAI-SearchBot 才是驱动 ChatGPT 搜索引用的因素，它独立运行。我们数据集中许多网站刻意屏蔽 GPTBot —— 以保护内容不被用于训练 —— 但仍然获得了很高的 AI 可见性得分。
不能。在我们的数据集中，一旦控制了爬虫访问权限，DR 超过 40 与 AI 可见性得分之间没有持续的相关性。一个没有 SSR 的 DR 70 React SPA 得分为零 —— 与具有相同配置的 DR 10 网站相同。
可以 —— AI 可见性检查器 可在 30 秒内审计所有四个类别，无需注册账号。
几乎可以肯定是在 robots.txt 之前触发了 WAF 规则，或者是 JavaScript 渲染的页面向爬虫返回了空白 HTML。架构不太可能是原因 —— 2026 年 5 月的 Ahrefs 研究发现，添加 JSON-LD 并没有带来显著的引用提升。
分享
给文章评分
