Криптопроекты блокируются от цитирования ИИ не потому, что их контент слаб или авторитет домена низок, а потому, что та же инфраструктура безопасности, которая защищает их от скраперов, также отказывает в доступе каждому боту, который мог бы их рекомендовать. У вас может быть качественный whitepaper, активное сообщество и надёжная токеномика, но при этом вы остаётесь невидимыми в ответах ChatGPT или Perplexity. Большинство команд не знают, что это происходит.
Когда мы запустили проверку видимости для ИИ на 500+ криптосайтах и Web3-проектах, мы постоянно обнаруживали именно эту закономерность. Не проблема контента. Проблема конфигурации.
5 цифр, определяющих проблему видимости криптопроектов для ИИ
- 68% из 500+ криптосайтов, которые мы проверили, блокируют как минимум один крупный ИИ-краулер для извлечения данных — GPTBot, OAI-SearchBot, PerplexityBot или ClaudeBot — большинство не осознавая этого.
- У 54% отсутствует JSON-LD-схема на всех ключевых типах страниц.
- Менее 4% имеют файл llms.txt в корне домена.
- Средний показатель видимости для ИИ: 31 из 100 — прямо в категории «Плохо».
- Из заблокированных сайтов 61% заблокированы настройками инфраструктуры по умолчанию — правилами Cloudflare WAF, плагинами безопасности — а не намеренной политикой robots.txt.
Большинство сайтов в этом наборе данных невидимы не из-за слабого текста. Они невидимы, потому что правило WAF, применённое во время миграции сервера, так и не было пересмотрено. Исправление — это не месяцы линкбилдинга, а изменение конфигурации, которое занимает один день, если вы знаете, на каком уровне искать.
Как работает показатель видимости для ИИ от ICODA
Проверка оценивает каждый сайт по четырём категориям:
Доступ ИИ-краулеров (35%) — директивы robots.txt для GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended и ChatGPT-User, плюс обнаружение блокировки на уровне WAF. Правила WAF срабатывают до того, как robots.txt будет прочитан, поэтому разрешающий robots.txt с блокирующим правилом WAF не даёт никакого результата.
Структурированные данные (25%) — наличие JSON-LD-схемы, устаревшие значения dateModified, флаги Microdata или RDFa. Проверка оценивает это, потому что это коррелирует с общей технической зрелостью — не потому, что схема напрямую влияет на цитирование ИИ. Подробнее об этом в выводе 2.
Техническая инфраструктура (25%) — отображаются ли страницы как сканируемый HTML без выполнения JavaScript; наличие llms.txt; доступность карты сайта.
Доступность контента (15%) — страницы доступны без стен входа, присутствует контент с определением сущности, структура контента позволяет ИИ-системам извлекать цитируемые утверждения.
| Оценка | Уровень | Что это значит |
|---|---|---|
| 0–44 | Плохо | Заблокирован или почти невидим для систем извлечения данных ИИ |
| 45–64 | Удовлетворительно | Непоследовательные цитирования, в основном точные запросы |
| 65–79 | Хороший | Регулярно доступен; цитируется по релевантным нишевым запросам |
| 80+ | Отлично | Полностью открыт; рендеринг на сервере; последовательное цитирование ИИ |
Краулеры для обучения против ботов для извлечения данных
Это различие — то место, где большинство попыток исправления идут не так:
| Краулеры для обучения | Боты для извлечения данных | |
|---|---|---|
| Назначение | Собирают контент для обучения модели | Извлекают актуальный контент для цитирования в ответах ИИ |
| Примеры | GPTBot, CCBot | OAI-SearchBot, PerplexityBot, ClaudeBot |
| Блокировать? | На ваше усмотрение — защищает от использования для обучения | Блокировка = невидимость в ответах ИИ |
Владелец сайта видит «GPTBot» в своих логах, добавляет Allow: / для GPTBot и полагает, что исправил видимость в ChatGPT. Это не так. OAI-SearchBot — это краулер для извлечения данных, который обеспечивает цитирование в ChatGPT Search. Они работают независимо, и тысячи криптосайтов разрешили один, блокируя другой.
Вывод 1: 68% криптосайтов блокируют ИИ-краулеры, не зная об этом
68% сайтов в нашем наборе данных блокируют как минимум один ИИ-краулер для извлечения данных. Блокировка обычно не является намеренным выбором.
Одна оговорка перед механикой: robots.txt — это протокол добровольного соблюдения, а не технический барьер. Крупные ИИ-провайдеры обязуются его соблюдать, и послушные боты это делают. Perplexity был задокументирован в августе 2025 года как использующий необъявленные краулеры, которые меняют user-agent для обхода директив. Извлечение данных в реальном времени по запросу пользователя часто полностью обходит robots.txt. Однако для основных ботов, обеспечивающих большинство цитирований, robots.txt всё ещё имеет значение — проблема в том, что большинство криптосайтов заблокированы даже для ботов, которые играют по правилам.
Три механизма блокировки доминируют в данных:
Запрет по маске в robots.txt — Disallow: / под User-agent: * блокирует каждый краулер. Некоторые плагины безопасности CMS генерируют это по умолчанию, оставляя владельцам сайтов добавлять явные исключения, которые они никогда не добавляют.
Правила Cloudflare WAF — WAF оценивает запросы до обработки robots.txt. Общее правило «блокировать всех ботов» полностью блокирует ИИ-краулеры даже при чистых директивах robots.txt — эти директивы просто никогда не достигаются. Это механизм, стоящий за 61% заблокированных сайтов: не политика, а WAF, настроенный при установке и никогда не пересмотренный. Это самое важное различие в наборе данных: эти сайты не выбирали блокировку ИИ-краулеров. Они просто никогда явно не выбирали их разрешение, и настройка по умолчанию сделала выбор за них.
Настройки плагинов безопасности по умолчанию — криптоблоги на WordPress часто используют плагины безопасности, которые добавляют агрессивные правила блокировки ботов для защиты от подбора учётных данных и спама, без различия между вредоносными скраперами и ИИ-краулерами для извлечения данных.
Ловушка GPTBot/OAI-SearchBot — самая распространённая ошибка частичного исправления: разрешение GPTBot (обучение) без добавления OAI-SearchBot (извлечение данных для ChatGPT Search). Сайт может иметь Allow: / для GPTBot и всё равно быть невидимым в ChatGPT Search, потому что OAI-SearchBot сначала попадает на блокировку WAF.
Быстрая ручная проверка: откройте yoursite.com/robots.txt и найдите User-agent: * с Disallow: / и без последующих директив Allow для ботов извлечения данных. Это покрывает robots.txt — это не выявит блокировку на уровне WAF. Проверка видимости для ИИ проверяет оба уровня за 30 секунд.
Одно важное ограничение: открытый доступ краулеров — это предварительное условие для цитирования, а не гарантия. Это означает, что ИИ-боты могут достичь ваших страниц — но не то, что они будут их цитировать. Авторитет контента и ясность сущности всё ещё определяют, что будет процитировано после открытия доступа. Исправление доступа в первую очередь — единственный порядок, который даёт результаты; наращивание авторитета при блокировке не даёт никаких.
Что это значит для вашего бизнеса: Быть в 68% — это не просто отсутствие цитирований, это полное отсутствие на этапе рассмотрения. ИИ не оценил ваш проект и не поставил его низко. Он его никогда не видел. Для проектов на ранней стадии это означает, что контент запуска и документация протокола не попадают ни в один слой знаний ИИ независимо от качества. Для устоявшихся проектов конкурент с более слабыми основами, но открытыми краулерами, цитируется вместо вас. Исправление WAF и robots.txt не зависит от контента и даёт измеримый результат в течение 48–72 часов.
Вывод 2: разметка Schema не влияет на цитирование ИИ
У 54% сайтов в нижней половине нашего набора данных отсутствует JSON-LD-схема. Этот разрыв в технической зрелости реален. Однако его значение для частоты цитирования ИИ не такое, как утверждают большинство руководств.
В мае 2026 года Ahrefs отследил 1 885 страниц, которые добавили JSON-LD-схему между августом 2025 года и мартом 2026 года, сопоставив каждую с контрольными страницами с аналогичной историей цитирования. Результат: никакого значимого роста в Google AI Mode (+2,4%), ChatGPT (+2,2%) или AI Overviews (−4,6%). Первые два статистически неотличимы от шума.
Контролируемый эксперимент объясняет механизм. Исследователь Марк Уильямс-Кук встроил адрес исключительно внутри недействительной, выдуманной JSON-LD — ничего в видимом содержимом страницы. ChatGPT и Perplexity оба извлекли и вернули его правильно. LLM токенизируют блок <script> как необработанный текст. Они читают слова внутри, но словарь и структура схемы для них невидимы. Кроме того, Google отменил расширенные результаты FAQ 7 мая 2026 года, удалив основной механизм, с помощью которого схема FAQPage должна была питать извлечение ответов ИИ.
Schema всё ещё имеет ценность — для классического ранжирования Google и Bing. Microsoft подтвердила в марте 2025 года, что схема помогает Copilot понимать контент. ChatGPT Search в значительной степени опирается на индекс Bing, поэтому лучшее классическое ранжирование действительно косвенно транслируется в цитирование ИИ. Схему Organization на главной странице стоит сохранить для ясности сущности. Схема Article на страницах контента — разумная гигиена SEO. FAQPage больше не стоит приоритизировать.
| Тип схемы | Фактическая ценность | Где |
|---|---|---|
| Organization | Ясность сущности → косвенная польза для ИИ через классическое SEO | Домашняя страница |
| Article/BlogPosting | Сигналы свежести для классического SEO | Страницы контента |
| FAQPage | Отменена в мае 2026 года; нет ценности для цитирования ИИ | - |
Что это значит для вашего бизнеса: Перестаньте рассматривать схему как исправление видимости для ИИ. Если вы откладывали работу над WAF и robots.txt, потому что «мы всё ещё заканчиваем уровень схемы», измените этот приоритет. Изменение правила Cloudflare, которое занимает 20 минут, даст больший рост цитирования ИИ, чем переработка схемы, оценённая в 20–40 часов. Сделайте схему Organization, потому что это быстро и поддерживает классическое SEO — затем переходите к исправлениям, которые действительно двигают иглу ИИ.
Вывод 3: рейтинг домена и видимость для ИИ не коррелируют
Доминирующий нарратив в крипто-SEO прост: создавайте ссылки, наращивайте авторитет, получайте цитирование ИИ. Данные этого не подтверждают.
В нашем наборе данных из 500+ сайтов рейтинг домена выше 40 не показал последовательного улучшения показателя видимости для ИИ после учёта пробелов в доступе краулеров.
Сайты с высоким DR показывают низкие результаты по предсказуемым причинам. Блокировка Cloudflare WAF, применённая во время прошлого инцидента безопасности и никогда не пересмотренная. SPA на React или Next.js без серверного рендеринга — ИИ-краулеры не выполняют JavaScript, поэтому они видят пустую страницу независимо от того, сколько обратных ссылок указывает на домен. Биржа с DR 60, построенная на React SPA без SSR, имеет нулевой контент, читаемый ИИ, на своих страницах продуктов. Обратные ссылки не помогают. Краулеры приходят, ничего не видят, уходят.
Сайты с низким DR, которые превосходят свою группу, имеют последовательный профиль: открытые краулеры, HTML с серверным рендерингом, чистая страница сущности. Техническая гигиена компенсирует дефицит авторитета на уровне нишевых запросов. Для запросов уровня категории, таких как «лучшая криптобиржа», авторитет всё ещё доминирует. Для конкретных нишевых запросов — «DEX на Solana без KYC с низкими комиссиями» — технически чистый небольшой сайт может появиться в ответах ИИ выше устоявшегося конкурента, который блокирует PerplexityBot. Окно, в котором техническая гигиена создаёт это преимущество, существует сейчас и, вероятно, конечно по мере созревания пространства — устоявшиеся игроки в конечном итоге исправят свои конфигурации.
Что это значит для вашего бизнеса: Для устоявшихся проектов вывод — это предупреждение: ваш DR не защищает вашу видимость для ИИ. Если ваш WAF блокирует краулеры для извлечения данных, более новый конкурент с чистой конфигурацией цитируется по запросам, где вы должны быть очевидным ответом. Для проектов на ранней стадии это возможность. Исправьте четыре технические категории, и вы конкурируете на равных с устоявшимися игроками по нишевым запросам сегодня, а не через 18 месяцев линкбилдинга.
Что общего у топ-10%
Пять паттернов появляются на каждом высокооценённом сайте в наборе данных:
1. Именованные директивы robots.txt для каждого крупного бота извлечения данных — не Allow: *, а явные директивы для OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot и Google-Extended.
2. Базовая схема Organization на главной странице — единственный тип схемы, который значимо помогает разрешению сущности в поисковых системах, что косвенно питает цитирование ИИ. Учитывая данные Ahrefs, этот паттерн на топовых сайтах, вероятно, отражает общую техническую зрелость, а не то, что схема является причинным фактором.
3. Файл llms.txt — менее 4% общего набора данных имеют его; каждый сайт из топ-10% имеет. Текущие данные показывают его влияние на цитирование как незначительное для поиска ChatGPT и Perplexity; его реальная ценность — в агентных контекстах (агенты IDE, интеграции MCP). Разверните его в любом случае — это ничего не стоит и позиционирует вас, если крупные поисковые системы ИИ его примут.
4. HTML с серверным рендерингом на всех публичных страницах — для сайтов React/Next.js SPA без SSR это исправление с наивысшим приоритетом. ИИ-краулеры не выполняют JavaScript, поэтому они видят пустую страницу независимо от всего остального. DeFi-протокол с DR 60, построенный на клиентском приложении React, с точки зрения ИИ-краулера, по сути, пустой домен.
5. Чистая страница определения сущности — кто организация, что она делает, на какой цепи или протоколе она работает, когда она была основана. Без этого ИИ-системы выводят идентичность из фрагментированных сигналов на нескольких страницах, что приводит к непоследовательным цитированиям или их отсутствию. Чёткая, сканируемая страница «О нас», структурированная для прямого ответа на вопрос «что такое X», достаточна.
Чего у этих сайтов нет: исключительных рейтингов доменов. Корреляция — это конфигурация, а не авторитет.
Исправьте свой показатель за один день
Запустите проверку видимости для ИИ перед началом. Она покажет, какие из этих шагов действительно нужны вашему сайту, и взвесит их по влиянию — нет смысла тратить четыре часа на схему, когда ваш WAF молча блокирует каждый ИИ-краулер, который пытается до вас добраться.
Шаг 1 — Обновите robots.txt (30 мин)
Добавьте явные директивы Allow для каждого из следующих user-agent, размещённые выше любых правил Disallow, уже находящихся в файле: OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot и Google-Extended. Каждому боту нужен свой блок User-agent с Allow: / — одна маска недостаточно надёжна здесь. GPTBot может оставаться заблокированным, если вы не хотите, чтобы OpenAI обучался на вашем контенте; его блокировка не влияет на ChatGPT Search.
Шаг 2 — Проверьте Cloudflare WAF (20 мин)
Security → WAF → Custom Rules. Ищите любое правило, блокирующее трафик ботов по оценке бота или user-agent. Шаг 1 ничего не меняет, если правило WAF срабатывает первым — директивы в robots.txt никогда не достигаются, если запрос отбрасывается на уровне WAF.
Шаг 3 — Создайте llms.txt (20 мин)
Создайте текстовый файл по адресу yoursite.com/llms.txt. Минимально жизнеспособная версия: одна строка, идентифицирующая проект, два-три предложения, описывающие, что содержит сайт и для кого он предназначен, затем короткий список URL ключевых страниц с однострочным описанием каждой. Цель — дать ИИ-агентам прямое, однозначное описание вашей сущности — главная страница, документация, страница «О нас» как минимум.
Шаг 4 — Добавьте базовую схему (1–2 часа)
Схема Organization на вашей главной странице, Article/BlogPosting на страницах контента. Пропустите FAQPage — отменена Google в мае 2026 года и структурно игнорируется ИИ-системами в любом случае. Схема важна для классического SEO, а не для прямого цитирования ИИ.
Шаг 5 — Проверьте, что HTML рендерится без JavaScript
Откройте ключевые страницы с отключённым JavaScript в инструментах разработчика браузера или загрузите их напрямую через curl и проверьте ответ. Пустой или почти пустой HTML означает, что SSR является блокирующим фактором — устраните это в первую очередь на этих страницах.
Что показывают более 500 аудитов
Проблема видимости криптопроектов в ИИ — это проблема конфигурации. Доступ для краулеров и серверный рендеринг — две переменные, которые отделяют цитируемые сайты от невидимых. Schema и llms.txt имеют значение на периферии, и индустрия переоценила их влияние — данные Ahrefs за май 2026 года разрешили дискуссию о schema.
Разрыв между топ-10% и остальными сокращается для проектов, которые исправляют уровень конфигурации сейчас. Для тех, кто ожидает, что аудит schema изменит ситуацию, технически чистые конкуренты уже получают цитирование благодаря изменению правила WAF и 30 минутам работы.
Часто задаваемые вопросы (FAQ)
GPTBot передаёт обучающие данные OpenAI. OAI-SearchBot обеспечивает цитирование в ChatGPT Search в режиме реального времени. Это отдельные краулеры с отдельными строками user-agent, которым требуются отдельные директивы robots.txt. Вы можете заблокировать GPTBot, разрешив при этом OAI-SearchBot, и наоборот — эти две операции не влияют друг на друга.
Нет. Блокировка GPTBot удаляет ваш контент из конвейера обучения OpenAI. OAI-SearchBot — это то, что обеспечивает цитирование в ChatGPT Search, и он работает независимо. Многие сайты в нашем наборе данных намеренно блокируют GPTBot — чтобы защитить контент от использования в обучении — и при этом достигают высоких показателей видимости в ИИ.
Нет. DR выше 40 не показывает последовательной корреляции с показателем видимости в ИИ в нашем наборе данных при контроле доступа краулеров. React SPA с DR 70 без SSR получает ноль баллов — так же, как сайт с DR 10 и той же конфигурацией.
Да — AI Visibility Checker проверяет все четыре категории за 30 секунд, учётная запись не требуется.
Почти наверняка правило WAF срабатывает до robots.txt, или страницы, отрисованные JavaScript, возвращают краулерам пустой HTML. Schema вряд ли является причиной — исследование Ahrefs за май 2026 года не выявило значительного увеличения цитирования от добавления JSON-LD.
Поделиться
Оцените статью
