GPTBot explicado: los rastreadores web de OpenAI y lo que significan para su sitio web

Si ha revisado los registros de su servidor últimamente, probablemente haya visto aparecer GPTBot. Menos personas notan a su hermano más discreto, OAI-SearchBot, justo al lado, realizando un trabajo diferente. Confundir ambos es el error más común en las configuraciones de robots.txt de IA, y está costando silenciosamente a los sitios sus citas de ChatGPT sin que nadie se dé cuenta del motivo.

Los dos rastreadores se dividen claramente en una línea: entrenamiento frente a búsqueda. Si se equivoca con esa línea en robots.txt, puede perder citas que nunca pretendió ceder.

GPTBot frente a OAI-SearchBot: dos rastreadores diferentes de OpenAI

GPTBot y OAI-SearchBot son rastreadores separados con trabajos separados: GPTBot recopila contenido para entrenar los modelos de OpenAI, mientras que OAI-SearchBot indexa páginas para que ChatGPT pueda recuperarlas y citarlas en respuestas de búsqueda. Tratarlos como un único «bot de OpenAI» es donde la mayoría de los archivos robots.txt fallan.

OpenAI ejecuta una pequeña familia de agentes de usuario, y la división entre entrenamiento y búsqueda es deliberada. Según la propia documentación de rastreadores de OpenAI, cada configuración es independiente: un webmaster puede permitir que OAI-SearchBot aparezca en los resultados de búsqueda mientras no permite GPTBot para mantener el contenido fuera del entrenamiento del modelo. Ese es todo el rompecabezas estratégico que la mayoría de los equipos de SEO pasan por alto.

En realidad hay cuatro agentes de OpenAI que vale la pena conocer, no dos:

• GPTBot: rastreador masivo que alimenta el proceso de entrenamiento de OpenAI.
• OAI-SearchBot: indexa páginas específicamente para las funciones de búsqueda y citación de ChatGPT.
• ChatGPT-User: se activa solo cuando un usuario en vivo pide a ChatGPT que obtenga una URL específica en tiempo real.
• OAI-AdsBot: verifica las páginas de destino de los anuncios enviados a ChatGPT para el cumplimiento de políticas. Solo visita páginas enviadas como anuncios y, según la documentación de OpenAI, sus datos tampoco se utilizan para el entrenamiento de modelos.

La mayoría de las guías publicadas en 2023-2024 solo mencionan GPTBot, porque OAI-SearchBot aún no existía. Si su robots.txt no se ha tocado desde entonces, es muy probable que esté bloqueando silenciosamente el rastreador exacto responsable de que le citen en ChatGPT hoy.

Qué hace cada rastreador y por qué importa

GPTBot recopila contenido web que puede utilizarse para entrenar y mejorar los modelos de IA generativa de OpenAI. OAI-SearchBot construye el índice en tiempo real que impulsa las funciones de búsqueda y citación de ChatGPT, y no se utiliza para entrenamiento en absoluto. La diferencia práctica: uno afecta a lo que el modelo sabe a largo plazo, el otro afecta a si aparece ahora mismo.

GPTBot (agente de usuario actual: GPTBot/1.4, cadena completa: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot) existe para alimentar el proceso de entrenamiento de OpenAI, y nada más. Bloquéelo, y su contenido no entrenará modelos futuros. No tiene ningún efecto en la búsqueda de ChatGPT; ese es un sistema separado.

OAI-SearchBot (agente de usuario actual: OAI-SearchBot/1.4; su cadena completa es más larga que la de GPTBot, utilizando un prefijo de estilo Chrome: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot) es más reciente, más específico y rastrea para mantener un índice actualizado para respuestas en tiempo real. Bloquearlo no protege su propiedad intelectual del entrenamiento. Le elimina de la superficie de respuestas de ChatGPT, punto. Si su objetivo es la visibilidad en búsquedas de IA, este es el rastreador que importa. Los números de versión de ambos agentes cambian periódicamente, así que haga coincidir la subcadena GPTBot o OAI-SearchBot en lugar de fijar una cadena de versión exacta.

ChatGPT-User (agente de usuario: ChatGPT-User/1.0) es el caso atípico. No es rastreo automatizado en absoluto. Se activa solo cuando alguien escribe su URL en ChatGPT y pide al modelo que la lea, o interactúa con un GPT personalizado a través de GPT Actions. OpenAI es directo sobre esto: debido a que estas solicitudes son iniciadas por el usuario, es posible que las reglas de robots.txt ni siquiera se apliquen a ellas de la misma manera que a los rastreadores automatizados. Bloquearlo rara vez es útil. Puede interrumpir una solicitud que el usuario pidió explícitamente, y de todos modos no es el punto de control para las exclusiones de búsqueda; ese es el trabajo de OAI-SearchBot.

La conclusión: estas son palancas independientes, no un solo interruptor. Accione cada una por separado y controlará cómo el ecosistema de OpenAI interactúa con su sitio.

Configuración de robots.txt: permitir uno, bloquear el otro

Configure GPTBot y OAI-SearchBot de forma independiente en el mismo archivo robots.txt, utilizando bloques User-agent separados. Permitir uno y no permitir el otro no tiene ningún efecto en el comportamiento del otro. Esta es la configuración que la mayoría de los sitios orientados al contenido deberían estar ejecutando en 2026: mantenerse elegible para citas, excluirse del entrenamiento.

Configuración recomendada para la mayoría de los editores, visible en la búsqueda de ChatGPT, excluido del entrenamiento:

# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /

Máxima visibilidad de IA: permitir ambos rastreadores, aceptar que el contenido también puede utilizarse para entrenamiento:

User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

Exclusión total: sin citas, sin entrenamiento, normalmente reservado para contenido de pago o regulado:

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /

Híbrido, control a nivel de ruta. Muchos sitios empresariales no toman una decisión de todo o nada. Abren el blog y la documentación, y bloquean las áreas de cuenta y las herramientas internas:

User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /

Algunas cosas que vale la pena saber antes de implementar cualquiera de estas:

• robots.txt es una solicitud, no un mecanismo de aplicación. Los rastreadores que se comportan bien lo respetan, pero no tiene peso legal por sí solo.
• Espere aproximadamente 24 horas para que los sistemas de OpenAI reflejen un cambio de robots.txt en el comportamiento orientado a búsquedas.
• Las reglas a nivel de directorio solo funcionan si están bajo el bloque User-agent correcto. Un Allow: / perdido bajo el agente incorrecto deshace su intención.

Verificación: rangos de IP y patrones de rastreo

Verifique un rastreador que afirma ser GPTBot u OAI-SearchBot comprobando la solicitud contra los rangos de IP publicados de OpenAI, no confiando solo en la cadena del agente de usuario. Los agentes de usuario pueden falsificarse; los rangos de IP son mucho más difíciles de falsificar. OpenAI publica archivos JSON legibles por máquina para cada agente específicamente para que esta verificación pueda automatizarse.

Los rangos publicados se encuentran en URL predecibles:

• openai.com/gptbot.json (rangos de GPTBot)
• openai.com/searchbot.json (rangos de OAI-SearchBot)
• openai.com/chatgpt-user.json (rangos de ChatGPT-User)

Un flujo de trabajo de verificación práctico se ve así:

1. Busque en los registros de acceso del servidor la subcadena relevante (GPTBot, OAI-SearchBot, ChatGPT-User).
2. Extraiga la IP solicitante de cada línea de registro coincidente.
3. Cruce esa IP con el archivo de rango JSON correspondiente.
4. Marque cualquier solicitud que afirme ser un rastreador de OpenAI pero que no coincida con un rango publicado. Ese es un bot falsificado o no relacionado, no OpenAI.

Un detalle que complica las auditorías de registros: cuando GPTBot u OAI-SearchBot obtienen el propio archivo robots.txt, la documentación de OpenAI señala que pueden agregar un marcador robots.txt adicional a la cadena del agente de usuario, específicamente para que los registros sin datos de ruta completa aún puedan distinguir una verificación de robots.txt de una obtención de página normal. Si está buscando registros solo por agente de usuario, tenga en cuenta ese marcador o puede contar dos veces o clasificar incorrectamente las solicitudes.

Sobre los patrones de rastreo: OpenAI ha declarado que si un sitio permite tanto GPTBot como OAI-SearchBot, puede reutilizar los resultados de un solo rastreo para ambos propósitos en lugar de rastrear las mismas páginas dos veces. Las huellas de rastreo idénticas para ambos agentes no significan necesariamente dos pasadas separadas. No lea el volumen de rastreo como un indicador de qué agente es «más agresivo». Compruebe qué agente está realmente accediendo a sus registros y haga coincidir esas IP con los rangos publicados.

Impacto en las citas de ChatGPT

Bloquear OAI-SearchBot elimina su contenido de las respuestas de búsqueda de ChatGPT, incluso si GPTBot ya rastreó y entrenó con las mismas páginas en otro lugar. Según la documentación de OpenAI, un sitio excluido no aparecerá en respuestas de búsqueda citadas, aunque aún puede aparecer como un enlace de navegación simple. La exclusión afecta a la inclusión de grado de citación, no a cada mención. Eso rompe una suposición antigua: «si la IA ya conoce mi sitio, estoy cubierto». En 2026, conocer y citar son sistemas separados.

Algunas consecuencias que vale la pena interiorizar:

• Un sitio puede ser «conocido» por el modelo y aún así invisible en las respuestas de búsqueda. Los datos de entrenamiento y el índice de citación en vivo no se comunican entre sí.
• Permitir GPTBot no tiene ninguna relación con si le citan hoy. El entrenamiento afecta a una versión futura del modelo, no a los resultados de búsqueda de ChatGPT de esta semana.
• Un archivo robots.txt heredado de una plantilla de 2023 es una causa común e invisible de citas faltantes. OAI-SearchBot no existía cuando se escribieron muchos de esos archivos, por lo que a menudo queda atrapado por una regla general de «bloquear todos los bots de OpenAI» que es anterior a él.
• El bloqueo a nivel de ruta todavía se aplica. Si OAI-SearchBot está permitido en todo el sitio pero bloqueado en su mejor contenido de formato largo, ese contenido no aparecerá en las respuestas de ChatGPT, sin importar lo sólido que sea.

Si su estrategia de contenido depende de la visibilidad en búsquedas de IA, y para la mayoría de los nichos competitivos en 2026, cada vez más lo hace, el acceso de OAI-SearchBot no es opcional. Es la única línea de configuración que determina si su mejor trabajo tiene alguna posibilidad de ser citado.

Compruebe su propia configuración de visibilidad de IA

Leer una lista de verificación es una cosa; saber si su propio sitio está configurado correctamente es otra. Las reglas de robots.txt mal configuradas, las plantillas huérfanas de «bloquear toda IA» y los errores a nivel de ruta son lo suficientemente comunes como para que adivinar no sea una estrategia fiable.

La herramienta de visibilidad de IA de ICODA comprueba exactamente esto: si su sitio es accesible para OAI-SearchBot y los otros rastreadores que determinan la elegibilidad de citación de IA, y dónde están las brechas. Si GPTBot y OAI-SearchBot han sido una línea indiferenciada en su archivo robots.txt, vale la pena dedicar cinco minutos a confirmar que no se está excluyendo accidentalmente de las citas que desea.