Se verificou recentemente os registos do seu servidor, provavelmente viu o GPTBot aparecer. Menos pessoas notam o seu irmão mais discreto, o OAI-SearchBot, sentado mesmo ao lado, a fazer um trabalho diferente. Confundir os dois é o erro mais comum nas configurações de robots.txt para IA, e está silenciosamente a custar aos sítios as suas citações do ChatGPT sem que ninguém perceba porquê.
Os dois rastreadores dividem-se claramente numa linha: treino versus pesquisa. Erre essa linha no robots.txt e pode perder citações que nunca pretendeu abandonar.
GPTBot vs OAI-SearchBot: Dois Rastreadores Diferentes da OpenAI
O GPTBot e o OAI-SearchBot são rastreadores separados com tarefas separadas: o GPTBot recolhe conteúdo para treinar os modelos da OpenAI, enquanto o OAI-SearchBot indexa páginas para que o ChatGPT possa recuperá-las e citá-las em respostas de pesquisa. Tratá-los como um único "bot da OpenAI" é onde a maioria dos ficheiros robots.txt falha.
A OpenAI gere uma pequena família de agentes de utilizador, e a divisão entre treino e pesquisa é deliberada. De acordo com a própria documentação de rastreadores da OpenAI, cada definição é independente: um webmaster pode permitir que o OAI-SearchBot apareça nos resultados de pesquisa enquanto bloqueia o GPTBot para manter o conteúdo fora do treino de modelos. Esse é todo o puzzle estratégico que a maioria das equipas de SEO perde.
Na verdade, existem quatro agentes da OpenAI que vale a pena conhecer, não dois:
- GPTBot: rastreador em massa que alimenta o pipeline de treino da OpenAI.
- OAI-SearchBot: indexa páginas especificamente para as funcionalidades de pesquisa e citação do ChatGPT.
- ChatGPT-User: dispara apenas quando um utilizador ao vivo pede ao ChatGPT para obter um URL específico em tempo real.
- OAI-AdsBot: verifica as páginas de destino de anúncios submetidos ao ChatGPT para conformidade com políticas. Apenas visita páginas submetidas como anúncios e, de acordo com a documentação da OpenAI, os seus dados também não são utilizados para treino de modelos.
A maioria dos guias publicados em 2023–2024 apenas menciona o GPTBot, porque o OAI-SearchBot ainda não existia. Se o seu robots.txt não foi tocado desde então, há uma boa probabilidade de estar silenciosamente a bloquear exatamente o rastreador responsável por o fazer ser citado no ChatGPT hoje.
O Que Cada Rastreador Faz e Por Que Importa
O GPTBot recolhe conteúdo web que pode ser utilizado para treinar e melhorar os modelos de IA generativa da OpenAI. O OAI-SearchBot constrói o índice em tempo real que alimenta as funcionalidades de pesquisa e citação do ChatGPT, e não é utilizado para treino. A diferença prática: um afeta o que o modelo sabe a longo prazo, o outro afeta se aparece agora mesmo.
GPTBot (agente de utilizador atual: GPTBot/1.4, string completa: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot) existe para alimentar o pipeline de treino da OpenAI, e nada mais. Bloqueie-o e o seu conteúdo não treinará modelos futuros. Não tem efeito na pesquisa do ChatGPT; esse é um sistema separado.
OAI-SearchBot (agente de utilizador atual: OAI-SearchBot/1.4; a sua string completa é mais longa que a do GPTBot, usando um prefixo estilo Chrome: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot) é mais recente, mais direcionado e rasteia para manter um índice atualizado para respostas em tempo real. Bloqueá-lo não protege a sua propriedade intelectual do treino. Remove-o da superfície de resposta do ChatGPT, ponto final. Se o seu objetivo é visibilidade na pesquisa de IA, este é o rastreador que importa. Os números de versão em ambos os agentes mudam periodicamente, por isso faça correspondência na substring GPTBot ou OAI-SearchBot em vez de fixar numa string de versão exata.
ChatGPT-User (agente de utilizador: ChatGPT-User/1.0) é o estranho. Não é rastreio automatizado. Dispara apenas quando alguém digita o seu URL no ChatGPT e pede ao modelo para o ler, ou interage com um GPT Personalizado através de GPT Actions. A OpenAI é direta sobre isto: porque estas obtenções são iniciadas pelo utilizador, as regras robots.txt podem nem sequer aplicar-se a elas da mesma forma que se aplicam a rastreadores automatizados. Bloqueá-lo raramente é útil. Pode quebrar uma obtenção que o utilizador explicitamente pediu, e não é o ponto de controlo para exclusões de pesquisa de qualquer forma; esse é o trabalho do OAI-SearchBot.
| Rastreador | Agente de Utilizador (string principal) | Objetivo | Utilizado para Treino? | Afeta Citações do ChatGPT? |
|---|---|---|---|---|
| GPTBot | GPTBot/1.4 | Rastreio em massa para treino de modelos | Sim | Não (apenas indireto) |
| OAI-SearchBot | OAI-SearchBot/1.4 | Indexação de pesquisa em tempo real | Não | Sim, diretamente |
| ChatGPT-User | ChatGPT-User/1.0 | Obtenção de página acionada pelo utilizador | Não | Não, robots.txt pode nem sequer aplicar-se |
| OAI-AdsBot | OAI-AdsBot/1.0 | Verifica páginas de destino de anúncios para conformidade com políticas | Não | Não |
A conclusão: estes são controlos independentes, não um único interruptor. Acione-os separadamente e controla como o ecossistema da OpenAI interage com o seu sítio.
Configuração robots.txt: Permitir Um, Bloquear o Outro
Configura o GPTBot e o OAI-SearchBot independentemente no mesmo ficheiro robots.txt, usando blocos User-agent separados. Permitir um e bloquear o outro não tem efeito no comportamento do outro. Esta é a configuração que a maioria dos sítios orientados para conteúdo deveria estar a executar em 2026: permanecer elegível para citações, excluir-se do treino.
Configuração recomendada para a maioria dos editores, visível na pesquisa do ChatGPT, excluído do treino:
# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /
Visibilidade máxima de IA: permitir ambos os rastreadores, aceitar que o conteúdo também pode ser utilizado para treino:
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
Exclusão total: sem citações, sem treino, normalmente reservado para conteúdo pago ou regulamentado:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Híbrido, controlo ao nível do caminho. Muitos sítios empresariais não fazem uma escolha de tudo ou nada. Abrem o blogue e a documentação, e bloqueiam áreas de conta e ferramentas internas:
User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
Algumas coisas que vale a pena saber antes de implementar qualquer uma destas:
- robots.txt é um pedido, não um mecanismo de aplicação. Rastreadores bem comportados respeitam-no, mas não tem peso legal por si só.
- Espere aproximadamente 24 horas para que os sistemas da OpenAI reflitam uma alteração no robots.txt no comportamento voltado para pesquisa.
- Regras ao nível de diretório só funcionam se estiverem sob o bloco
User-agentcorreto. UmAllow: /perdido sob o agente errado desfaz a sua intenção.
Verificação: Intervalos de IP e Padrões de Rastreio
Verifica um rastreador que afirma ser GPTBot ou OAI-SearchBot verificando o pedido contra os intervalos de IP publicados pela OpenAI, não confiando apenas na string do agente de utilizador. Os agentes de utilizador podem ser falsificados; os intervalos de IP são muito mais difíceis de falsificar. A OpenAI publica ficheiros JSON legíveis por máquina para cada agente especificamente para que esta verificação possa ser automatizada.
Os intervalos publicados encontram-se em URLs previsíveis:
openai.com/gptbot.json(intervalos do GPTBot)openai.com/searchbot.json(intervalos do OAI-SearchBot)openai.com/chatgpt-user.json(intervalos do ChatGPT-User)
Um fluxo de trabalho prático de verificação é assim:
- Pesquisar registos de acesso ao servidor pela substring relevante (
GPTBot,OAI-SearchBot,ChatGPT-User). - Extrair o IP solicitante de cada linha de registo correspondente.
- Fazer referência cruzada desse IP com o ficheiro de intervalo JSON correspondente.
- Sinalizar qualquer pedido que afirme ser um rastreador da OpenAI mas não corresponda a um intervalo publicado. Esse é um bot falsificado ou não relacionado, não a OpenAI.
Um detalhe que complica auditorias de registos: quando o GPTBot ou o OAI-SearchBot obtêm o próprio ficheiro robots.txt, a documentação da OpenAI nota que podem anexar um marcador robots.txt extra à string do agente de utilizador, especificamente para que registos sem dados de caminho completo ainda possam distinguir uma verificação de robots.txt de uma obtenção de página normal. Se estiver a fazer grep de registos apenas por agente de utilizador, tenha em conta esse marcador ou pode contar em duplicado ou categorizar mal os pedidos.
Sobre padrões de rastreio: a OpenAI declarou que se um sítio permitir tanto o GPTBot como o OAI-SearchBot, pode reutilizar os resultados de um único rastreio para ambos os fins em vez de rastrear as mesmas páginas duas vezes. Pegadas de rastreio idênticas para ambos os agentes não significam necessariamente duas passagens separadas. Não leia o volume de rastreio como um indicador de qual agente é "mais agressivo". Verifique qual agente está realmente a aceder aos seus registos e faça corresponder esses IPs aos intervalos publicados.
Impacto nas Citações do ChatGPT
Bloquear o OAI-SearchBot remove o seu conteúdo das respostas de pesquisa do ChatGPT, mesmo que o GPTBot já tenha rastreado e treinado nas mesmas páginas noutro lugar. De acordo com a documentação da OpenAI, um sítio excluído não aparecerá em respostas de pesquisa citadas, embora ainda possa surgir como uma ligação de navegação simples. A exclusão afeta a inclusão de grau de citação, não todas as menções. Isso quebra uma suposição antiga: "se a IA já conhece o meu sítio, estou coberto". Em 2026, conhecer e citar são sistemas separados.
Algumas consequências que vale a pena interiorizar:
- Um sítio pode ser "conhecido" pelo modelo e ainda assim invisível nas respostas de pesquisa. Os dados de treino e o índice de citação ao vivo não comunicam entre si.
- Permitir o GPTBot não tem influência sobre se é citado hoje. O treino afeta uma versão futura do modelo, não os resultados de pesquisa do ChatGPT desta semana.
- Um ficheiro robots.txt herdado de um modelo de 2023 é uma causa comum e invisível de citações em falta. O OAI-SearchBot não existia quando muitos desses ficheiros foram escritos, por isso é frequentemente apanhado por uma regra geral de "bloquear todos os bots da OpenAI" que o antecede.
- O bloqueio ao nível do caminho ainda se aplica. Se o OAI-SearchBot for permitido em todo o sítio mas bloqueado no seu melhor conteúdo de formato longo, esse conteúdo não surgirá nas respostas do ChatGPT, não importa quão forte seja.
Se a sua estratégia de conteúdo depende de visibilidade na pesquisa de IA, e para a maioria dos nichos competitivos em 2026, cada vez mais depende, o acesso do OAI-SearchBot não é opcional. É a única linha de configuração que determina se o seu melhor trabalho tem hipótese de ser citado.
Verifique a Sua Própria Configuração de Visibilidade de IA
Ler uma lista de verificação é uma coisa; saber se o seu próprio sítio está configurado corretamente é outra. Regras robots.txt mal configuradas, modelos órfãos de "bloquear toda a IA" e erros ao nível do caminho são suficientemente comuns para que adivinhar não seja uma estratégia fiável.
A ferramenta de Visibilidade de IA da ICODA verifica exatamente isto: se o seu sítio é acessível pelo OAI-SearchBot e pelos outros rastreadores que determinam a elegibilidade de citação de IA, e onde estão as lacunas. Se o GPTBot e o OAI-SearchBot têm sido uma linha indiferenciada no seu ficheiro robots.txt, vale a pena cinco minutos para confirmar que não está acidentalmente a excluir-se de citações que deseja.
Perguntas frequentes
Não, bloquear o GPTBot não tem qualquer efeito no Google. A OpenAI e o Google executam rastreadores completamente separados e sistemas separados, por isso uma regra de bloqueio do GPTBot não toca nas suas classificações. A única forma de ser prejudicado é se usar um bloqueio User-agent: * preguiçoso que apanha o Googlebot juntamente com o GPTBot. Verifique o seu robots.txt linha a linha — se o GPTBot tiver o seu próprio bloco dedicado, está bem.
O robots.txt não tem peso legal, isso é verdade, é um pedido, não um bloqueio. Mas a OpenAI tem-no cumprido na prática, e pode verificar o tráfego real do GPTBot ou OAI-SearchBot contra os seus intervalos de IP publicados para confirmar que estão a respeitar as suas regras. O risco real não é a OpenAI ignorar o robots.txt, é algum outro bot falsificar a string do agente de utilizador para passar filtros que apenas verificam o nome. Se quer certeza, verifique IPs, não apenas o agente de utilizador.
Não, bloqueá-lo agora apenas impede rastreios futuros, não apaga o que já está incorporado num modelo treinado. O treino acontece em ciclos, por isso qualquer coisa que o GPTBot tenha obtido antes de o bloquear ainda pode aparecer no comportamento do modelo durante meses ou mais. Se o seu objetivo é "tirar o meu conteúdo antigo dos dados de treino do ChatGPT", o robots.txt não pode fazer isso retroativamente. O que pode fazer é impedir que novo conteúdo entre daqui para a frente.
Provavelmente não, e bloqueá-lo geralmente sai pela culatra. O ChatGPT-User só dispara quando uma pessoa real cola o seu URL no ChatGPT e pede para ler a página, por isso bloqueá-lo apenas quebra uma obtenção que alguém explicitamente pediu. Não tem nada a ver com treino e também não é o controlo de exclusão para citações de pesquisa, esse é o trabalho do OAI-SearchBot. Guarde o seu esforço de bloqueio para o GPTBot ou OAI-SearchBot dependendo do que está realmente a tentar controlar.
Sim, é exatamente isso que estes dois rastreadores foram construídos para permitir fazer. Bloqueie o GPTBot para excluir-se do treino, e permita separadamente o OAI-SearchBot para que as suas páginas permaneçam elegíveis para citação nas respostas de pesquisa do ChatGPT. Não é um interruptor, são definições independentes no mesmo ficheiro robots.txt. O compromisso é que está a confiar que a separação da OpenAI realmente se mantém na prática, e a OpenAI declarou que os dois sistemas não se sobrepõem, mas está a confiar na palavra deles para isso.
Partilhar
Avaliar o artigo
