GPTBot spiegato: i web crawler di OpenAI e cosa significano per il tuo sito web

Se hai controllato i log del tuo server di recente, probabilmente hai visto comparire GPTBot. Meno persone notano il suo fratello più silenzioso, OAI-SearchBot, seduto proprio accanto, che svolge un lavoro diverso. Confondere i due è l’errore più comune nelle configurazioni robots.txt per l’AI, e sta silenziosamente costando ai siti le loro citazioni ChatGPT senza che nessuno capisca perché.

I due crawler si dividono nettamente lungo una linea: addestramento versus ricerca. Sbaglia quella linea in robots.txt e puoi perdere citazioni che non avresti mai voluto rinunciare.

GPTBot vs OAI-SearchBot: due crawler OpenAI diversi

GPTBot e OAI-SearchBot sono crawler separati con compiti separati: GPTBot raccoglie contenuti per addestrare i modelli di OpenAI, mentre OAI-SearchBot indicizza le pagine in modo che ChatGPT possa recuperarle e citarle nelle risposte di ricerca. Trattarli come un unico "bot OpenAI" è dove la maggior parte dei file robots.txt sbaglia.

OpenAI gestisce una piccola famiglia di user agent, e la divisione tra addestramento e ricerca è deliberata. Secondo la documentazione ufficiale dei crawler di OpenAI, ogni impostazione è indipendente: un webmaster può consentire a OAI-SearchBot di apparire nei risultati di ricerca mentre non consente a GPTBot di mantenere i contenuti fuori dall’addestramento del modello. Questo è l’intero puzzle strategico che la maggior parte dei team SEO perde.

Ci sono in realtà quattro agenti OpenAI che vale la pena conoscere, non due:

• GPTBot: crawler di massa che alimenta la pipeline di addestramento di OpenAI.
• OAI-SearchBot: indicizza le pagine specificamente per le funzionalità di ricerca e citazione di ChatGPT.
• ChatGPT-User: si attiva solo quando un utente dal vivo chiede a ChatGPT di recuperare un URL specifico in tempo reale.
• OAI-AdsBot: controlla le landing page degli annunci inviati a ChatGPT per la conformità alle policy. Visita solo le pagine inviate come annunci e, secondo la documentazione di OpenAI, i suoi dati non vengono utilizzati nemmeno per l’addestramento del modello.

La maggior parte delle guide pubblicate nel 2023–2024 menziona solo GPTBot, perché OAI-SearchBot non esisteva ancora. Se il tuo robots.txt non è stato toccato da allora, c’è una buona probabilità che stia silenziosamente bloccando esattamente il crawler responsabile di farti citare in ChatGPT oggi.

Cosa fa ogni crawler e perché è importante

GPTBot raccoglie contenuti web che possono essere utilizzati per addestrare e migliorare i modelli di AI generativa di OpenAI. OAI-SearchBot costruisce l’indice in tempo reale che alimenta le funzionalità di ricerca e citazione di ChatGPT, e non viene utilizzato affatto per l’addestramento. La differenza pratica: uno influisce su ciò che il modello sa a lungo termine, l’altro influisce sul fatto che tu compaia proprio ora.

GPTBot (user agent attuale: GPTBot/1.4, stringa completa: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot) esiste per alimentare la pipeline di addestramento di OpenAI, e nient’altro. Bloccalo e i tuoi contenuti non addestreranno i modelli futuri. Non ha alcun effetto sulla ricerca ChatGPT; quello è un sistema separato.

OAI-SearchBot (user agent attuale: OAI-SearchBot/1.4; la sua stringa completa è più lunga di quella di GPTBot, utilizzando un prefisso in stile Chrome: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot) è più giovane, più mirato e esegue il crawl per mantenere un indice aggiornato per le risposte in tempo reale. Bloccarlo non protegge la tua proprietà intellettuale dall’addestramento. Ti rimuove dalla superficie di risposta di ChatGPT, punto. Se il tuo obiettivo è la visibilità nella ricerca AI, questo è il crawler che conta. I numeri di versione su entrambi gli agenti cambiano periodicamente, quindi abbina la sottostringa GPTBot o OAI-SearchBot piuttosto che fissarti su una stringa di versione esatta.

ChatGPT-User (user agent: ChatGPT-User/1.0) è quello strano. Non è affatto crawling automatizzato. Si attiva solo quando qualcuno digita il tuo URL in ChatGPT e chiede al modello di leggerlo, o interagisce con un GPT personalizzato tramite GPT Actions. OpenAI è diretto su questo: poiché questi recuperi sono avviati dall’utente, le regole robots.txt potrebbero non applicarsi nemmeno a loro nel modo in cui si applicano ai crawler automatizzati. Bloccarlo è raramente utile. Può interrompere un recupero che l’utente ha esplicitamente richiesto, e comunque non è il punto di controllo per le esclusioni dalla ricerca; quello è il compito di OAI-SearchBot.

Il punto chiave: queste sono leve indipendenti, non un unico interruttore. Azionale separatamente e controlli come l’ecosistema di OpenAI interagisce con il tuo sito.

Configurazione robots.txt: consenti uno, blocca l’altro

Configuri GPTBot e OAI-SearchBot indipendentemente nello stesso file robots.txt, utilizzando blocchi User-agent separati. Consentire uno e non consentire l’altro non ha alcun effetto sul comportamento dell’altro. Questa è la configurazione che la maggior parte dei siti orientati ai contenuti dovrebbe utilizzare nel 2026: rimani idoneo per le citazioni, escludi l’addestramento.

Configurazione consigliata per la maggior parte degli editori, visibile nella ricerca ChatGPT, escluso dall’addestramento:

# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /

Massima visibilità AI: consenti entrambi i crawler, accetta che i contenuti possano essere utilizzati anche per l’addestramento:

User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

Esclusione completa: nessuna citazione, nessun addestramento, tipicamente riservato a contenuti a pagamento o regolamentati:

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /

Ibrido, controllo a livello di percorso. Molti siti enterprise non fanno una scelta tutto o niente. Aprono il blog e la documentazione e bloccano le aree account e gli strumenti interni:

User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /

Alcune cose che vale la pena sapere prima di implementare una di queste:

• robots.txt è una richiesta, non un meccanismo di applicazione. I crawler ben educati lo rispettano, ma non ha alcun peso legale di per sé.
• Aspettati circa 24 ore perché i sistemi di OpenAI riflettano una modifica di robots.txt nel comportamento rivolto alla ricerca.
• Le regole a livello di directory funzionano solo se si trovano sotto il blocco User-agent corretto. Un Allow: / fuori posto sotto l’agente sbagliato annulla la tua intenzione.

Verifica: intervalli IP e pattern di crawl

Verifichi un crawler che afferma di essere GPTBot o OAI-SearchBot controllando la richiesta rispetto agli intervalli IP pubblicati da OpenAI, non fidandoti solo della stringa user-agent. Gli user agent possono essere falsificati; gli intervalli IP sono molto più difficili da falsificare. OpenAI pubblica file JSON leggibili dalla macchina per ogni agente specificamente in modo che questo controllo possa essere automatizzato.

Gli intervalli pubblicati si trovano a URL prevedibili:

• openai.com/gptbot.json (intervalli di GPTBot)
• openai.com/searchbot.json (intervalli di OAI-SearchBot)
• openai.com/chatgpt-user.json (intervalli di ChatGPT-User)

Un flusso di lavoro di verifica pratico si presenta così:

1. Cerca nei log di accesso del server la sottostringa rilevante (GPTBot, OAI-SearchBot, ChatGPT-User).
2. Estrai l’IP richiedente da ogni riga di log corrispondente.
3. Confronta quell’IP con il file di intervallo JSON corrispondente.
4. Segnala qualsiasi richiesta che afferma di essere un crawler OpenAI ma non corrisponde a un intervallo pubblicato. Quello è un bot falsificato o non correlato, non OpenAI.

Un dettaglio che complica gli audit dei log: quando GPTBot o OAI-SearchBot recuperano il file robots.txt stesso, la documentazione di OpenAI nota che potrebbero aggiungere un marcatore robots.txt extra alla stringa user-agent, specificamente in modo che i log senza dati di percorso completi possano ancora distinguere un controllo robots.txt da un recupero di pagina normale. Se stai cercando nei log solo per user-agent, tieni conto di quel marcatore o potresti contare due volte o classificare erroneamente le richieste.

Sui pattern di crawl: OpenAI ha dichiarato che se un sito consente sia GPTBot che OAI-SearchBot, potrebbe riutilizzare i risultati di un singolo crawl per entrambi gli scopi piuttosto che eseguire il crawl delle stesse pagine due volte. Impronte di crawl identiche per entrambi gli agenti non significano necessariamente due passaggi separati. Non leggere il volume di crawl come un proxy per quale agente è "più aggressivo". Controlla quale agente sta effettivamente colpendo i tuoi log e abbina quegli IP agli intervalli pubblicati.

Impatto sulle citazioni ChatGPT

Bloccare OAI-SearchBot rimuove i tuoi contenuti dalle risposte di ricerca di ChatGPT, anche se GPTBot ha già eseguito il crawl e addestrato sulle stesse pagine altrove. Secondo la documentazione di OpenAI, un sito escluso non apparirà nelle risposte di ricerca citate, anche se può ancora emergere come semplice link di navigazione. L’esclusione influisce sull’inclusione di livello citazione, non su ogni menzione. Questo rompe una vecchia supposizione: "se l’AI conosce già il mio sito, sono a posto". Nel 2026, conoscere e citare sono sistemi separati.

Alcune conseguenze che vale la pena interiorizzare:

• Un sito può essere "conosciuto" dal modello e comunque invisibile nelle risposte di ricerca. I dati di addestramento e l’indice di citazione dal vivo non comunicano tra loro.
• Consentire GPTBot non ha alcuna influenza sul fatto che tu venga citato oggi. L’addestramento influisce su una versione futura del modello, non sui risultati di ricerca ChatGPT di questa settimana.
• Un file robots.txt ereditato da un template del 2023 è una causa comune e invisibile di citazioni mancanti. OAI-SearchBot non esisteva quando molti di quei file sono stati scritti, quindi spesso viene catturato da una regola generale "blocca tutti i bot OpenAI" che lo precede.
• Il blocco a livello di percorso si applica ancora. Se OAI-SearchBot è consentito a livello di sito ma bloccato sui tuoi migliori contenuti long-form, quei contenuti non emergeranno nelle risposte ChatGPT, non importa quanto siano forti.

Se la tua strategia di contenuti dipende dalla visibilità nella ricerca AI, e per la maggior parte delle nicchie competitive nel 2026 lo è sempre di più, l’accesso a OAI-SearchBot non è facoltativo. È la singola riga di configurazione che determina se il tuo miglior lavoro ha una possibilità di essere citato.

Controlla la tua configurazione di visibilità AI

Leggere una checklist è una cosa; sapere se il tuo sito è configurato correttamente è un’altra. Regole robots.txt mal configurate, template "blocca tutta l’AI" orfani ed errori a livello di percorso sono abbastanza comuni che indovinare non è una strategia affidabile.

Lo strumento AI Visibility di ICODA controlla esattamente questo: se il tuo sito è raggiungibile da OAI-SearchBot e dagli altri crawler che determinano l’idoneità alla citazione AI, e dove sono le lacune. Se GPTBot e OAI-SearchBot sono stati una riga indifferenziata nel tuo file robots.txt, vale la pena dedicare cinque minuti per confermare che non ti stai accidentalmente escludendo dalle citazioni che desideri.