Wenn Sie in letzter Zeit Ihre Server-Logs überprüft haben, haben Sie wahrscheinlich den GPTBot gesehen. Weniger Leute bemerken seinen ruhigeren Bruder, den OAI-SearchBot, der direkt daneben sitzt und eine andere Aufgabe erfüllt. Die beiden zu verwechseln, ist der häufigste Fehler bei KI-robots.txt-Konfigurationen und kostet Websites still und leise ihre ChatGPT-Zitate, ohne dass jemand merkt, warum.
Die beiden Crawler lassen sich klar entlang einer Linie trennen: Training versus Suche. Wenn Sie diese Linie in der robots.txt falsch ziehen, können Sie Zitate verlieren, die Sie eigentlich nie aufgeben wollten.
GPTBot vs. OAI-SearchBot: Zwei verschiedene OpenAI-Crawler
GPTBot und OAI-SearchBot sind separate Crawler mit unterschiedlichen Aufgaben: GPTBot sammelt Inhalte für das Training der OpenAI-Modelle, während der OAI-SearchBot Seiten indexiert, damit ChatGPT sie in Suchantworten abrufen und zitieren kann. Sie als einen einzigen „OpenAI-Bot“ zu behandeln, ist der Punkt, an dem die meisten robots.txt-Dateien scheitern.
OpenAI betreibt eine kleine Familie von User-Agents, und die Trennung zwischen Training und Suche ist beabsichtigt. Laut der eigenen Crawler-Dokumentation von OpenAI ist jede Einstellung unabhängig: Ein Webmaster kann dem OAI-SearchBot erlauben, in den Suchergebnissen zu erscheinen, während er dem GPTBot verbietet, Inhalte für das Modelltraining zu verwenden. Das ist das gesamte strategische Rätsel, das die meisten SEO-Teams übersehen.
Es gibt eigentlich vier OpenAI-Agents, die man kennen sollte, nicht nur zwei:
- GPTBot: Ein Bulk-Crawler, der die Trainings-Pipeline von OpenAI speist.
- OAI-SearchBot: Indexiert Seiten speziell für die Such- und Zitierfunktionen von ChatGPT.
- ChatGPT-User: Wird nur aktiv, wenn ein Live-Nutzer ChatGPT bittet, eine bestimmte URL in Echtzeit abzurufen.
- OAI-AdsBot: Überprüft die Landingpages von Anzeigen, die bei ChatGPT eingereicht wurden, auf Richtlinienkonformität. Er besucht nur Seiten, die als Anzeigen eingereicht wurden, und laut OpenAI-Dokumentation werden seine Daten ebenfalls nicht für das Modelltraining verwendet.
Die meisten in den Jahren 2023–2024 veröffentlichten Leitfäden erwähnen nur den GPTBot, da der OAI-SearchBot damals noch nicht existierte. Wenn Ihre robots.txt seitdem nicht mehr angefasst wurde, besteht eine gute Chance, dass sie genau den Crawler blockiert, der heute dafür verantwortlich ist, dass Sie in ChatGPT zitiert werden.
Was jeder Crawler tut und warum es wichtig ist
GPTBot sammelt Webinhalte, die zum Trainieren und Verbessern der generativen KI-Modelle von OpenAI verwendet werden können. Der OAI-SearchBot erstellt den Echtzeit-Index, der die Such- und Zitierfunktionen von ChatGPT unterstützt, und wird überhaupt nicht für das Training verwendet. Der praktische Unterschied: Der eine beeinflusst, was das Modell langfristig weiß, der andere beeinflusst, ob Sie jetzt gerade erscheinen.
GPTBot (aktueller User-Agent: GPTBot/1.4, vollständiger String: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot) existiert nur, um die Trainings-Pipeline von OpenAI zu speisen. Wenn Sie ihn blockieren, werden Ihre Inhalte künftige Modelle nicht trainieren. Er hat keine Auswirkungen auf die ChatGPT-Suche; das ist ein separates System.
OAI-SearchBot (aktueller User-Agent: OAI-SearchBot/1.4; sein vollständiger String ist länger als der von GPTBot und verwendet ein Präfix im Chrome-Stil: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot) ist jünger, zielgerichteter und crawlt, um einen aktuellen Index für Echtzeit-Antworten zu pflegen. Ihn zu blockieren, schützt Ihr geistiges Eigentum nicht vor dem Training. Es entfernt Sie schlichtweg aus der Antwortoberfläche von ChatGPT. Wenn Ihr Ziel die Sichtbarkeit in der KI-Suche ist, ist dies der entscheidende Crawler. Die Versionsnummern beider Agents ändern sich regelmäßig, daher sollten Sie eher auf den Substring GPTBot oder OAI-SearchBot prüfen, anstatt sich auf einen exakten Versions-String festzulegen.
ChatGPT-User (User-Agent: ChatGPT-User/1.0) ist der Sonderfall. Es handelt sich dabei gar nicht um automatisiertes Crawling. Er wird nur aktiv, wenn jemand Ihre URL in ChatGPT eingibt und das Modell bittet, sie zu lesen, oder über GPT-Actions mit einem Custom GPT interagiert. OpenAI ist hier deutlich: Da diese Abrufe nutzerinitiiert sind, gelten robots.txt-Regeln für sie möglicherweise nicht so wie für automatisierte Crawler. Ihn zu blockieren, ist selten sinnvoll. Es kann einen Abruf verhindern, den der Nutzer explizit angefordert hat, und es ist ohnehin nicht der Kontrollpunkt für das Opt-out aus der Suche; das ist die Aufgabe des OAI-SearchBot.
| Crawler | User-Agent (Kern-String) | Zweck | Für Training verwendet? | Beeinflusst ChatGPT-Zitate? |
|---|---|---|---|---|
| GPTBot | GPTBot/1.4 | Bulk-Crawl für Modelltraining | Ja | Nein (nur indirekt) |
| OAI-SearchBot | OAI-SearchBot/1.4 | Echtzeit-Suchindexierung | Nein | Ja, direkt |
| ChatGPT-User | ChatGPT-User/1.0 | Nutzergesteuerter Seitenabruf | Nein | Nein, robots.txt findet möglicherweise nicht einmal Anwendung |
| OAI-AdsBot | OAI-AdsBot/1.0 | Prüft Anzeigen-Landingpages auf Richtlinienkonformität | Nein | Nein |
Das Fazit: Dies sind unabhängige Hebel, kein einzelner Schalter. Bedienen Sie sie separat, und Sie kontrollieren, wie das Ökosystem von OpenAI mit Ihrer Website interagiert.
robots.txt-Konfiguration: Einen erlauben, den anderen blockieren
Sie konfigurieren GPTBot und OAI-SearchBot unabhängig voneinander in derselben robots.txt-Datei unter Verwendung separater User-agent-Blöcke. Das Erlauben des einen und das Verbieten des anderen hat keine Auswirkungen auf das Verhalten des jeweils anderen. Dies ist die Konfiguration, die die meisten inhaltsgetriebenen Websites im Jahr 2026 nutzen sollten: für Zitate berechtigt bleiben, das Training ablehnen.
Empfohlenes Setup für die meisten Publisher (sichtbar in der ChatGPT-Suche, Training abgelehnt):
# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /
Maximale KI-Sichtbarkeit: Beide Crawler zulassen und akzeptieren, dass Inhalte auch für das Training verwendet werden können:
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
Vollständiges Opt-out: Keine Zitate, kein Training (typischerweise für Paywall-Inhalte oder regulierte Inhalte reserviert):
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Hybrid, Kontrolle auf Pfadebene. Viele Unternehmens-Websites treffen keine Alles-oder-Nichts-Entscheidung. Sie öffnen den Blog und die Dokumentation und sperren Kontobereiche sowie interne Tools:
User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
Ein paar Dinge, die Sie wissen sollten, bevor Sie eine dieser Konfigurationen live schalten:
- Die robots.txt ist eine Bitte, kein Durchsetzungsmechanismus. Seriöse Crawler respektieren sie, aber sie hat für sich genommen keine rechtliche Bindungskraft.
- Rechnen Sie mit etwa 24 Stunden, bis die Systeme von OpenAI eine robots.txt-Änderung im suchrelevanten Verhalten widerspiegeln.
- Regeln auf Verzeichnisebene funktionieren nur, wenn sie unter dem korrekten
User-agent-Block stehen. Ein verwaistesAllow: /unter dem falschen Agent macht Ihre Absicht zunichte.
Verifizierung: IP-Bereiche und Crawl-Muster
Sie verifizieren einen Crawler, der vorgibt, GPTBot oder OAI-SearchBot zu sein, indem Sie die Anfrage mit den von OpenAI veröffentlichten IP-Bereichen abgleichen, anstatt nur dem User-Agent-String zu vertrauen. User-Agents können gefälscht werden; IP-Bereiche sind viel schwerer vorzutäuschen. OpenAI veröffentlicht maschinenlesbare JSON-Dateien für jeden Agent, damit diese Prüfung automatisiert werden kann.
Die veröffentlichten Bereiche befinden sich unter vorhersehbaren URLs:
openai.com/gptbot.json(IP-Bereiche des GPTBot)openai.com/searchbot.json(IP-Bereiche des OAI-SearchBot)openai.com/chatgpt-user.json(IP-Bereiche des ChatGPT-User)
Ein praktischer Verifizierungs-Workflow sieht so aus:
- Durchsuchen Sie die Server-Zugriffsprotokolle nach dem relevanten Substring (
GPTBot,OAI-SearchBot,ChatGPT-User). - Extrahieren Sie die anfragende IP aus jeder passenden Log-Zeile.
- Gleichen Sie diese IP mit der entsprechenden JSON-Bereichsdatei ab.
- Markieren Sie jede Anfrage, die vorgibt, ein OpenAI-Crawler zu sein, aber nicht mit einem veröffentlichten Bereich übereinstimmt. Das ist ein gefälschter oder nicht zugehöriger Bot, nicht OpenAI.
Ein Detail, das bei Log-Audits oft übersehen wird: Wenn GPTBot oder OAI-SearchBot die robots.txt-Datei selbst abrufen, merken sie laut OpenAI-Dokumentation möglicherweise eine zusätzliche robots.txt-Markierung am User-Agent-String an. Dies geschieht speziell, damit Logs ohne vollständige Pfaddaten eine robots.txt-Prüfung von einem regulären Seitenabruf unterscheiden können. Wenn Sie Logs nur nach User-Agent filtern, sollten Sie diese Markierung berücksichtigen, um Anfragen nicht doppelt zu zählen oder falsch zu kategorisieren.
Zu den Crawl-Mustern: OpenAI hat erklärt, dass eine Website, die sowohl GPTBot als auch OAI-SearchBot zulässt, die Ergebnisse eines einzelnen Crawls für beide Zwecke wiederverwenden kann, anstatt dieselben Seiten zweimal zu crawlen. Identische Crawl-Footprints für beide Agents bedeuten also nicht zwangsläufig zwei separate Durchgänge. Interpretieren Sie das Crawl-Volumen nicht als Indikator dafür, welcher Agent „aggressiver“ ist. Prüfen Sie, welcher Agent tatsächlich in Ihren Logs erscheint, und gleichen Sie diese IPs mit den veröffentlichten Bereichen ab.
Auswirkungen auf ChatGPT-Zitate
Das Blockieren des OAI-SearchBot entfernt Ihre Inhalte aus den Suchantworten von ChatGPT, selbst wenn der GPTBot dieselben Seiten bereits an anderer Stelle gecrawlt und für das Training verwendet hat. Laut OpenAI-Dokumentation wird eine Website, die sich gegen den Zugriff entschieden hat, nicht in zitierten Suchantworten erscheinen, kann aber weiterhin als einfacher Navigationslink auftauchen. Das Opt-out betrifft die Aufnahme in Zitate, nicht jede Erwähnung. Das widerlegt eine alte Annahme: „Wenn die KI meine Website bereits kennt, bin ich abgedeckt.“ Im Jahr 2026 sind Wissen und Zitieren zwei separate Systeme.
Einige Konsequenzen, die man verinnerlichen sollte:
- Eine Website kann dem Modell „bekannt“ sein und dennoch in Suchantworten unsichtbar bleiben. Trainingsdaten und der Live-Zitierindex kommunizieren nicht miteinander.
- Das Zulassen des GPTBot hat keinen Einfluss darauf, ob Sie heute zitiert werden. Das Training beeinflusst eine zukünftige Modellversion, nicht die ChatGPT-Suchergebnisse dieser Woche.
- Eine robots.txt-Datei, die von einem Template aus dem Jahr 2023 übernommen wurde, ist eine häufige, unsichtbare Ursache für fehlende Zitate. Der OAI-SearchBot existierte noch nicht, als viele dieser Dateien geschrieben wurden, daher wird er oft von einer pauschalen „Alle OpenAI-Bots blockieren“-Regel erfasst, die älter ist als er selbst.
- Blockierungen auf Pfadebene gelten weiterhin. Wenn der OAI-SearchBot für die gesamte Website zugelassen, aber für Ihre besten Long-Form-Inhalte blockiert ist, werden diese Inhalte nicht in ChatGPT-Antworten erscheinen, egal wie gut sie sind.
Wenn Ihre Content-Strategie von der KI-Suchsichtbarkeit abhängt – und für die meisten wettbewerbsintensiven Nischen im Jahr 2026 ist das zunehmend der Fall –, ist der Zugriff für den OAI-SearchBot nicht optional. Es ist die einzige Konfigurationszeile, die darüber entscheidet, ob Ihre beste Arbeit überhaupt eine Chance hat, zitiert zu werden.
Überprüfen Sie Ihr eigenes KI-Sichtbarkeits-Setup
Eine Checkliste zu lesen ist das eine; zu wissen, ob die eigene Website korrekt konfiguriert ist, das andere. Fehlkonfigurierte robots.txt-Regeln, verwaiste „Alle KI blockieren“-Templates und Fehler auf Pfadebene sind so häufig, dass Raten keine verlässliche Strategie ist.
Das AI Visibility Tool von ICODA prüft genau dies: ob Ihre Website für den OAI-SearchBot und die anderen Crawler erreichbar ist, die über die Berechtigung für KI-Zitate entscheiden, und wo die Lücken liegen. Wenn GPTBot und OAI-SearchBot bisher eine undifferenzierte Zeile in Ihrer robots.txt-Datei waren, lohnt es sich, fünf Minuten zu investieren, um sicherzustellen, dass Sie nicht versehentlich auf Zitate verzichten, die Sie eigentlich wollen.
Häufig gestellte Fragen
Nein, das Blockieren des GPTBot hat keinerlei Auswirkungen auf Google. OpenAI und Google betreiben völlig separate Crawler und Systeme, daher berührt eine Disallow-Regel für den GPTBot Ihre Rankings nicht. Die einzige Gefahr besteht darin, wenn Sie einen unpräzisen User-agent: *-Block verwenden, der neben dem GPTBot auch den Googlebot erfasst. Überprüfen Sie Ihre robots.txt Zeile für Zeile – wenn der GPTBot seinen eigenen dedizierten Block hat, ist alles in Ordnung.
Die robots.txt hat keine rechtliche Bindungskraft, das stimmt – sie ist eine Bitte, kein Schloss. Aber OpenAI hat sich in der Praxis daran gehalten, und Sie können den tatsächlichen Traffic von GPTBot oder OAI-SearchBot mit deren veröffentlichten IP-Bereichen abgleichen, um zu bestätigen, dass sie Ihre Regeln respektieren. Das eigentliche Risiko ist nicht, dass OpenAI die robots.txt ignoriert, sondern dass ein anderer Bot den User-Agent-String fälscht, um Filter zu umgehen, die nur den Namen prüfen. Wenn Sie Sicherheit wollen, prüfen Sie die IPs, nicht nur den User-Agent.
Nein, das Blockieren stoppt nur zukünftige Crawls; es löscht nicht das, was bereits in ein trainiertes Modell eingeflossen ist. Das Training erfolgt in Zyklen, sodass alles, was der GPTBot vor der Blockierung erfasst hat, noch monatelang oder länger im Modellverhalten auftauchen kann. Wenn Ihr Ziel ist, „meine alten Inhalte aus den Trainingsdaten von ChatGPT zu entfernen“, kann die robots.txt das nicht rückwirkend leisten. Sie kann jedoch verhindern, dass künftig neue Inhalte einfließen.
Wahrscheinlich nicht, und das Blockieren geht meistens nach hinten los. Der ChatGPT-User wird nur aktiv, wenn eine echte Person Ihre URL in ChatGPT einfügt und bittet, die Seite zu lesen. Ihn zu blockieren, verhindert also nur einen Abruf, den jemand explizit angefordert hat. Er hat nichts mit dem Training zu tun und ist auch nicht der Hebel für das Opt-out von Suchzitaten – das ist die Aufgabe des OAI-SearchBot. Konzentrieren Sie Ihre Blockier-Bemühungen auf GPTBot oder OAI-SearchBot, je nachdem, was Sie tatsächlich kontrollieren möchten.
Ja, genau dafür sind diese beiden Crawler gedacht. Verbieten Sie den GPTBot, um das Training abzulehnen, und erlauben Sie separat den OAI-SearchBot, damit Ihre Seiten für Zitate in den Suchantworten von ChatGPT berechtigt bleiben. Es ist kein einzelner Schalter, sondern es sind unabhängige Einstellungen in derselben robots.txt-Datei. Der Kompromiss besteht darin, dass Sie darauf vertrauen, dass OpenAI diese Trennung in der Praxis tatsächlich einhält. OpenAI hat erklärt, dass die beiden Systeme nicht überlappen, aber Sie verlassen sich dabei auf deren Wort.
Teilen Sie
Den Artikel bewerten
