GPTBotを解説：OpenAIのウェブクローラーと、それがあなたのサイトに意味すること

最近サーバーログを確認していれば、GPTBotが出てきたのを見たことがあるはずです。一方で、より静かな兄弟分であるOAI-SearchBotが、そのすぐ隣で別の仕事をしていることに気づく人は多くありません。この2つを混同するのはAI向けrobots.txt設定で最も多いミスで、気づかないうちにサイトのChatGPTの引用を失っている原因になっています。

この2つのクローラーは、たった1本の線で明確に分かれます。学習か、検索か。robots.txtでその線を間違えると、手放すつもりのなかった引用を失いかねません。

GPTBot vs OAI-SearchBot：2つの異なるOpenAIクローラー

GPTBotとOAI-SearchBotは、役割の異なる別々のクローラーです。GPTBotはOpenAIのモデル学習のためにコンテンツを収集し、OAI-SearchBotはChatGPTが検索回答で取得・引用できるようページをインデックスします。両者を「OpenAI bot」ひとつとして扱うことが、robots.txtが失敗する最大の原因です。

OpenAIは少数のユーザーエージェント群を運用しており、学習と検索の分離は意図的です。OpenAI自身のクローラードキュメントによれば、各設定は独立しています。つまり、ウェブマスターはOAI-SearchBotを検索結果に出すことを許可しつつ、GPTBotを拒否してコンテンツをモデル学習から除外できます。これこそ、多くのSEOチームが見落としている戦略的なパズルです。

実は、知っておくべきOpenAIのエージェントは2つではなく4つあります。

• GPTBot：OpenAIの学習パイプラインに供給する大規模クローラー。
• OAI-SearchBot：ChatGPTの検索・引用機能のためにページを特化してインデックス。
• ChatGPT-User：ライブユーザーがChatGPTに特定URLをリアルタイムで取得させたときにのみ発火。
• OAI-AdsBot：ChatGPTに広告として提出された広告のランディングページを、ポリシー準拠のためにチェックします。広告として提出されたページのみを訪問し、OpenAIのドキュメントによれば、そのデータもモデル学習には使用されません。

2023〜2024年に公開された多くのガイドはGPTBotしか触れていません。なぜなら当時はOAI-SearchBotが存在しなかったからです。robots.txtがその頃から手つかずなら、今日のChatGPTで引用されるためのクローラーを、気づかないうちにブロックしている可能性が高いです。

各クローラーの役割と、なぜ重要なのか

GPTBotは、OpenAIの生成AIモデルの学習・改善に使われ得るウェブコンテンツを収集します。OAI-SearchBotは、ChatGPTの検索・引用機能を支えるリアルタイムのインデックスを構築し、学習には一切使われません。実務上の違いはこうです。前者はモデルが長期的に知る内容に影響し、後者は今この瞬間あなたが表示されるかどうかに影響します。

GPTBot（現在のユーザーエージェント：GPTBot/1.4、完全な文字列：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot）は、OpenAIの学習パイプラインに供給するためだけに存在します。これをブロックすれば、あなたのコンテンツは将来のモデルを学習しません。ChatGPT検索には影響しません。検索は別システムです。

OAI-SearchBot（現在のユーザーエージェント：OAI-SearchBot/1.4；完全な文字列はGPTBotより長く、Chrome風のプレフィックスを使用：Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot）は、より新しく、より目的特化で、リアルタイム回答のために新鮮なインデックスを維持する目的でクロールします。これをブロックしても、学習からIPを守ることにはなりません。ChatGPTの回答面からあなたを消します。それだけです。AI検索での可視性が目的なら、重要なのはこのクローラーです。両エージェントのバージョン番号は定期的に変わるため、正確なバージョン文字列に固定するのではなく、GPTBotまたはOAI-SearchBotの部分文字列でマッチさせてください。

ChatGPT-User（ユーザーエージェント：ChatGPT-User/1.0）は例外的な存在です。自動クロールではありません。誰かがChatGPTにあなたのURLを入力してモデルに読ませるよう依頼したとき、またはGPT Actions経由でCustom GPTとやり取りしたときにのみ発火します。OpenAIは明言しています。これらの取得はユーザー起点であるため、robots.txtのルールが自動クローラーと同じように適用されない可能性があります。ブロックが有用なケースは稀です。ユーザーが明示的に求めた取得を壊す可能性があり、検索のオプトアウトの制御点でもありません。そこはOAI-SearchBotの役割です。

要点：これは1つのスイッチではなく、独立したレバーです。別々に操作すれば、OpenAIのエコシステムがあなたのサイトとどう関わるかをコントロールできます。

robots.txt設定：片方を許可し、もう片方をブロックする

GPTBotとOAI-SearchBotは、同じrobots.txt内で別々のUser-agentブロックを使って独立に設定します。片方を許可してもう片方を拒否しても、相互に影響はありません。2026年に多くのコンテンツ主導サイトが採用すべき設定はこれです。引用対象の資格は維持しつつ、学習はオプトアウトします。

多くのパブリッシャー向け推奨設定：ChatGPT検索で表示、学習はオプトアウト：

# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /

AI可視性を最大化：両クローラーを許可し、コンテンツが学習にも使われ得ることを受け入れる：

User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

完全オプトアウト：引用なし、学習なし。通常はペイウォールや規制対象コンテンツ向け：

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /

ハイブリッド（パス単位の制御）。 多くのエンタープライズサイトは、オール・オア・ナッシングの判断をしません。ブログやドキュメントは公開し、アカウント領域や社内ツールはロックします：

User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /

これらを適用する前に知っておくべきこと：

• robots.txtは要請であり、強制手段ではありません。行儀の良いクローラーは従いますが、それ自体に法的拘束力はありません。
• OpenAIのシステムがrobots.txt変更を検索側の挙動に反映するまで、概ね24時間を見込んでください。
• ディレクトリ単位のルールは、正しいUser-agentブロックの下に置かれている場合にのみ機能します。誤ったエージェントの下に紛れ込んだAllow: /が、意図を台無しにします。

検証：IPレンジとクロールパターン

GPTBotやOAI-SearchBotを名乗るクローラーは、ユーザーエージェント文字列を鵜呑みにせず、OpenAIが公開しているIPレンジと照合して検証します。ユーザーエージェントは偽装できますが、IPレンジの偽装ははるかに困難です。OpenAIは、このチェックを自動化できるよう、各エージェントごとに機械可読なJSONファイルを公開しています。

公開レンジは予測可能なURLにあります：

• openai.com/gptbot.json （GPTBotのレンジ）
• openai.com/searchbot.json （OAI-SearchBotのレンジ）
• openai.com/chatgpt-user.json （ChatGPT-Userのレンジ）

実用的な検証ワークフローは次のとおりです：

1. サーバーのアクセスログから、該当する部分文字列（GPTBot、OAI-SearchBot、ChatGPT-User）を検索する。
2. 一致した各ログ行から、リクエスト元IPを抽出する。
3. そのIPを、対応するJSONレンジファイルと照合する。
4. OpenAIクローラーを名乗っているのに公開レンジに一致しないリクエストはフラグを立てる。それは偽装、または無関係なボットであり、OpenAIではありません。

ログ監査でつまずきやすい点が1つあります。GPTBotやOAI-SearchBotがrobots.txt自体を取得する際、OpenAIのドキュメントによれば、ユーザーエージェント文字列に追加のrobots.txtマーカーを付与する場合があります。これは、フルパス情報がないログでもrobots.txtチェックと通常のページ取得を区別できるようにするためです。ユーザーエージェントだけでログをgrepしている場合、そのマーカーを考慮しないと二重カウントや誤分類が起きます。

クロールパターンについて：OpenAIは、サイトがGPTBotとOAI-SearchBotの両方を許可している場合、同じページを2回クロールするのではなく、1回のクロール結果を両目的で再利用する可能性があると述べています。両エージェントのクロールフットプリントが同一でも、必ずしも別々に2回走ったことを意味しません。クロール量を「どちらがより攻撃的か」の代理指標として読まないでください。実際にどのエージェントがログに出ているかを確認し、そのIPを公開レンジと照合してください。

ChatGPTの引用への影響

OAI-SearchBotをブロックすると、たとえGPTBotが同じページを別経路でクロールして学習していたとしても、あなたのコンテンツはChatGPTの検索回答から除外されます。OpenAIのドキュメントによれば、オプトアウトしたサイトは引用付きの検索回答には表示されませんが、単なるナビゲーションリンクとしては表示され得ます。オプトアウトが影響するのは「引用に値する形での収録」であって、すべての言及ではありません。これは古い前提を壊します。「AIがもう自分のサイトを知っているなら大丈夫」という考え方です。2026年では、知っていることと引用することは別システムです。

内面化しておくべき結果がいくつかあります：

• サイトはモデルに「知られて」いても、検索回答では見えないことがある。 学習データとライブの引用インデックスは相互に連携していない。
• GPTBotを許可しても、今日引用されるかどうかには関係がない。 学習が影響するのは将来のモデル版であり、今週のChatGPT検索結果ではない。
• 2023年テンプレ由来のrobots.txtは、引用が出ない一般的で見えにくい原因。 OAI-SearchBotは当時存在しなかったため、それ以前の「OpenAIボットを一括ブロック」ルールに巻き込まれがち。
• パス単位のブロックは依然として有効。 OAI-SearchBotをサイト全体で許可していても、最も重要な長文コンテンツでブロックしていれば、そのコンテンツはどれだけ強くてもChatGPT回答に出てきません。

あなたのコンテンツ戦略がAI検索での可視性に依存しているなら（そして2026年の競争が激しい領域の多くでは、ますますそうなっています）、OAI-SearchBotのアクセスは必須です。あなたの最高のコンテンツが引用される可能性を持てるかどうかを決める、たった1行の設定です。

自社のAI可視性設定をチェックする

チェックリストを読むのと、自社サイトが正しく設定されているかを把握するのは別物です。robots.txtルールの誤設定、「AIを全部ブロック」テンプレの放置、パス単位のミスはよくあるため、推測は信頼できる戦略ではありません。

ICODAのAI Visibilityツールは、まさにこれをチェックします。あなたのサイトがOAI-SearchBotや、AI引用の対象資格を左右する他のクローラーから到達可能か、そしてどこにギャップがあるか。robots.txtでGPTBotとOAI-SearchBotを区別せず1行で扱っているなら、望む引用を誤ってオプトアウトしていないか、5分で確認する価値があります。