شرح GPTBot: برامج زحف OpenAI للويب وما تعنيه لموقعك الإلكتروني

إذا كنت قد تحققت من سجلات الخادم الخاصة بك مؤخرًا، فمن المحتمل أنك رأيت GPTBot يظهر. عدد أقل من الأشخاص يلاحظون شقيقه الأكثر هدوءًا، OAI-SearchBot، يجلس بجانبه مباشرة، ويقوم بعمل مختلف. الخلط بين الاثنين هو الخطأ الأكثر شيوعًا في إعدادات robots.txt للذكاء الاصطناعي، ويكلف المواقع بصمت استشهادات ChatGPT دون أن يدرك أحد السبب.

ينقسم برامج الزحف بوضوح على طول خط واحد: التدريب مقابل البحث. إذا أخطأت في هذا الخط في robots.txt، فقد تفقد استشهادات لم تكن تنوي التخلي عنها أبدًا.

GPTBot مقابل OAI-SearchBot: برنامجا زحف مختلفان من OpenAI

GPTBot و OAI-SearchBot هما برنامجا زحف منفصلان لهما وظائف منفصلة: يجمع GPTBot المحتوى لتدريب نماذج OpenAI، بينما يقوم OAI-SearchBot بفهرسة الصفحات حتى يتمكن ChatGPT من استردادها والاستشهاد بها في إجابات البحث. التعامل معهما كـ "روبوت OpenAI" واحد هو الخطأ الذي تقع فيه معظم ملفات robots.txt.

تدير OpenAI مجموعة صغيرة من وكلاء المستخدم، والانقسام بين التدريب والبحث مقصود. وفقًا لوثائق برنامج الزحف الخاصة بـ OpenAI، كل إعداد مستقل: يمكن لمشرف الموقع السماح لـ OAI-SearchBot بالظهور في نتائج البحث مع حظر GPTBot لإبقاء المحتوى خارج تدريب النموذج. هذا هو اللغز الاستراتيجي الكامل الذي تفوته معظم فرق SEO.

يوجد في الواقع أربعة وكلاء لـ OpenAI يستحقون المعرفة، وليس اثنان:

• GPTBot: برنامج زحف جماعي يغذي مسار تدريب OpenAI.
• OAI-SearchBot: يفهرس الصفحات خصيصًا لميزات البحث والاستشهاد في ChatGPT.
• ChatGPT-User: يعمل فقط عندما يطلب مستخدم مباشر من ChatGPT جلب عنوان URL محدد في الوقت الفعلي.
• OAI-AdsBot: يتحقق من الصفحات المقصودة للإعلانات المقدمة إلى ChatGPT للتأكد من امتثالها للسياسة. يزور فقط الصفحات المقدمة كإعلانات، ووفقًا لوثائق OpenAI، لا تُستخدم بياناته لتدريب النموذج أيضًا.

معظم الأدلة المنشورة في 2023-2024 تذكر GPTBot فقط، لأن OAI-SearchBot لم يكن موجودًا بعد. إذا لم يتم تعديل ملف robots.txt الخاص بك منذ ذلك الحين، فهناك احتمال كبير أنه يحظر بصمت برنامج الزحف المسؤول عن حصولك على الاستشهاد في ChatGPT اليوم.

ماذا يفعل كل برنامج زحف، ولماذا يهم

يجمع GPTBot محتوى الويب الذي قد يُستخدم لتدريب وتحسين نماذج الذكاء الاصطناعي التوليدية من OpenAI. يبني OAI-SearchBot الفهرس في الوقت الفعلي الذي يدعم ميزات البحث والاستشهاد في ChatGPT، ولا يُستخدم للتدريب على الإطلاق. الفرق العملي: أحدهما يؤثر على ما يعرفه النموذج على المدى الطويل، والآخر يؤثر على ما إذا كنت تظهر الآن.

GPTBot (وكيل المستخدم الحالي: GPTBot/1.4، السلسلة الكاملة: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot) موجود لتغذية مسار تدريب OpenAI، ولا شيء غير ذلك. احظره، ولن يقوم محتواك بتدريب النماذج المستقبلية. ليس له أي تأثير على بحث ChatGPT؛ هذا نظام منفصل.

OAI-SearchBot (وكيل المستخدم الحالي: OAI-SearchBot/1.4؛ سلسلته الكاملة أطول من GPTBot، باستخدام بادئة على غرار Chrome: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot) أحدث وأكثر استهدافًا، ويزحف للحفاظ على فهرس حديث للإجابات في الوقت الفعلي. حظره لا يحمي ملكيتك الفكرية من التدريب. بل يزيلك من سطح إجابات ChatGPT، نقطة. إذا كان هدفك هو الظهور في بحث الذكاء الاصطناعي، فهذا هو برنامج الزحف المهم. تتغير أرقام الإصدارات لكلا الوكيلين بشكل دوري، لذا طابق على السلسلة الفرعية GPTBot أو OAI-SearchBot بدلاً من التثبيت على سلسلة إصدار دقيقة.

ChatGPT-User (وكيل المستخدم: ChatGPT-User/1.0) هو الاستثناء. إنه ليس زحفًا آليًا على الإطلاق. يعمل فقط عندما يكتب شخص ما عنوان URL الخاص بك في ChatGPT ويطلب من النموذج قراءته، أو يتفاعل مع GPT مخصص عبر إجراءات GPT. OpenAI صريحة في هذا الشأن: نظرًا لأن عمليات الجلب هذه يبدأها المستخدم، فقد لا تنطبق قواعد robots.txt عليها بالطريقة التي تنطبق بها على برامج الزحف الآلية. حظره نادرًا ما يكون مفيدًا. يمكن أن يعطل عملية جلب طلبها المستخدم صراحةً، وهو ليس نقطة التحكم في إلغاء الاشتراك في البحث على أي حال؛ هذه وظيفة OAI-SearchBot.

الخلاصة: هذه روافع مستقلة، وليست مفتاحًا واحدًا. اسحبها بشكل منفصل، وستتحكم في كيفية تفاعل نظام OpenAI البيئي مع موقعك.

تهيئة robots.txt: اسمح لأحدهما، احظر الآخر

يمكنك تهيئة GPTBot و OAI-SearchBot بشكل مستقل في نفس ملف robots.txt، باستخدام كتل User-agent منفصلة. السماح لأحدهما وحظر الآخر ليس له أي تأثير على سلوك الآخر. هذا هو التكوين الذي يجب أن تديره معظم المواقع التي تعتمد على المحتوى في عام 2026: ابق مؤهلاً للاستشهادات، وانسحب من التدريب.

الإعداد الموصى به لمعظم الناشرين، مرئي في بحث ChatGPT، مع إلغاء الاشتراك في التدريب:

# Allow ChatGPT search citations
User-agent: OAI-SearchBot
Allow: /
# Allow user-triggered fetches (someone pastes your URL into ChatGPT)
User-agent: ChatGPT-User
Allow: /
# Opt out of training data collection
User-agent: GPTBot
Disallow: /

أقصى قدر من رؤية الذكاء الاصطناعي: اسمح لكلا برامج الزحف، واقبل أن المحتوى قد يُستخدم للتدريب أيضًا:

User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

إلغاء الاشتراك الكامل: لا استشهادات، لا تدريب، مخصص عادةً للمحتوى المدفوع أو المنظم:

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /

تحكم هجين على مستوى المسار. العديد من مواقع الشركات لا تتخذ قرارًا شاملاً. إنها تفتح المدونة والوثائق، وتغلق مناطق الحساب والأدوات الداخلية:

User-agent: GPTBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /checkout/
Disallow: /internal-kb/
Allow: /

بعض الأمور التي تستحق المعرفة قبل نشر أي من هذه:

• robots.txt هو طلب، وليس آلية إنفاذ. برامج الزحف حسنة السلوك تحترمه، لكنه لا يحمل أي وزن قانوني بمفرده.
• توقع حوالي 24 ساعة حتى تعكس أنظمة OpenAI تغيير robots.txt في السلوك المتعلق بالبحث.
• قواعد مستوى الدليل تعمل فقط إذا كانت تقع تحت كتلة User-agent الصحيحة. كتلة Allow: / ضالة تحت وكيل خاطئ تلغي قصدك.

التحقق: نطاقات IP وأنماط الزحف

يمكنك التحقق من برنامج زحف يدعي أنه GPTBot أو OAI-SearchBot عن طريق التحقق من الطلب مقابل نطاقات IP المنشورة لـ OpenAI، وليس بالوثوق بسلسلة وكيل المستخدم وحدها. يمكن تزوير وكلاء المستخدم؛ نطاقات IP أصعب بكثير في التزوير. تنشر OpenAI ملفات JSON قابلة للقراءة آليًا لكل وكيل خصيصًا حتى يمكن أتمتة هذا التحقق.

توجد النطاقات المنشورة في عناوين URL يمكن التنبؤ بها:

• openai.com/gptbot.json (نطاقات GPTBot)
• openai.com/searchbot.json (نطاقات OAI-SearchBot)
• openai.com/chatgpt-user.json (نطاقات ChatGPT-User)

يبدو سير عمل التحقق العملي كالتالي:

1. ابحث في سجلات الوصول إلى الخادم عن السلسلة الفرعية ذات الصلة (GPTBot، OAI-SearchBot، ChatGPT-User).
2. اسحب IP الطالب من كل سطر سجل مطابق.
3. قارن هذا IP بملف نطاق JSON المطابق.
4. ضع علامة على أي طلب يدعي أنه برنامج زحف من OpenAI ولكنه لا يتطابق مع نطاق منشور. هذا روبوت مزيف أو غير ذي صلة، وليس OpenAI.

تفصيل واحد يعرقل عمليات تدقيق السجلات: عندما يجلب GPTBot أو OAI-SearchBot ملف robots.txt نفسه، تشير وثائق OpenAI إلى أنهما قد يضيفان علامة robots.txt إضافية إلى سلسلة وكيل المستخدم، خصيصًا حتى تتمكن السجلات التي لا تحتوي على بيانات مسار كاملة من التمييز بين فحص robots.txt وعملية جلب صفحة عادية. إذا كنت تبحث في السجلات بواسطة وكيل المستخدم وحده، فضع في اعتبارك هذه العلامة وإلا فقد تحسب الطلبات مرتين أو تصنفها بشكل خاطئ.

بخصوص أنماط الزحف: صرحت OpenAI أنه إذا سمح موقع ما لكل من GPTBot و OAI-SearchBot، فقد يعيد استخدام نتائج زحف واحد لكلا الغرضين بدلاً من الزحف إلى نفس الصفحات مرتين. لا تعني بصمات الزحف المتطابقة لكلا الوكيلين بالضرورة مرورين منفصلين. لا تقرأ حجم الزحف كمؤشر على أي وكيل هو "الأكثر عدوانية". تحقق من أي وكيل يصل إلى سجلاتك، وطابق عناوين IP هذه مع النطاقات المنشورة.

التأثير على استشهادات ChatGPT

يؤدي حظر OAI-SearchBot إلى إزالة محتواك من إجابات بحث ChatGPT، حتى لو كان GPTBot قد زحف بالفعل ودرب على نفس الصفحات في مكان آخر. وفقًا لوثائق OpenAI، لن يظهر الموقع الذي ألغى الاشتراك في إجابات البحث المستشهد بها، على الرغم من أنه لا يزال بإمكانه الظهور كرابط تنقل عادي. يؤثر إلغاء الاشتراك على التضمين بدرجة الاستشهاد، وليس كل ذكر. هذا يكسر افتراضًا قديمًا: "إذا كان الذكاء الاصطناعي يعرف بالفعل عن موقعي، فأنا محمي." في عام 2026، المعرفة والاستشهاد نظامان منفصلان.

بعض النتائج التي تستحق الاستيعاب:

• يمكن أن يكون الموقع "معروفًا" للنموذج ولا يزال غير مرئي في إجابات البحث. بيانات التدريب وفهرس الاستشهاد المباشر لا يتواصلان مع بعضهما البعض.
• السماح لـ GPTBot ليس له أي تأثير على ما إذا كنت مستشهدًا به اليوم. يؤثر التدريب على إصدار نموذج مستقبلي، وليس نتائج بحث ChatGPT لهذا الأسبوع.
• ملف robots.txt الموروث من قالب 2023 هو سبب شائع وغير مرئي للاستشهادات المفقودة. لم يكن OAI-SearchBot موجودًا عندما كُتبت العديد من تلك الملفات، لذلك غالبًا ما يتم القبض عليه بواسطة قاعدة "حظر جميع روبوتات OpenAI" الشاملة التي تسبقه.
• لا يزال الحظر على مستوى المسار ساريًا. إذا سُمح لـ OAI-SearchBot على مستوى الموقع ولكن تم حظره على أفضل محتواك الطويل، فلن يظهر هذا المحتوى في إجابات ChatGPT، بغض النظر عن مدى قوته.

إذا كانت استراتيجية المحتوى الخاصة بك تعتمد على رؤية البحث بالذكاء الاصطناعي، وبالنسبة لمعظم المجالات التنافسية في عام 2026، فإنها تعتمد بشكل متزايد، فإن الوصول إلى OAI-SearchBot ليس اختياريًا. إنه سطر التكوين الوحيد الذي يحدد ما إذا كان لعملك الأفضل فرصة للاستشهاد به على الإطلاق.

تحقق من إعداد رؤية الذكاء الاصطناعي الخاص بك

قراءة قائمة التحقق شيء؛ معرفة ما إذا كان موقعك الخاص مهيأ بشكل صحيح شيء آخر. قواعد robots.txt الخاطئة، وقوالب "حظر جميع الذكاء الاصطناعي" المهملة، والأخطاء على مستوى المسار شائعة بما يكفي لدرجة أن التخمين ليس استراتيجية موثوقة.

أداة رؤية الذكاء الاصطناعي من ICODA تتحقق بالضبط من هذا: ما إذا كان موقعك قابلاً للوصول بواسطة OAI-SearchBot وبرامج الزحف الأخرى التي تحدد أهلية الاستشهاد بالذكاء الاصطناعي، وأين توجد الثغرات. إذا كان GPTBot و OAI-SearchBot سطرًا واحدًا غير مميز في ملف robots.txt الخاص بك، فإن الأمر يستحق خمس دقائق للتأكد من أنك لا تلغي الاشتراك عن طريق الخطأ في الاستشهادات التي تريدها.