زاحف Bingbot

الخلاصة — Bingbot هو زاحف Microsoft Bing — الروبوت الذي يزور صفحاتك وينزّلها ويضيفها إلى فهرس بحث Bing. وهو يعمل بطريقة تشبه Googlebot كثيرًا. إن حجبه يمنع Bing من الزحف إلى عناوين URL المتأثرة، وقد يؤثر أيضًا في المنتجات أو الشركاء الذين يستخدمون بنية بحث Bing؛ لذلك تحقّق من الأثر مقابل وثائق Microsoft الحالية.

ما هو Bingbot

عندما ترى bingbot في سجلات الخادم، فهذا هو زاحف Microsoft الذي يزور موقعك. وكما يفعل Googlebot مع Google، يتبع Bingbot الروابط ويقرأ خرائط المواقع وينزّل صفحاتك ويسلّمها لإضافتها إلى فهرس Bing — قاعدة البيانات التي يسحب منها Bing نتائجه عندما يبحث شخص ما.

أُطلق في 1 أكتوبر 2010، وحلّ محل زاحف أقدم اسمه MSNBot. والاسم الذي ستراه في robots.txt وفي سجلاتك هو ببساطة bingbot.

لماذا أهم مما تتوقع

إليك الجزء الذي يفاجئ الناس: حصة Bing من سوق البحث صغيرة، لذلك قد يبدو تجاهل Bingbot تمامًا مغريًا. لكن فهرس Bing الذي يبنيه Bingbot لا يغذي Bing وحده، بل يشغّل أيضًا:

• Yahoo Search
• DuckDuckGo
• Ecosia
• محرك البحث الافتراضي في Microsoft Edge
• Microsoft Copilot

إذا حجبت Bingbot، فلن تختفي من Bing فقط، بل ستقطع نفسك عن كل هذه الأسطح دفعة واحدة. وهذا أثر أكبر بكثير مما توحي به عبارة «حصة سوقية 3%».

هل يستطيع Bingbot قراءة JavaScript؟

نعم. كان هناك قلق سابق من أن Bing لا يتعامل جيدًا مع المواقع الثقيلة بـJavaScript، لكن Bingbot يعمل الآن على محرك Chromium نفسه الذي يشغّل Microsoft Edge، ولذلك يصيّر الصفحات كما يفعل متصفح حديث. إذا ظهر المحتوى في إصدار حالي من Edge أو Chrome، يستطيع Bingbot رؤيته عمومًا أيضًا.

كيف تساعد Bingbot (أو توقفه)

• للسماح له بالدخول: تأكد من ربط صفحاتك المهمة، وأرسل خريطة موقع في Bing Webmaster Tools، ولا تحظرها بالخطأ في robots.txt.
• لإبطائه: توفر Bing Webmaster Tools ميزة باسم Crawl Control تتيح لك تحديد سرعة زحف Bingbot ساعةً بساعة.
• لتسريع اكتشاف التغييرات: يوجد خيار «دفع» باسم IndexNow يتيح لك إبلاغ Bing فور تغيّر الصفحة بدل انتظار الزحف التالي.

هل تريد النسخة التقنية — سلاسل user-agent، وطريقة التحقق من أن الطلب Bingbot فعلًا، وزواحف Microsoft الأخرى، وكيف يغذي Bingbot Copilot؟ انتقل إلى تبويب Advanced.

خلاصة المستوى المتقدم — Bingbot هو زاحف Microsoft Bing (رمز robots.txt: bingbot)، ويعمل منذ 1 أكتوبر 2010 حين حلّ محل MSNBot. وهو دائم التحديث على محرك Edge المبني على Chromium، لذلك يصيّر JavaScript الحديث. نطاقه الحقيقي أوسع من الزيارات المنسوبة مباشرةً إلى bing.com لأن Microsoft تستخدم بنية البحث عبر منتجات وشراكات متعددة. تحقّق منه بطريقة Bing الموثقة بدل الوثوق بسلسلة user-agent. وأدر الزحف عبر robots.txt وCrawl Control في Bing Webmaster Tools وIndexNow — بروتوكول الدفع الخاص بـBing الذي شاركت Yandex في إنشائه.

من MSNBot إلى Bingbot

Bingbot هو زاحف الويب الأساسي لدى Microsoft — البرنامج الذي يكتشف الصفحات ويجلبها ويعالجها لبناء فهرس Bing وتحديثه. بدأ العمل في 1 أكتوبر 2010 ليحل محل MSNBot القديم. وجاء الانتقال مع قاعدة robots.txt ما زالت مهمة إذا كانت لديك توجيهات قديمة: قالت Microsoft إن “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (الترجمة العربية) «اعتبارًا من 1 أكتوبر، إذا اكتشفنا مجموعات منفصلة من التوجيهات المخصصة لكل من MSNBot وBingBot في ملف robots.txt، فستكون توجيهات BingBot هي الغالبة.» لذلك لا تتجاوز قواعد MSNBot قواعد Bingbot بهدوء؛ بل العكس.

Bingbot يشغّل أكثر من Bing

هذه أهم إعادة صياغة في الصفحة. حصة Bing المباشرة من سوق البحث صغيرة، وهذا يدفع كثيرًا من العاملين في SEO إلى تجاهله. لكن الفهرس الذي يبنيه Bingbot يغذي Yahoo Search وDuckDuckGo وEcosia ومحرك Edge الافتراضي وMicrosoft Copilot — وقد كان تاريخيًا يغذي ChatGPT Search أيضًا. ويعود اعتماد Yahoo إلى إطلاق 2010، عندما حذرت Microsoft مالكي المواقع قائلة: “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (الترجمة العربية) «للحفاظ على محتواك في فهرس Bing، تأكد من حصول BingBot على مستوى الوصول نفسه إلى موقعك الممنوح لـMSNBot.»

النتيجة العملية: لا يكلفك توجيه Disallow ضد bingbot «Bing فقط». بل يمتد أثره إلى النظام البيئي كله دفعة واحدة. سواء كنت تهتم بـBing تحديدًا أم لا، فإن Bingbot بوابة إلى جزء مهم من الويب القابل للبحث — وبشكل متزايد إلى إجابات الذكاء الاصطناعي.

سلسلة user-agent (ولماذا هي دائمة التحديث)

تحتوي سلسلة user-agent الخاصة بـBingbot على الرمز bingbot/2.0، إضافة إلى رقم إصدار Chromium هو Chrome/W.X.Y.Z، حيث يُستبدل W.X.Y.Z ببنية Microsoft Edge المستقرة الحالية (مثال Microsoft نفسه: 100.0.4896.127) — وهذا الاستبدال هو ما يجعل السلسلة دائمة التحديث. وفق إعلان Microsoft في أبريل 2022 عن السلاسل النهائية، تكون UA المكتبية: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 وتكون UA المحمولة: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm). اقترحت معاينة Microsoft الأقدم في ديسمبر 2019 جزءًا إضافيًا في النهاية هو Edg/W.X.Y.Z، لكن هذا الجزء ليس في السلاسل النهائية التي نشرتها Microsoft في 2022 وأكدت تشغيلها بالكامل في فبراير 2023 — فإذا كنت تطابق UA الخاصة بـBingbot في الكود، فلا تشترطه. أما السلسلة القديمة فكانت: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm).

تعني «دائمة التحديث» ذلك حرفيًا: يتتبع رقم الإصدار أحدث Edge المستقر تلقائيًا. عمليًا، أنهى هذا الفجوة القديمة ذات المستويين بين الزحف والتصيير؛ فبما أن Bingbot يعمل على عائلة محرك Chromium نفسها التي يعمل عليها Edge وChrome الحديثان، فإنه يصيّر JavaScript كما يفعل متصفح حالي. كما تعتبر Bing عملية dynamic rendering حسنة النية خيارًا مشروعًا للمواقع الثقيلة بـJavaScript — ولا تراها إخفاءً للمحتوى.

التحقق من Bingbot — user-agent لا تكفي

يمكن تزوير سلاسل user-agent بسهولة، لذلك لا يثبت الطلب الذي يدّعي أنه Bingbot شيئًا بمفرده. الفحص الموثوق هو reverse DNS من خطوتين:

1. ابحث عكسيًا (PTR) عن عنوان IP الزاحف في سجلاتك. يجب أن يحل عنوان Bingbot الحقيقي إلى اسم مضيف ينتهي بـsearch.msn.com — والنمط هو msnbot-<ip-with-dashes>.search.msn.com (مثلًا 157.55.39.1 ← msnbot-157-55-39-1.search.msn.com).
2. ابحث إلى الأمام (A) عن اسم المضيف نفسه. يجب أن يحل مرة أخرى إلى عنوان IP الأصلي.

إذا فشلت أي خطوة، فليس الطلب من Bingbot. تنشر Microsoft قائمة IP في bing.com/toolbox/bingbot.json (تضم 28 بادئة IPv4، وآخر إنشاء لها في يناير 2024)، لكن توجيه الشركة الخاص هو تفضيل reverse DNS على قائمة IP لأن العناوين قد تتغير في أي وقت. تعامل مع JSON كمرجع تقريبي، لا كقائمة سماح لجدار ناري. وينطبق المنطق نفسه — reverse DNS بدل قائمة IP — على Googlebot؛ راجع نصوص التحقق في تبويب Scripts.

كيف يكتشف Bingbot الصفحات ويزحف إليها

الاكتشاف مدفوع بالروابط. يصف Fabrice Canel، قائد Bingbot المخضرم في Microsoft، النهج بأنه يتبع الأهمية: “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (الترجمة العربية) «نسترشد بالصفحات الأساسية المهمة على الإنترنت ونتبع الروابط لفهم ما يأتي بعد ذلك.» والحجم هائل — ففي مقابلة عام 2019 قال Canel: “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (الترجمة العربية) «كل يوم يكتشف فريقي أكثر من 100 مليار عنوان URL جديد لم يُرَ من قبل، بينما تُهمل معلمات عناوين URL عديمة الفائدة.» (قدّر رقم من عام 2020 الاكتشاف بنحو 70 مليار عنوان جديد يوميًا؛ الرقمان حقيقيان لكنهما من تاريخين مختلفين، لذا احتفظ بالسنة عند الاستشهاد بأي منهما.)

سلوكان يميزان Bingbot عن الطريقة التي تصف بها Google زاحفها:

• الفرز المسبق قبل الجلب. يجري Bingbot حكمًا على الكلفة/القيمة قبل تنزيل عنوان URL أصلًا. وكما قالت Bing: “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (الترجمة العربية) «لا تُحتفظ بالصفحات التي يُحكم بأنها لا تملك أي احتمال على الإطلاق لتكون مفيدة في تلبية استعلام بحث المستخدم في نتائج Bing.»
• ذاكرة عناوين URL. يتذكر Bingbot عناوين URL عمليًا إلى الأبد: “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (الترجمة العربية) «يحتفظ Bingbot بكل عنوان URL في الذاكرة ويعود إلى زحفه مجددًا على فترات، حتى بعد إزالة جميع الروابط إليه.» لذلك قد تستمر صفحة في رؤية زيارات Bingbot بعد وقت طويل من إزالة كل رابط داخلي إليها.

تحت كل ذلك توجد سياسة تقوم على الأدب أولًا. يقول Canel: “Our default crawl policy is to be as polite as possible when crawling the web.” (الترجمة العربية) «سياسة الزحف الافتراضية لدينا هي أن نكون مهذبين قدر الإمكان عند زحف الويب.» ويقدم رأيه الصريح في المشكلة نفسها: “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (الترجمة العربية) «الزحف بطريقة صحيحة مشكلة هندسية شيقة لم تُحل بالكامل بعد.»

زواحف Microsoft الأخرى

Bingbot ليس روبوت Microsoft الوحيد الذي ستراه:

• AdIdxBot (adidxbot) — زاحف مراقبة جودة إعلانات Bing. والنقطة المهمة: يتشارك ميزانية الزحف مع Bingbot، لذلك قد يلتهم زحف الإعلانات الكثيف الميزانية المخصصة لصفحاتك العضوية.
• BingPreview — ينشئ لقطات للصفحات وصورًا مصغرة للمعاينة.
• MicrosoftPreview — معاينات الروابط في Teams وOffice.
• BingVideoPreview — معاينات فيديو تظهر في Bing فقط. وكغيره يملك نسختين مكتبية ومحمولة، ويعرّف نفسه عبر +https://aka.ms/microsoftbots بدل عنوان bingbot.htm الذي تستخدمه الزواحف الأقدم.
• MSNBot / MSNBot-Media — الزاحف القديم، أُحيل إلى التقاعد في 1 أكتوبر 2010.

التحكم في زحف Bingbot

ثلاثة مفاتيح تحكم، من الأغلظ إلى الأدق:

• robots.txt — يتحكم الرمز bingbot في الزحف. استخدمه لإبعاد الروبوت عن المساحات منخفضة القيمة؛ فهو ليس أداة لإزالة الفهرسة.
• Crawl Control (Bing Webmaster Tools) — يتيح لك ضبط معدل الزحف بالساعة لـBingbot، بحيث تبطئه أثناء ذروة الزيارات وتسمح له بالعمل أسرع خارجها. وهذا اختلاف حقيقي بين Google وBing: أوقفت Google شريط معدل الزحف في Search Console، بينما لا تزال Bing تمنحك تحكمًا فعّالًا.
• IndexNow — بدل انتظار إعادة الزحف، ادفع التغيير. إنه بروتوكول “created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (الترجمة العربية) «أنشأته Microsoft Bing وYandex، ويسمح للمواقع بإخطار محركات البحث بسهولة كلما أُنشئ محتوى الموقع أو حُدّث أو حُذف.» تصل إشارة واحدة إلى كل محرك مشارك. لن أكرر الشرح الكامل هنا — راجع التعمق في IndexNow لإعداد ملف المفتاح وحد 10 000 عنوان URL لكل طلب.

النقطة الاستراتيجية التي أعود إليها دائمًا: تخلّص Bing من سمعة الزحف العدواني عبر زيادة الكفاءة، وIndexNow هو محور ذلك. وكما كتبت في تحليلي لزحف روبوتات الذكاء الاصطناعي ومحركات البحث: “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (الترجمة العربية) «تُقدّر نسبة 53% من حركة الزحف المهدرة، ويمكن لـIndexNow المساعدة في خفض هذا الرقم إلى ما يقارب الصفر.» دفع التغييرات أفضل من محاولة استدراج زحف استكشافي إضافي.

Bingbot وCopilot وفجوة إلغاء الاشتراك في الذكاء الاصطناعي

بما أن فهرس Bing يغذي Microsoft Copilot، فإن Bingbot زاحف ذكاء اصطناعي عمليًا أيضًا. إرشاد Canel للظهور الجيد هناك محدد: “schema markup helps Microsoft’s LLMs understand your content,” (الترجمة العربية) «يساعد ترميز schema نماذج LLM الخاصة بـMicrosoft على فهم محتواك.» و*“Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (الترجمة العربية) «تقدّر نماذج الذكاء الاصطناعي التوليدي المحتوى الجديد خصوصًا، جزئيًا بوصفه فحصًا مرجعيًا لبيانات تدريب LLM لديها. استخدم API في indexnow.org لدفع هذه المعلومات عند نشرها أو تحديثها.»*

هناك تفصيل تتجاوزه مقالات المنافسين عادةً. توفر Google رمز Google-Extended الذي يتيح إلغاء الاشتراك في تدريب الذكاء الاصطناعي دون التأثير في فهرسة البحث. ووفق معظم القراءات التابعة لجهات خارجية، لا يوجد إلغاء اشتراك منفصل مكافئ لـBing — ما يعني أن حجب bingbot للبقاء خارج تدريب Copilot قد يخرجك أيضًا من بحث Bing وكل ما يتفرع عنه. أتعامل مع ذلك كملاحظة عن اصطفاف أدوات التحكم حاليًا، لا كسياسة Microsoft محسومة؛ تحقّق من الوثائق الحالية قبل التصرف.

لفهم موقع Bingbot في الصورة الأكبر — عائلة الزواحف، وGooglebot، ومفهوم user-agent، وزواحف الذكاء الاصطناعي، وrobots.txt، وIndexNow — يجمع مركز الزحف هذه الموضوعات كلها.

ملخص الذكاء الاصطناعي

خلاصة مركزة لنسخة Advanced:

• Bingbot = زاحف Microsoft Bing. رمز robots.txt هو bingbot؛ يعمل منذ 1 أكتوبر 2010 حين حل محل MSNBot (وتغلب توجيهات BingBot على توجيهات MSNBot المتبقية).
• الوصول أكبر من حصة السوق. يغذي الفهرس الذي يبنيه Bingbot Yahoo وDuckDuckGo وEcosia ومحرك Edge الافتراضي وCopilot؛ لذلك يمتد أثر حجب bingbot إلى ما هو أبعد من Bing.
• تصيير دائم التحديث. يعمل على محرك Edge المبني على Chromium؛ وتحمل UA الرمز bingbot/2.0 ورقم Chrome/W.X.Y.Z المستبدل ببنية Edge المستقرة الحالية (لا جزء Edg/ منفصل في السلاسل النهائية لعام 2022). ويصيّر JavaScript الحديث؛ والتصيير الديناميكي حسن النية ليس إخفاءً للمحتوى.
• تحقق عبر reverse DNS من خطوتين: PTR إلى msnbot-*.search.msn.com، ثم بحث أمامي يطابق عنوان IP. يمكن تزوير user-agent؛ ففضّل reverse DNS على قائمة IP في bingbot.json، وهي قابلة للتغير.
• طريقة الزحف: يتبع «الصفحات الأساسية» والروابط، ويكتشف نحو 100 مليار عنوان URL جديد يوميًا (2019؛ ونحو 70 مليارًا في رقم 2020)، ويفرز عناوين URL ذات «لا إمكانية» قبل الجلب، ويحتفظ بكل عنوان URL في الذاكرة — ويعيد زحفه حتى بعد إزالة كل الروابط.
• روبوتات Microsoft الأخرى: AdIdxBot (يتشارك ميزانية زحف Bingbot)، وBingPreview، وMicrosoftPreview، وBingVideoPreview؛ أما MSNBot فمتقاعد.
• التحكم به عبر robots.txt وCrawl Control (معدل بالساعة — أزالت Google ما يعادله) وIndexNow (دفع، أُنشئ بالمشاركة مع Yandex). ووفق صياغتي: نحو 53% من حركة الزحف مهدرة، وIndexNow يخفضها باتجاه الصفر.
• زاوية الذكاء الاصطناعي: يغذي Bingbot Copilot؛ ويساعد schema والمحتوى الجديد؛ ولا يوجد مكافئ واضح لـGoogle-Extended في Bing، لذلك يؤدي حجبه للتدريب إلى إسقاط البحث أيضًا (تعامل مع ذلك كملاحظة وتحقق من الوثائق الحالية).

الوثائق الرسمية

وثائق أولية، معظمها من Microsoft/Bing، مع رابط مقارن من Google. انتبه: كثير من منشورات blogs.bing.com وصفحات bing.com/webmasters/help تُصيّر عبر JavaScript أو تعيد التوجيه، لذا أكّد التفاصيل في متصفح إذا تغيّر الرابط.

Bing / Microsoft

• ما الزواحف التي يستخدمها Bing؟ — القائمة الرسمية لروبوتات Microsoft ورموز user-agent الخاصة بها (Bingbot وAdIdxBot وزواحف المعاينة).
• إعلان تغيير user-agent لزاحف Bing bingbot — سلاسل UA المكتبية والمحمولة النهائية من Microsoft (تأكد تشغيلها بالكامل في فبراير 2023)؛ وهو مصدر السلاسل الدقيقة المقتبسة أعلاه.
• قائمة IP لـBingbot (bingbot.json) — البادئات المنشورة لـIPv4. استخدمها مرجعًا فقط؛ توصي Microsoft بـreverse DNS بدلًا منها.
• أداة Verify Bingbot — أداة Microsoft على الويب لتأكيد أن عنوان IP الزاحف يعود فعلًا إلى Bingbot.
• Bing Webmaster Tools — Crawl Control — ضبط معدل زحف Bingbot بالساعة.
• IndexNow / indexnow.org — بروتوكول الدفع للإشارة الفورية إلى عناوين URL المنشأة أو المحدثة أو المحذوفة.
• سلسلة Bingbot: تعظيم كفاءة الزحف — فلسفة Bing في «كفاءة الزحف».

Google (للمقارنة)

• نظرة عامة على زواحف وجالبي Google — user-agent ونطاقات IP الخاصة بـGooglebot، في موازاة إعداد Bing. لاحظ الفروق: أوقفت Google التحكم اليدوي في معدل الزحف، ولا تستخدم IndexNow للصفحات العامة، وتوفر Google-Extended لإلغاء الاشتراك في تدريب الذكاء الاصطناعي منفصلًا عن البحث.

اقتباسات من المصدر

تصريحات موثقة عن Bingbot — معظمها من Fabrice Canel، قائد Bingbot في Microsoft. كل رابط يقفز مباشرةً إلى المقطع المقتبس.

Fabrice Canel، Microsoft Bing — الاكتشاف والحجم

• “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (الترجمة العربية) «نسترشد بالصفحات الأساسية المهمة على الإنترنت ونتبع الروابط لفهم ما يأتي بعد ذلك.» انتقل إلى الاقتباس
• “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (الترجمة العربية) «كل يوم يكتشف فريقي أكثر من 100 مليار عنوان URL جديد لم يُرَ من قبل، بينما تُهمل معلمات عناوين URL عديمة الفائدة.» (مقابلة Search Engine Journal، 2019.) انتقل إلى الاقتباس
• “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (الترجمة العربية) «الزحف بطريقة صحيحة مشكلة هندسية شيقة لم تُحل بالكامل بعد.» (SEJ، 2019.) انتقل إلى الاقتباس
• “Our default crawl policy is to be as polite as possible when crawling the web.” (الترجمة العربية) «سياسة الزحف الافتراضية لدينا هي أن نكون مهذبين قدر الإمكان عند زحف الويب.» (SEJ، 2019.) انتقل إلى الاقتباس

Microsoft Bing — كيف يتعامل Bingbot مع عناوين URL

• “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (الترجمة العربية) «يحتفظ Bingbot بكل عنوان URL في الذاكرة ويعود إلى زحفه مجددًا على فترات، حتى بعد إزالة جميع الروابط إليه.» انتقل إلى الاقتباس
• “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (الترجمة العربية) «لا تُحتفظ بالصفحات التي يُحكم بأنها لا تملك أي احتمال على الإطلاق لتكون مفيدة في تلبية استعلام بحث المستخدم في نتائج Bing.» انتقل إلى الاقتباس

Fabrice Canel، Microsoft Bing — الكفاءة وschema والذكاء الاصطناعي

• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (الترجمة العربية) «الأقل أكثر في SEO. لا تنس ذلك أبدًا. عناوين URL الأقل للزحف أفضل لـSEO.» انتقل إلى الاقتباس
• “schema markup helps Microsoft’s LLMs understand your content.” (الترجمة العربية) «يساعد ترميز schema نماذج LLM الخاصة بـMicrosoft على فهم محتواك.» (SMX Munich، 2025.) انتقل إلى الاقتباس
• “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (الترجمة العربية) «تولي أنظمة الذكاء الاصطناعي التوليدي أهمية خاصة للمحتوى الجديد، جزئيًا لفحص بيانات تدريب LLM لديها. استخدم API في indexnow.org لدفع المعلومات عند نشرها أو تحديثها.» انتقل إلى الاقتباس

Microsoft Bing — إطلاق 2010 وIndexNow

• “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (الترجمة العربية) «اعتبارًا من 1 أكتوبر، إذا اكتشفنا مجموعات منفصلة من التوجيهات المخصصة لكل من MSNBot وBingBot في ملف robots.txt، فستكون توجيهات BingBot هي الغالبة.» (مدونة Bing Webmaster، 2010.)
• “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (الترجمة العربية) «للحفاظ على محتواك في فهرس Bing، تأكد من حصول BingBot على مستوى الوصول نفسه إلى موقعك الممنوح لـMSNBot.» (مدونة Bing Webmaster، 2010.)
• “IndexNow is a new protocol created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (الترجمة العربية) «IndexNow بروتوكول جديد أنشأته Microsoft Bing وYandex، ويسمح للمواقع بإخطار محركات البحث بسهولة كلما أُنشئ محتوى الموقع أو حُدّث أو حُذف.» (مدونة Bing Webmaster، 2021.)

Patrick Stox (أنا) — تحوّل كفاءة Bing

• “There was a lot of blowback on Bing in the past because of their aggressive crawling.” (الترجمة العربية) «كان هناك اعتراض كبير على Bing في الماضي بسبب زحفه العدواني.» انتقل إلى الاقتباس
• “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (الترجمة العربية) «تُقدّر نسبة 53% من حركة الزحف المهدرة، ويمكن لـIndexNow المساعدة في خفض هذا الرقم إلى ما يقارب الصفر.» انتقل إلى الاقتباس

ماذا أفعل بشأن Bingbot؟

تتفرع قرارات Bingbot حول أمرين: هل الطلب Bingbot فعلًا، وهل تريد إبطاءه أو تسريعه أو حجبه كليًا؟ تنقّل عبر الشجرة.

ورقة غش: Bingbot وزواحف Microsoft

سلاسل user-agent

W.X.Y.Z = إصدار Microsoft Edge المستقر الحالي، ويُستبدل داخل رمز Chrome/ (دائم التحديث — يحدّث نفسه). هذه هي السلاسل النهائية التي نشرتها Microsoft في أبريل 2022 وأكدت تشغيلها بالكامل في فبراير 2023؛ اقترحت معاينة أقدم في ديسمبر 2019 جزء Edg/W.X.Y.Z في النهاية، لكنه ليس جزءًا من UA النهائية — فلا تشترطه في كود مطابقة الروبوت.

عائلة زواحف Microsoft

حقائق سريعة

• أُطلق في 1 أكتوبر 2010 ليحل محل MSNBot.
• إذا وُجدت توجيهات MSNBot وBingBot معًا في robots.txt، يفوز BingBot.
• تحقّق عبر reverse DNS إلى *.search.msn.com، لا عبر user-agent ولا قائمة IP (العناوين تتغير).
• قائمة IP: bing.com/toolbox/bingbot.json — 28 بادئة IPv4، أُنشئت في يناير 2024.
• يحدد Crawl Control في Bing Webmaster Tools معدل الزحف بالساعة (أزالت Google ما يعادله).
• IndexNow = دفع عناوين URL المتغيرة؛ أُنشئ بالمشاركة مع Yandex.

تحقق من أن الروبوت هو Bingbot فعلًا

لا يثبت الطلب الذي يقول إنه Bingbot شيئًا — فسلسلة user-agent قابلة للتزوير بسهولة. وكما تقول Microsoft، استخدام الروبوت لسلسلة Bingbot الدقيقة لا يجعله Bingbot. أكّد ذلك بفحص reverse + forward DNS من خطوتين. يحل عنوان Bingbot الحقيقي عكسيًا إلى اسم مضيف ينتهي بـsearch.msn.com (النمط msnbot-<ip-with-dashes>.search.msn.com)، ويجب أن يحل اسم المضيف نفسه أماميًا إلى عنوان IP نفسه.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in search.msn.com
host 157.55.39.1
# → 1.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-1.search.msn.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host msnbot-157-55-39-1.search.msn.com
# → msnbot-157-55-39-1.search.msn.com has address 157.55.39.1

Windows

nslookup 157.55.39.1
nslookup msnbot-157-55-39-1.search.msn.com

إذا لم ينتهِ البحث العكسي بـsearch.msn.com، أو لم يُرجع البحث الأمامي عنوان IP الأصلي، فليس الطلب Bingbot — أسقطه أو حدّد معدله. يمكنك أيضًا استخدام أداة Verify Bingbot على الويب من Microsoft، وقائمة IP المنشورة bingbot.json كفحص تقاطعي تقريبي — لكن Microsoft واضحة في أن IP قد يتغير، لذا فإن DNS هو مصدر الحقيقة، لا قائمة سماح ثابتة. (النهج نفسه للتحقق من Googlebot؛ راجع تبويب Scripts في مركز الزحف لنسخة Google.)

قائمة جاهزية Bingbot

مرور سريع للتأكد من أنك تعمل مع Bingbot لا ضده:

• لا يحظر robots.txt الرمز bingbot عن أي شيء تريد ظهوره في Bing (وتذكر أن ذلك يضبط أيضًا Yahoo وDuckDuckGo وEcosia وCopilot).
• لا توجد توجيهات MSNBot قديمة تتعارض مع قواعد Bingbot (يفوز BingBot، لكن نظّف القديم).
• أُرسلت خريطة XML في Bing Webmaster Tools، ولا تسرد إلا عناوين URL canonical قابلة للفهرسة مع lastmod دقيق.
• يستخدم التحقق من الروبوت reverse + forward DNS، لا user-agent ولا قائمة IP ثابتة.
• إذا كنت تستخدم جدارًا ناريًا أو قائمة سماح للروبوتات، فأنت تتحقق عبر DNS، لا تثبّت عناوين IP في bingbot.json (فهي تتغير).
• جرت مراجعة Crawl Control إذا أرهقت حركة Bingbot خادمك في ساعات الذروة.
• جرى توصيل IndexNow كي تُدفع عناوين URL المنشأة/المحدثة/المحذوفة بدل انتظارها.
• المحتوى المعتمد على JavaScript قابل للوصول ويُصيّر (Bingbot دائم التحديث، لكن روابط <a href> الحقيقية تتفوق على التنقل الذي يعتمد على النقر فقط).
• تعرف أن AdIdxBot يتشارك ميزانية زحف Bingbot إذا كنت تدير Bing Ads.
• قبل حجب bingbot لأسباب تتعلق بالذكاء الاصطناعي، تأكد من عدم وجود إلغاء اشتراك منفصل لـCopilot — فحجبه حاليًا يخرجك من بحث Bing أيضًا.

النماذج الذهنية

1. الوصول، لا حصة السوق. حصة Bing المباشرة من البحث صغيرة، لذلك قد تميل إلى الحكم على Bingbot من هذا الرقم وحده. لكن إعادة الصياغة المهمة هي أن الفهرس الذي يبنيه Bingbot هو الواجهة الخلفية لـYahoo Search وDuckDuckGo وEcosia ومحرك Edge الافتراضي وMicrosoft Copilot. ولا يكلفك توجيه Disallow: bingbot «3% من البحث» فقط، بل يكلفك كل هذه الأسطح دفعة واحدة. قيّم قرارات Bingbot من خلال الوصول إلى النظام البيئي، لا رقم Bing المنفرد.

2. تحقّق عبر DNS لا user-agent. سلسلة user-agent في الطلب مجرد رأس يحدده العميل — يستطيع أي شخص كتابة bingbot/2.0 في أمر curl. والادعاء الوحيد الذي يصعب تزويره بثمن زهيد هو سجل DNS يعيد الإشارة إلى نطاق Microsoft نفسه search.msn.com، مع فحص الاتجاهين (عكسي ثم أمامي). تعامل مع كل إشارة أخرى — user-agent وقائمة IP المنشورة — كدليل إرشادي لا كإثبات.

3. ثلاثة مفاتيح، من الأغلظ إلى الأدق. robots.txt أداة غليظة: تبقي Bingbot خارج مسار كامل، لكنها أداة تحكم في الزحف لا إزالة الفهرسة. وCrawl Control في Bing Webmaster Tools هو القرص: يحدد متى يضغط Bingbot على خادمك، ساعةً بساعة، دون إغلاق أي شيء. أما IndexNow فهو المشرط: لا ينتظر عودة Bingbot أصلًا، بل يدفع عنوان URL واحدًا لحظة تغيّره. استخدم أقل المفاتيح غلظة الذي يحل المشكلة الفعلية.

4. أزالت Google القرص وأبقت Bing عليه. أزالت Google محدد معدل الزحف من Search Console. وما زال Crawl Control في Bing يمنحك تحكمًا فعّالًا في المعدل بالساعة. إذا كنت معتادًا على اعتبار إدارة معدل الزحف «شيئًا لم يعد ممكنًا فعله»، فهذا صحيح لـGooglebot لا Bingbot — إنه مفتاح حقيقي حالي يستحق الاستخدام عندما ترهق حركة Bingbot خادمك في ساعات الذروة.

مؤشر الأداء المستمر: زيارات الإحالة من منظومة Bing كاملة

تقلل أرقام حصة Bing السوقية وحدها من قيمة Bingbot لك، لأن الفهرس الذي يبنيه يغذي Yahoo Search وDuckDuckGo وEcosia وMicrosoft Copilot أيضًا. ومؤشر الأداء الصادق ليس «حركة Bing» منفردة، بل إجمالي زيارات الإحالة من النظام البيئي كله مع تتبعه عبر الزمن.

قسّم زيارات الإحالة حسب عائلة فهرس Bing الكاملة

• المقياس — الجلسات/النقرات في أداة التحليلات لديك عندما يكون المُحيل هو bing.com أو search.yahoo.com أو duckduckgo.com أو ecosia.org أو copilot.microsoft.com، مجمعة ومتابعة كمجموعة واحدة إلى جانب رقم Google لا بدلًا منه.
• ما الذي يخبرك به — هل يكلفك حجب Bingbot أو خدمته بصورة ناقصة حركةً تتجاوز Bing نفسه؟ إن ظهر الانخفاض عبر المحيلين الخمسة جميعًا في وقت واحد، فهذه مشكلة وصول Bingbot لا مشكلة ترتيب لمحرك واحد.
• كيف تستخرجه — قسّم أداة التحليلات الحالية (GA4 أو سجلات الخادم أو ما تستخدمه) حسب نطاق المُحيل لكل واحد من الخمسة، واربط ذلك بـBing Webmaster Tools — Search Performance الذي يعرض نقرات Bing ومرات ظهوره مباشرةً (ولا يستطيع رؤية أرقام Yahoo/DuckDuckGo/Ecosia downstream، لذا تظل بيانات المُحيل في التحليلات المكان الوحيد للرؤية المجمعة).
• خط أساس/نطاق واقعي — لا يوجد رقم صناعي صادق ينبغي استهدافه هنا؛ فتوزيع النظام البيئي يختلف كثيرًا بحسب الجمهور والجغرافيا. أنشئ خط أساسك أنت من بيانات المُحيل لعدة أشهر قبل الحكم على حركة أي شهر منفرد.
• الإيقاع — يكفي القياس الشهري للاتجاه؛ وافحص أسبوعيًا مباشرة بعد تغيير robots.txt أو إطلاق IndexNow أو أي تغيير آخر يمس وصول Bingbot.

أدوات التحقق من Bingbot والتحكم فيه

• Googlebot Verifier — أداتي الخاصة. ألصق عنوان IP يدّعي أنه Bingbot، فتجري الأداة فحص reverse DNS المؤكد أماميًا، وتسمّي مالك الشبكة الحقيقي إن كان الطلب أداة كشط تنتحل الهوية. هذه النسخة العملية من فحص DNS ذي الخطوتين في تبويب Scripts، دون لمس الطرفية.
• robots.txt Tester — أداتي الخاصة. تحقق من السماح لعنوان URL محدد أو حجبه بالنسبة إلى رمز bingbot تحديدًا (بخلاف * أو Googlebot)، واعرف القاعدة الفائزة، واكتشف توجيه msnbot المتبقي الذي يعارض قاعدة Bingbot قبل إطلاقها.
• أداة Verify Bingbot — أداة Microsoft الأصلية لفحص IP على الويب، مفيدة كفحص تقاطعي مقابل Googlebot Verifier.
• Bing Webmaster Tools — Crawl Control — اضبط معدل زحف Bingbot بالساعة مباشرةً؛ وهو التحكم النشط الذي أزالت Google ما يعادله.
• IndexNow (indexnow.org) — ادفع عناوين URL المنشأة/المحدثة/المحذوفة بدل انتظار المرور التالي لـBingbot؛ تصل إشارة واحدة إلى كل محرك مشارك.

موارد تستحق وقتك

كتاباتي ذات الصلة

• تعرّف إلى زواحف الويب الجديدة: روبوتات الذكاء الاصطناعي تقترب من روبوتات محركات البحث — أغطي فيه ماضي Bing في الزحف العدواني، وتحول IndexNow، وإحصائية 53% من الحركة المهدرة.
• متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — يتضمن صياغة Bing حول «كفاءة الزحف» وملاحظة “Bing also has an Indexing API that’s available to everyone.” (الترجمة العربية) «لدى Bing أيضًا واجهة Indexing API متاحة للجميع.»
• Bingbot (مسرد Ahrefs لـSEO) — النسخة المرجعية المختصرة.
• دليل المبتدئين إلى SEO التقني — موضع الزواحف في الصورة الأكبر.

كلماتي

• كيف يعمل البحث (SlideShare) — شرحي للزحف والتصيير والفهرسة والترتيب. (يظل التنبيه قائمًا: “This is my understanding of systems… not going to be 100% complete or accurate.” (الترجمة العربية) «هذا فهمي للأنظمة… وليس بالضرورة كاملًا أو دقيقًا بنسبة 100%.»)

من مصادر أخرى

• كيف يعمل Bingbot: الاكتشاف والزحف والاستخراج والفهرسة (SEJ) — شرح Fabrice Canel التفصيلي خلف نقطتي ذاكرة URL والفرز المسبق أعلاه.
• لماذا وكيف تخطط Bing لتحسين زاحفها Bingbot (SEJ، 2019) — مقابلة Canel مع رقم 100 مليار عنوان URL جديد يوميًا، واقتباس سياسة الزحف المهذب، وسطر «المشكلة الهندسية الشيقة».
• Microsoft Bing / Copilot: استخدم Schema لنماذج LLM (Search Engine Land، 2025) — حديث Canel في SMX Munich عن مساعدة ترميز schema لنماذج Microsoft وعن المحتوى الجديد كإشارة لترتيب Copilot.
• بوابات البنية التحتية الخمس وراء الزحف والتصيير والفهرسة (Search Engine Land) — إطار كفاءة الزحف لدى Canel، «الأقل أكثر في SEO»، مشروحًا بوابةً بوابة.
• كيف يختار Bingbot وGooglebot الصفحات (Kalicube) — اقتباس Canel عن «الصفحات الأساسية» وفلسفة اكتشاف عناوين URL، مع مقارنة بـGooglebot.
• r/TechSEO — مجتمع تصحيح مشكلات الزحف/الفهرسة.

إحصاءات تستحق الاستشهاد

• نحو 100 مليار عنوان URL جديد مكتشف يوميًا — رقم Fabrice Canel لعام 2019 لعدد عناوين URL التي لم تُرَ من قبل ويجدها Bingbot يوميًا (“more than 100 billion new URLs never seen before” (الترجمة العربية) «أكثر من 100 مليار عنوان URL جديد لم يُرَ من قبل»). وقدّر رقم منفصل لعام 2020 العدد بنحو 70 مليارًا؛ أرفق السنة عند الاستشهاد بأي منهما. المصدر
• نحو 53% من حركة الزحف جهد مهدَر — تقديري، وهو سبب IndexNow: دفع التغييرات “can help cut that number down to almost nothing.” (الترجمة العربية) «يمكن أن يساعد في خفض ذلك الرقم إلى ما يقارب الصفر». المصدر
• 28 بادئة IPv4 منشورة — حجم قائمة Microsoft الرسمية لـIP Bingbot (bingbot.json، أُنشئت في يناير 2024)، وهي سياق مفيد، لكن Microsoft تحذر من تغير العناوين؛ لذا تحقّق عبر reverse DNS بدلًا منها. المصدر

اختبر نفسك: Bingbot

خمسة أسئلة سريعة عن Bingbot والتحقق ونطاق الوصول. اختر إجابة لكل سؤال، ثم تحقّق.

سجل التغييرات