اللغات

زاحف Baiduspider

ما هو Baiduspider — متغيرات زاحف Baidu وسلاسل user-agent، وامتثال robots.txt (واستثناء cpro/ads)، والتحقق العكسي من DNS، وضعف تصيير JavaScript، والتحكم في الزحف عبر Ziyuan.

نُشر أول مرة: 3 يوليو 2026 · آخر تحديث: 22 أغسطس 2026 · Advanced
اللغات
AIمن تأليفAI v2
دليل واحد في هذه الصفحة

Baiduspider هو زاحف الويب لدى Baidu — النظير الخاص بالسوق الصينية لـGooglebot، والروبوت الذي يكتشف الصفحات ويجلبها ويفهرسها لبحث Baidu داخل الصين القارية. ويشغّل متغيرات مسماة تتشارك عائلة رمز Baiduspider (للصور والفيديو والأخبار والإشارات المرجعية وcpro وads)، إضافة إلى متغير JavaScript باسم Baiduspider-render توثقه Baidu بالصينية فقط. وتتحقق منه عبر DNS ثنائي الاتجاه إلى *.baidu.com أو *.baidu.jp (إذ يمكن انتحال user-agent)، وتحذر الأسئلة الشائعة لدى Baidu نفسها من المنتحلين. وتقول أسئلة Baidu الشائعة إنه يلتزم robots.txt التزامًا صارمًا — مع استثناء مسمى: يعمل Baiduspider-cpro وBaiduspider-ads بموجب اتفاقيات تجارية ويتجاهلان ذلك. وأكبر قيوده العملية مقارنةً بـGooglebot هي ضعف تصيير JavaScript، لذا يكون HTML المصيّر من الخادم هو الافتراضي الآمن. وتحكم في معدل زحفه عبر منصة موارد بحث Baidu (Ziyuan).

الخلاصة — Baiduspider هو زاحف Baidu — Googlebot السوق الصينية. ويشغّل متغيرات مسماة تتشارك عائلة الرمز Baiduspider (للحاسوب والهاتف عمومًا، إضافة إلى -image و-video و-news و-favo و-cpro و-ads) ومتغير JavaScript باسم Baiduspider-render توثقه Baidu باللغة الصينية فقط. وتتحقق منه عبر DNS ثنائي الاتجاه إلى *.baidu.com/*.baidu.jp — إذ تحذر الأسئلة الشائعة لدى Baidu من المنتحلين. وتقول Baidu إنه “strictly complies with robots.txt protocol” (ترجمة) «يلتزم التزامًا صارمًا ببروتوكول robots.txt»، مع استثناء مسمى: يعمل Baiduspider-cpro وBaiduspider-ads بموجب اتفاقيات تجارية وقد يتبعان قواعد وصول مختلفة؛ كما أنها لا توثق crawl-delay غير القياسي بوصفه وسيلة تحكم موثوقة. ولأن سلوك التصيير قد يتغير، فإن HTML المصيّر من الخادم هو الافتراضي المحافظ للمحتوى الحرج. تحقق من الضوابط الحالية في منصة موارد بحث Baidu (Ziyuan).

Evidence for this claim Baiduspider is Baidu Search's crawler and Baidu's Search Resource Platform is the authoritative place to verify current crawler guidance. Scope: Current official Baidu webmaster platform; user-agent text alone is not authentication. Confidence: medium · Verified: Baidu Search Resource Platform Evidence for this claim Crawler access directives use the standardized robots.txt protocol, but engine-specific support and verification should be checked against Baidu's current documentation. Scope: Robots Exclusion Protocol baseline, distinct from undocumented Baidu-specific behavior. Confidence: high · Verified: IETF RFC 9309: Robots Exclusion Protocol

ما هو Baiduspider فعلًا؟

Baiduspider (百度蜘蛛) هو الزاحف الذي تديره Baidu، محرك البحث المهيمن داخل الصين القارية، حيث يتعذر الوصول إلى Google إلى حد كبير خلف جدار الحماية العظيم. وتتمثل مهمته في خط الأنابيب المعتاد: زحف ← فهرسة ← عرض؛ يكتشف عناوين URL، ويجلب الصفحات، ويبني الفهرس الذي يستمد منه بحث Baidu نتائجه. والأسئلة الشائعة الرسمية بالإنجليزية لدى Baidu، “FAQs of Baiduspider” على help.baidu.com، هي الجزء النادر من الوثائق الأولية باللغة الإنجليزية هنا، ومنها تأتي معظم الاقتباسات المباشرة أدناه.

اللامساواة التي تؤطر كل شيء هي أن Baidu مهمة محليًا لا عالميًا. فقد وضعت لقطة الصين لدى StatCounter في يونيو 2026 حصة Baidu عند 47,44%، وBing عند 23,24%، وHaosou عند 14,02%، وSogou عند 2,62%، وGoogle عند 2,28% فقط (StatCounter، حصة محركات البحث في الصين). تعامل مع ذلك بوصفه لقطة لا ثابتًا — فأرقام StatCounter الصينية تتأرجح بصورة ملحوظة من شهر إلى آخر بحسب مزيج الأجهزة والمنهجية (وقد أُبلغ عن Baidu في نطاق يقارب 40% إلى 65% عبر لقطات مختلفة في 2025–2026) ، لذا أعد فحص الرقم الحي بدل اقتباس شهر واحد إلى الأبد. والخلاصة تصح في كل الأحوال: تتصدر Baidu داخل الصين بينما يتصدر Google بقية العالم، ولهذا يُعامل تحسين Baiduspider كتخصص مستقل في SEO الدولي لا كفكرة لاحقة لـGooglebot. وتغطي بوابة SEO الخاص بكل سوق في موقعنا موضع Baidu إلى جانب Yandex وNaver والمحركات الإقليمية الأخرى.

سلاسل user-agent ومتغيرات الزحف

تسمي الأسئلة الشائعة الإنجليزية لدى Baidu متغيرات الزاحف مباشرةً. وقد أُعيد إنتاجها حرفيًا (ونعم، يكرر نص Baidu نفسه “Baiduspider” للحاسوب والهاتف بدل إعطاء سلسلتين مميزتين):

الاسم | User-agent بحث الحاسوب | Baiduspider بحث الهاتف | Baiduspider بحث الصور | Baiduspider-image بحث الفيديو | Baiduspider-video بحث الأخبار | Baiduspider-news إشارة Baidu المرجعية | Baiduspider-favo Baidu Union | Baiduspider-cpro البحث التجاري | Baiduspider-ads بحث آخر | Baiduspider

إذن فالمتغيرات المسماة رسميًا في الأسئلة الشائعة الإنجليزية هي Baiduspider-image و-video و-news و-favo (إشارة مرجعية)، و**-cpro** (زاحف شبكة «الاتحاد»/الإعلانات)، و**-ads** (البحث التجاري) — وكلها تتشارك رمز العائلة Baiduspider. أما سلسلة user-agent العامة الحرفية للحاسوب، الواردة في موقع Baidu نفسه، فهي:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

يُضمّن UA الهاتف Baiduspider/2.0 داخل سلسلة Android WebKit. ويشير كل متغير معلن إلى عنوان URL المرجعي نفسه http://www.baidu.com/search/spider.html — وهو نظير Baidu للعنوان google.com/bot.html الخاص بـGooglebot.

Baiduspider-render — متغير JavaScript الذي توثقه Baidu بالصينية فقط

إليك تفصيلة دقيقة تستحق التصحيح، لأن كثيرًا من الكتابات تخطئ فيها: جدول الأسئلة الشائعة الإنجليزية أعلاه لا يسرد متغيرًا باسم «Baiduspider-render»، ما دفع بعض الأدلة إلى اعتباره مجرد حكاية من طرف ثالث. لكنه ليس كذلك. توثق Baidu Baiduspider-render رسميًا — لكن في صفحة أكاديمية Ziyuan باللغة الصينية بعنوان “【官方说法】只需两步，正确识别百度蜘蛛（User-Agent）” (أي: “[Official statement] Two steps to correctly identify Baiduspider” (ترجمة) «[بيان رسمي] خطوتان للتعرف الصحيح إلى Baiduspider»). وتقسم الصفحة سلاسل UA إلى ثلاث قنوات — 移动 (الهاتف) ، وPC، و小程序 (البرنامج المصغر) — وتسرد UA بديلًا للتصيير إلى جانب السلسلة العادية:

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

مع سلسلة هاتف مطابقة ومتغير للبرامج المصغرة (Baiduspider-render/2.0;Smartapp). لذا فإن Baiduspider-render موثق رسميًا — لكن بالصينية فقط، وغائب عن الأسئلة الشائعة الإنجليزية. وما لا تنشره Baidu هو مواصفة لما يفعله «-render» بصورة مختلفة فعلًا؛ فعلى خلاف Google، لا توثق Baidu قدرات تصيير JavaScript لديها. ومن هذه الفجوة يأتي التحفظ بشأن تصيير JS أدناه.

كيف تتحقق من Baiduspider (ولا تقع في روبوت منتحل)؟

يمكن انتحال سلسلة user-agent بسهولة — إذ يستطيع أي شخص إرسال طلب يقول إنه Baiduspider. وتحذر الأسئلة الشائعة لدى Baidu نفسها من ذلك تحديدًا، واصفةً “spammers or other trouble makers who pretend to be Baiduspider” (ترجمة) «مرسلي البريد المزعج أو مثيري المتاعب الآخرين الذين يتظاهرون بأنهم Baiduspider»، وتوصي بالتحقق عبر DNS لا عبر السلسلة. ومن الأسئلة الشائعة، حرفيًا:

We recommend using reverse DNS lookup to verify Baiduspider. Verification methods are different under linux/windows/os environments. (ترجمة) «نوصي باستخدام بحث DNS العكسي للتحقق من Baiduspider. وتختلف طرق التحقق في بيئات Linux وWindows وmacOS.»

وتعطي أوامر لكل نظام تشغيل — host في Linux، وnslookup في Windows، وdig -x في macOS — مع أمثلة عملية، والقاعدة المهمة هي:

The hostname of Baiduspider is .baidu.com or .baidu.jp. Others are fake hostnames. (ترجمة) «اسم المضيف الخاص بـBaiduspider هو ‎.baidu.com أو ‎.baidu.jp. وما عدا ذلك أسماء مضيفين زائفة.»

النطاقان *.baidu.com و*.baidu.jp هما التفصيلة التي ينبغي تذكرها — إذ يزحف Baidu من مساحة DNS عكسية .com وأخرى .jp، ولذلك يمكن أن ينتهي اسم مضيف Baiduspider الشرعي بأي منهما. بل إن أحد أمثلة Baidu العملية نفسها يُحل إلى BaiduMobaider-119-63-195-254.crawl.baidu.jp — لاحظ «BaiduMobaider» لا «Baiduspider» في اسم المضيف؛ إنها غرابة حقيقية في وثائق Baidu وليست خطأ ينبغي تصحيحه بصمت.

توضح الأسئلة الشائعة الإنجليزية لدى Baidu نصف البحث العكسي فقط في نثرها، لكن صفحة أكاديمية Ziyuan الصينية أكثر صراحة: فهي تسمي العملية كلها “双向DNS解析认证” (مصادقة تحليل DNS ثنائي الاتجاه) وتقسمها إلى “第一步：DNS反查IP” (الخطوة الأولى: البحث العكسي عن IP) و”第二步：对域名运行正向DNS查找” (الخطوة الثانية: تشغيل بحث DNS أمامي على اسم المضيف). وهذه هي الطريقة الكاملة الصحيحة — ابحث عكسيًا عن IP لتؤكد اسم مضيف *.baidu.com/*.baidu.jp، ثم ابحث أماميًا عن اسم المضيف وتأكد من عودته إلى IP نفسه. إنها الطريقة ذات الخطوتين نفسها التي تستخدمها للتحقق من Googlebot أو Bingbot — والأوامر موجودة في علامة التبويب Scripts.

Baiduspider وrobots.txt

تقدم Baidu في أسئلتها الشائعة ادعاء امتثال قويًا وقابلًا للاقتباس على نحو غير معتاد:

Baidu strictly complies with robots.txt protocol. (ترجمة) «تلتزم Baidu التزامًا صارمًا ببروتوكول robots.txt.»

وتدعم ضوابط قياسية متوقعة. فبحسب مادة أكاديمية Ziyuan لدى Baidu، يدعم Baiduspider مطابقة أحرف البدل باستخدام * و$ في مسارات robots.txt (بالتكافؤ مع Google وBing)، ويطبق مطابقة مسارات حساسة لحالة الأحرف بصورة دقيقة. ويمكنك وضع قواعد لكل user-agent — إذ تقدم الأسئلة الشائعة لدى Baidu أمثلة عملية، منها مثال يحجب كل شيء عن Baiduspider العام لكنه يسمح لزاحف الصور بالدخول إلى /image/:

User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/

(وتشير Baidu أيضًا إلى أن Baiduspider-video لا يدعم هذه القواعد حاليًا.)

الاستثناء المسمى من «الامتثال الصارم»

المفارقة المهمة هي أن Baidu تدعي الامتثال الصارم لكنها توثق استثناءً رسميًا مسمى. يعمل Baiduspider-cpro (زاحف شبكة الإعلانات) وBaiduspider-ads (البحث التجاري) بموجب اتفاقيات تجارية منفصلة ويتجاهلان robots.txt عن قصد. ومن الأسئلة الشائعة، حرفيًا: “Baiduspider-cpro will not work on the records set by robots.txt” (ترجمة) «لن يعمل Baiduspider-cpro على السجلات التي يضعها robots.txt»، وينطبق الأمر نفسه على -ads. لذلك فالصياغة الصادقة ليست «Baidu لا تحترم robots.txt دائمًا» المبهمة التي تراها في مواقع التجميع — بل إن زواحف Baidu القياسية تمتثل، مع زاحفي إعلانات معفيين تعاقديًا بوصفهما الاستثناء الموثق الملموس.

وهناك نقطة منفصلة أضيق يسهل خلطها: لا يحترم Baiduspider توجيه crawl-delay غير القياسي. وقد وثقت Abby Hamilton من Search Engine Journal ذلك في الدليل الحديث لـRobots.txt (نوفمبر 2024) — إذ يسرد جدول مقارنة الزواحف «Baidu | Baiduspider | No» لدعم crawl-delay (بينما YandexBot لدى Yandex مسجل «Yes»). وهذه دعوى مختلفة عن امتثال Allow/Disallow القياسي، ومن المهم إبقاؤها مستقيمة حتى لا تناقض ادعاء Baidu الخاص عن robots.txt.

مثال حقيقي: robots.txt الخاص بـbaidu.com

تطبق Baidu تقسيم robots.txt على نطاقها هي. وتمنح robots.txt الحي زاحف Baiduspider الخاص بها قائمة حظر أقصر مما تمنحه لـGooglebot وMSNBot وSogou وYoudao (إذ تحصل تلك الزواحف إضافةً على حظر /shifen/ و/homepage/ و/cpro) ، وتحجب كل شيء (Disallow: /) لأي user-agent غير مسمى افتراضيًا:

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

توجد تفصيلة تشغيلية في الأسئلة الشائعة تستحق المعرفة عند تعديل القواعد: إذا شددت robots.txt بعد أن فهرست Baidu موقعًا بالفعل، “it usually takes 48 hours for the updated robots.txt to take effect.” (ترجمة) «يستغرق تطبيق robots.txt المحدّث عادةً 48 ساعة».

هل يصيّر Baiduspider JavaScript؟

هذه أكبر قيود Baiduspider العملية مقارنةً بـGooglebot، ومن المهم التفريق بين الرسمي وغير الرسمي. فالأسئلة الشائعة الإنجليزية لدى Baidu لا تتناول تصيير JavaScript إطلاقًا — ولا توجد مواصفة للقدرة كما تنشر Google لـGooglebot. وما لدينا بدلًا من ذلك هو اختبارات صناعية متسقة. وقد صاغ Dan Taylor الأمر بوضوح في مقارنة Google مقابل Baidu من Search Engine Journal (مارس 2021): “Baidu is notoriously bad when it comes to crawling JavaScript, so make sure that all your important content and links are served in plain HTML on both the mobile and desktop versions of your website.” (ترجمة) «تشتهر Baidu بسوءها في زحف JavaScript، لذا تأكد من تقديم كل محتواك وروابطك المهمة في HTML عادي على إصداري موقعك للهاتف والحاسوب.»

وهذا يتفق مع موقف هذا الموقع القائم أصلًا. فتغطيتنا لـSEO في Contentful تلاحظ أن Bing وYandex وBaidu “may not index [client-side-rendered JS] at all,” (ترجمة) «قد لا تفهرس [client-side-rendered JS] على الإطلاق»، وأن التصيير الديناميكي تقنية Google عامة مهجورة. ضع الزواحف الثلاثة الكبيرة على طيف: ينفذ Googlebot تصييرًا كاملًا عبر Chromium دائم التحديث، وينفذ Bingbot تصييرًا متينًا عبر Chromium/Edge، وBaiduspider هو الأضعف بينها في JavaScript — مع كون HTML العادي المصيّر من الخادم هو الحل الآمن عالميًا بينها كلها.

الإرشاد العملي للموقع الموجه إلى الصين هو جعل التصيير من الخادم أو HTML الثابت افتراضيًا، حتى يوجد المحتوى والروابط والبيانات الوصفية الحرجة في الاستجابة الأولية قبل تشغيل أي JavaScript. تعامل مع المحتوى الذي لا يظهر إلا من جهة العميل بوصفه خطر فهرسة خاصًا بـBaidu، بصرف النظر عن ترتيبه الجيد في Google. وقدّم SSR بوصفه أفضل ممارسة متفقًا عليها في المجال هنا — لا توصية رسمية من Baidu، لأنه لا يوجد تصريح أولي من Baidu عن تصيير JS يمكن الاستشهاد به.

التحكم في تكرار زحف Baiduspider

تقدم Baidu تكرار الزحف بوصفه معدّلًا ذاتيًا خوارزميًا، لا شيئًا تضبطه مباشرةً. ومن الأسئلة الشائعة، حرفيًا:

In order to ensure the search results cover most of your pages, Baiduspider must keep the crawling at a certain level. We have been trying our best to avoid increasing the loading to your servers, and to adjust the frequency based on combined factors, such as your server’s capability, your site’s quality and the update frequency of your site. (ترجمة) «لضمان أن تغطي نتائج البحث معظم صفحاتك، يجب أن يحافظ Baiduspider على الزحف عند مستوى معين. وقد بذلنا قصارى جهدنا لتجنب زيادة الحمل على خوادمك، ولضبط التكرار استنادًا إلى عوامل مجتمعة مثل قدرة خادمك وجودة موقعك وتكرار تحديثه.»

هذه هي منطق قدرة الخادم مع الطلب نفسه الذي تصفه Google وBing. وتسمي الأسئلة الشائعة نموذج ملاحظات (webmaster.baidu.com/feedback/index) بوصفه وسيلة رسمية للإبلاغ عن الزحف المفرط — “If you find any unreasonable access from Baiduspider, please inform us.” (ترجمة) «إذا وجدت وصولًا غير معقول من Baiduspider، فأبلغنا.»

وعلى مستوى المنتج، فإن منصة موارد بحث Baidu (百度搜索资源平台، على ziyuan.baidu.com — وهي وحدة التحكم التي كانت تسمى تاريخيًا «أدوات مشرفي المواقع من Baidu») هي نظير Baidu لـGoogle Search Console وBing Webmaster Tools. ويؤكد دليلها اليدوي وجود مساحة منتج «抓取频次» (تكرار الزحف) يمكن لأصحاب المواقع فيها رؤية معدل زحف Baiduspider ووضع حد له مباشرةً، إلى جانب أدوات robots وتشخيص الزحف. تعامل مع نموذج الملاحظات بوصفه مسار التصعيد الرسمي في وثائق Baidu الإنجليزية، ولوحة تكرار الزحف في Ziyuan بوصفها أداة التحكم العملية على مستوى الواجهة. (مسار القائمة الدقيق داخل المنتج خلف حساب Ziyuan مسجل الدخول، لذا أكد الواجهة الحالية هناك قبل اقتباس خطوات محددة.)

hreflang وإشارات Google القياسية الأخرى

لا تنتقل الإشارات القياسية في Google كلها إلى Baidu — وهذه نتيجة من الصناعة والممارسين، لا شيئًا توثقه أي من الشركتين. فـوثائق Google عن النسخ المترجمة محصورة بالكامل في بحث Google ولا تدعي شيئًا عن احترام Baidu أو Bing أو Yandex لـhreflang. ويقول دليل hreflang في هذا الموقع بوضوح: Baidu لا تدعم hreflang إطلاقًا — والحل الاحتياطي هو ضبط content-language و<html lang> بدقة كي تقرأ Baidu لغة الصفحة على الأقل. وهذا يضاف إلى عملي في hreflang المحصور في Google (دليل Ahrefs عن وسوم hreflang ودراسة 374 756 نطاقًا ، وكلاهما يناقش تنفيذ Google فقط) ولا يناقضه.

لا ثقافة ممثلين بالإنجليزية — لماذا الأسئلة الشائعة ذات قيمة استثنائية؟

أحد الأمور التي تميز منظومة Baidu فعلًا هو أنها، بخلاف Google (Gary Illyes وJohn Mueller) وBing (Fabrice Canel) وYandex، لا تملك ثقافة علنية مرئية للأسئلة والأجوبة مع ممثلين باللغة الإنجليزية. فلا يوجد متحدث مسمى يشارك مجتمع SEO نقاشاته ذهابًا وإيابًا. وأوضح صوت رسمي لـBaidu بالإنجليزية هو الأسئلة الشائعة المؤسسية غير الموقعة في help.baidu.com. ولهذا تكتسب تلك الأسئلة — وصفحات أكاديمية Ziyuan الصينية التي تقف خلفها — قيمة كبيرة: فمعظم المعرفة التشغيلية عن Baiduspider في عالم SEO الناطق بالإنجليزية تأتي من اختبارات الممارسين (تحليل سجلات الخادم، وتمارين التحقق من DNS، ومحاولات robots.txt وخطئها) لا من تعليقات ممثلين رسميين. وقد لخص Michael Bonfils الدرس الأوسع في Baidu مقابل Google من Search Engine Land: “SEO strategies that work for Google may not always translate directly to success on Baidu, China’s dominant search engine.” (ترجمة) «استراتيجيات SEO التي تعمل لدى Google قد لا تنتقل دائمًا بصورة مباشرة إلى النجاح على Baidu، محرك البحث المهيمن في الصين».

ولفهم موضع Baiduspider في الصورة الأكبر — عائلة الزواحف، وGooglebot وBingbot بوصفهما نظيرين، ومفهوم user-agent، وrobots.txt — تجمعها بوابة الزحف، بينما يمثل SEO الدولي موطن سياق السوق الصينية.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.