اللغات

زاحف Googlebot

ما هو Googlebot فعليًا — الهاتف الذكي مقابل سطح المكتب، عرض Chromium دائم التحديث، سلاسل وكيل المستخدم، التحقق من نطاقات IP، حدود البايت، والتمييز بين الزحف والترتيب.

نُشر أول مرة: 24 يونيو 2026 · آخر تحديث: 22 أغسطس 2026 · Advanced
اللغات
AIمن تأليفAI v2
دليل واحد في هذه الصفحة

Googlebot هو زاحف الويب من Google — البرنامج الذي يجلب الصفحات ليتمكن Google من فهرستها وترتيبها. يأتي بنوعين يتشاركان رمز robots.txt واحد: Googlebot للهواتف الذكية (الأساسي، تحت فهرسة الجوال أولاً) وGooglebot لسطح المكتب. يعمل بنظام Chromium دائم التحديث ويعرض JavaScript في قائمة انتظار منفصلة لاحقة (الزحف ≠ العرض). الزحف ليس عامل ترتيب، وحظر Googlebot في robots.txt ليس مثل إلغاء الفهرسة — فقد يُفهرس عنوان URL محظور من دون محتوى الصفحة. يمكن تزوير وكيل المستخدم بسهولة، لذا تحقق باستخدام DNS العكسي ثم الأمامي أو نطاقات IP المنشورة من Google. 'Googlebot' هو في الواقع جزء من منصة زحف أكبر بكثير تابعة لبحث Google.

الخلاصة — Googlebot هو زاحف بحث Google، مقسم إلى Smartphone (أساسي، فهرسة الجوال أولاً) وDesktop، يشتركان في رمز Googlebot واحد في robots.txt — لا يمكنك استهدافهما بشكل منفصل. يشغل Chromium دائم التحديث ويعرض JavaScript في قائمة انتظار منفصلة ولاحقة (الزحف ≠ العرض). الزحف مطلوب للترتيب لكنه ليس إشارة ترتيب، ويمكن فهرسة عنوان URL محظور بواسطة robots بعنوانه فقط. تحقق منه عبر DNS عكسي + أمامي إلى نطاق Google أو مقابل نطاقات IP المنشورة من Google — وكيل المستخدم سهل التزوير. و”Googlebot” هو في الواقع مجرد جزء موجه للبحث من منصة زحف أكبر بكثير.

Evidence for this claim Googlebot is Google's crawler, with smartphone and desktop crawler types that share the same product token. Scope: Current Googlebot crawler and user-agent documentation. Confidence: high · Verified: Google Search Central: Googlebot Evidence for this claim A claimed Google crawler can be verified using reverse and forward DNS or Google's published IP ranges. Scope: Google's current crawler-verification methods. Confidence: high · Verified: Google Search Central: Verify Googlebot

ما هو Googlebot في الواقع

تعرّف Google الاسم بدقة: “Googlebot is the generic name for two types of web crawlers used by Google Search.” (الترجمة العربية) «Googlebot هو الاسم العام لنوعين من زواحف الويب التي يستخدمها بحث Google». وهما Googlebot Smartphone، أي “a mobile crawler that simulates a user on a mobile device” (الترجمة العربية) «زاحف جوال يحاكي مستخدمًا على جهاز محمول»، وGooglebot Desktop، أي “a desktop crawler that simulates a user on desktop” (الترجمة العربية) «زاحف يحاكي مستخدمًا على جهاز مكتبي».

إنه ليس برنامجًا صغيرًا واحدًا يعمل على جهاز واحد. وكما أشرح في دليل Googlebot، فإن “Googlebot runs on thousands of machines” (الترجمة العربية) «Googlebot يعمل على آلاف الأجهزة»، وهذه الأجهزة “determine how fast and what to crawl on websites” (الترجمة العربية) «تحدد سرعة الزحف وما ينبغي زحفه في المواقع». وهي موزعة على مراكز بيانات حول العالم، وإن كانت الطلبات تخرج أساسًا من عناوين IP أمريكية. ويحدث الاكتشاف غالبًا عبر الروابط؛ إذ يعثر Google على عناوين جديدة “primarily from links embedded in previously crawled pages” (الترجمة العربية) «أساسًا من الروابط المضمنة في صفحات زُحفت سابقًا»، إضافة إلى خرائط الموقع. (أما الصورة الكاملة للاكتشاف والجدولة فتجدها في مركز الزحف.)

الهاتف الذكي مقابل سطح المكتب — ولماذا هو “الهاتف الذكي أولاً”

في ظل فهرسة الجوال أولاً، يكون زاحف الهاتف الذكي هو الأساسي. تقول Google: “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” (الترجمة العربية) «يفهرس بحث Google في معظم المواقع نسخة الجوال من المحتوى أساسًا؛ لذلك تأتي غالبية طلبات زحف Googlebot من زاحف الجوال وأقلية منها من زاحف سطح المكتب». اكتملت فهرسة الجوال أولاً لجميع المواقع منذ أكتوبر 2023، لذا فإن القاعدة العملية هي: إذا لم يكن المحتوى مرئيًا لوكيل الهاتف الذكي، فلن يُفهرس. طابق المحتوى والبيانات المنظمة والبيانات الوصفية ووسوم robots بين الجوال وسطح المكتب.

تكمن خصوصية robots.txt في أن “Both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.” (الترجمة العربية) «يلتزم نوعا الزاحف برمز المنتج نفسه، أي رمز وكيل المستخدم، في robots.txt؛ لذلك لا يمكنك استهداف Googlebot Smartphone أو Googlebot Desktop كلًا على حدة باستخدام الملف». والطريقة الوحيدة للتمييز بينهما هي قراءة ترويسة طلب HTTP المسماة user-agent في منطق الخادم. (ولتفاصيل تنسيقها، راجع فهرسة الجوال أولاً ووكيل المستخدم.)

سلاسل وكيل المستخدم

رمز المنتج robots.txt لكليهما هو فقط Googlebot. تختلف سلاسل UA الكاملة:

Googlebot Desktop:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

W.X.Y.Z هو عنصر نائب لإصدار Chrome الحالي، ويتغير مع تحديث Chromium الدائم لدى Googlebot. لا تثق في السلسلة وحدها، فهي قابلة للتزوير بسهولة (انظر التحقق أدناه).

Chromium دائم التحديث وقائمة انتظار العرض

هذا هو التمييز الذي يربك الناس أكثر: الزحف والعرض خطوتان منفصلتان. يعمل Googlebot على “an evergreen version of Chromium” (الترجمة العربية) «إصدار دائم التحديث من Chromium». وأصبح دائم التحديث في مايو 2019، بعد الانتقال من Chrome 41 القديم إلى الإصدار المستقر الحالي، ولهذا يتعامل الآن مع ES6+ وIntersectionObserver وWeb Components وCSS الحديثة. لكنه لا ينفذ JavaScript لحظة جلب HTML.

تقول Google: “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page. The page may stay on this queue for a few seconds, but it can take longer than that. Once Google’s resources allow, a headless Chromium renders the page and executes the JavaScript.” (الترجمة العربية) «يضع Googlebot كل صفحة تعيد رمز HTTP 200 في قائمة انتظار العرض، ما لم يطلب وسم robots وصفي أو ترويسة من Google عدم فهرستها. وقد تبقى الصفحة في القائمة بضع ثوانٍ أو أكثر؛ وعندما تتاح الموارد يعرضها Chromium بلا واجهة رسومية وينفذ JavaScript». تتصرف خدمة العرض (WRS) مثل متصفح حديث، لكن لها خصائص تستحق المعرفة: فهي عديمة الحالة فعليًا—يُمسح التخزين المحلي وتخزين الجلسة وملفات تعريف الارتباط بين عمليات تحميل الصفحات—ولا تجلب الصور أو مقاطع الفيديو لتوفير النطاق الترددي، وتخزن الموارد مؤقتًا بقوة وقد تتجاهل ترويسات التخزين المؤقت، ولا تدعم WebSockets أو WebRTC. إذا لم يظهر المحتوى إلا بعد نقرة أو انتقال JavaScript لا يستخدم رابط <a href> حقيقيًا، فتوقع مشكلات في العرض. (التفاصيل في المقال الشقيق العرض.)

حدود البايت

لا ينزّل Googlebot كمية غير محدودة لكل عنوان URL. ووفق تحديث Inside Googlebot الصادر في مارس 2026، يجلب تقريبًا أول 2 ميغابايت من كل عنوان URL، بما في ذلك ترويسة HTTP، وما يصل إلى 64 ميغابايت لملف PDF. والرقم متغير؛ إذ تقول Google إن “this limit is not set in stone and may change over time as the web evolves and HTML pages grow in size” (الترجمة العربية) «هذا الحد ليس ثابتًا وقد يتغير مع تطور الويب ونمو صفحات HTML». وكانت الوثائق السابقة تذكر 15 ميغابايت، لكنه اتضح أنه الإعداد الافتراضي للبنية التحتية الأوسع لا رقم بحث Google. وتبقى النتيجة العملية واحدة: ما بعد الحد لا يُجلب؛ و*“to Googlebot, they simply don’t exist”* (الترجمة العربية) «بالنسبة إلى Googlebot، لا وجود له ببساطة». لذلك ضع المحتوى والترميز المهمين قبل التضخم.

فشل موثق: الكنسي موجود، لكن Googlebot لا يستلمه أبدًا

تخيل قالب منتج يعيد ٢٫٤ ميغابايت من HTML. يضع التطبيق كائنًا متسلسلًا ضخمًا لحالة المنتج وحمولة توصيات قرب أعلى المستند؛ فلا يظهر وسم canonical ولا وصف المنتج ولا البيانات المنظمة ولا روابط المنتجات ذات الصلة حتى البايت ٢٬١٨٠٬٠٠٠ تقريبًا. ينزّل المتصفح الاستجابة كاملة، لذلك يبدو عرض المصدر صحيحًا. أما Googlebot Search فيتوقف عند حده الموثق البالغ نحو 2 ميغابايت، فلا توجد تلك الإشارات المتأخرة في المورد الذي جُلب.

شخّص الاستجابة بترتيب البايتات، وليس فقط في DOM المعروض:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

أعداد البايتات المحلية تقريبية لأن الوسطاء في التسليم ومعالجة الاستجابة قد يختلفون، لكنها تجيب على السؤال العملي الأول: هل الإشارات الحرجة في وقت مبكر بشكل مريح، أم أنها قريبة من الحد أو خارجه؟ الحل هو إزالة أو تأجيل البيانات المضمنة الضخمة وإصدار البيانات الوصفية الأساسية والمحتوى الأساسي والروابط القابلة للزحف مبكرًا — وليس نقل نفس التضخم والأمل في تغيير الحد.

كيف يجلب Googlebot — بأدب

  • معدل الزحف خوارزمي ويحد من نفسه. “For most sites, Googlebot shouldn’t access your site more than once every few seconds on average.” (الترجمة العربية) «في معظم المواقع، ينبغي ألا يصل Googlebot إلى موقعك أكثر من مرة كل بضع ثوانٍ في المتوسط». وهو يسرع أو يتراجع بحسب صحة الخادم.
  • رموز الحالة هي الرافعة. إرجاع 429 أو 500 أو 503 يطلب من Googlebot الإبطاء، لكن أثر ذلك يشمل اسم المضيف كله لا العناوين التي تعيد أخطاء فحسب، ولا يفيد إلا يومًا أو يومين قبل أن تبدأ الأخطاء المستمرة في إسقاط الصفحات من الفهرس. وقال John Mueller: “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts” (الترجمة العربية) «لا أتوقع أن يستجيب معدل الزحف بهذه السرعة إلا عند إعادة 429 أو 500 أو 503 أو انتهاء مهلة»، وأضاف: “404s are generally fine & once discovered, Googlebot will retry them anyway.” (الترجمة العربية) «استجابات عدم العثور مقبولة عمومًا، وسيعيد Googlebot المحاولة بعد اكتشافها».
  • crawl-delay يتم تجاهله. لا تعالج Google توجيه crawl-delay غير القياسي في robots.txt على الإطلاق. (Bing يكرمه — أحد الاختلافات الحقيقية بين Googlebot/Bingbot.)
  • الزحف يتبع طلب الزحف، وليس حصة ثابتة — السعة (ما يمكن أن يتحمله خادمك) بالإضافة إلى الطلب (الشعبية وتقادُم المحتوى). بالنسبة لمعظم المواقع، هذه ليست مشكلة؛ فقط تؤثر على النطاق الحقيقي. المعالجة الكاملة موجودة في ميزانية الزحف.

التحقق من أنه Googlebot حقًا

ترويسة وكيل المستخدم “often spoofed by other crawlers” (الترجمة العربية) «كثيرًا ما تنتحلها زواحف أخرى»، ولذلك لا تثبت وحدها شيئًا. تعرّف زواحف Google نفسها بثلاثة عناصر: ترويسة وكيل المستخدم، وعنوان IP المصدر، واسم المضيف المستخرج عبر DNS العكسي لذلك العنوان. وهناك طريقتان فعليتان للتحقق:

  1. يدوي (لمرة واحدة). أجرِ بحث DNS عكسيًا لعنوان IP المصدر؛ وتأكد من أنه يُحل إلى اسم مضيف ينتهي بـ googlebot.com أو google.com أو googleusercontent.com (يبدو النمط مثل crawl-***-***-***-***.googlebot.com)؛ ثم أجرِ بحث DNS أماميًا لاسم المضيف نفسه وتأكد من أنه يعيد عنوان IP الأصلي.
  2. تلقائي (على نطاق واسع). طابق عنوان IP مع نطاقات CIDR المنشورة من Google. قامت Google بتقسيمها من ملف googlebot.json القديم الواحد إلى عدة ملفات JSON حسب فئة الزاحف — ملف Googlebot هو https://www.gstatic.com/ipranges/common-crawlers.json (عنوان URL القديم googlebot.json لا يزال يعيد التوجيه إلى نفس البيانات).

كلاهما في تبويب البرامج النصية، لنظامي macOS/Linux وWindows. لماذا نهتم؟ الكثير من حركة المرور تدّعي أنها Googlebot، لذا فإن السجلات التي “تُظهر Googlebot” قد تكون في الغالب منتحلة — تحقق قبل أن تثق.

Googlebot هو واحد من أسطول من الروبوتات

اسم “Googlebot” ليس دقيقًا تمامًا. قال Gary Illyes في مارس 2026: “I mean, calling it Googlebot, that’s a misnomer” (الترجمة العربية) «أعني أن تسميته Googlebot تسمية غير دقيقة»، وقال أيضًا: “Googlebot is not our crawler infrastructure.” (الترجمة العربية) «Googlebot ليس بنيتنا التحتية للزحف». ووصف البنية الأساسية بأنها “software as a service, if you like. SaaS” (الترجمة العربية) «برمجيات كخدمة، إن شئت؛ SaaS»، وهي منصة مشتركة تستفيد منها منتجات Google عديدة. وما يظهر في السجلات هو الجزء الخاص بالبحث: “When you see Googlebot in your server logs, you are just looking at Google Search.” (الترجمة العربية) «عندما ترى Googlebot في سجلات خادمك، فأنت ترى بحث Google فقط». وأشار كذلك إلى وجود “dozens, if not hundreds of different crawlers,” (الترجمة العربية) «عشرات الزواحف المختلفة، إن لم تكن مئات»، ومعظمها أصغر من أن يستحق التوثيق.

الأسماء التي ستقابلها فعليًا إلى جانب Googlebot تشمل Googlebot-Image، وGooglebot-Video، وGooglebot-News (التي تشارك سلاسل/رموز Googlebot)، وStorebot-Google، وGoogle-InspectionTool (يشغل أدوات فحص URL والنتائج الغنية). اثنان يتصرفان بشكل غير عادي: AdsBot يتجاهل قاعدة robots.txt العامة * (قاعدة Disallow: / تحت User-agent: * لن توقفه)، وGoogle-Safety يتجاهل robots.txt تمامًا. الزواحف المتعلقة بالذكاء الاصطناعي — Google-Extended (يتحكم في تدريب Gemini؛ ليس إشارة ترتيب) وGoogleOther (عمليات زحف للبحث والتطوير، منقولة من Googlebot) — موجودة أيضًا، لكن المقال الشقيق زواحف الذكاء الاصطناعي يغطيها بعمق، لذا سأشير إليه بدلًا من التكرار.

كيفية التحكم في Googlebot

ثلاثة عناصر تحكم، ثلاثة تأثيرات مختلفة:

  • robots.txt يوقف الزحف، وليس الفهرسة. استخدمه لإبعاد الروبوتات عن مساحات URL منخفضة القيمة — أبدًا كأداة لإلغاء الفهرسة.
  • noindex يوقف الفهرسة — لكن يجب السماح لـ Googlebot بالزحف إلى الصفحة ليرى الوسم في المقام الأول.
  • حماية كلمة المرور تمنع الوصول تمامًا.

وهذا يقودنا إلى أكثر حقائق Googlebot تعرضًا لسوء الفهم: “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” (الترجمة العربية) «هناك فرق بين الزحف والفهرسة؛ فمنع Googlebot من زحف صفحة لا يمنع ظهور عنوانها في نتائج البحث». فقد يُفهرس عنوان محظور عبر robots بوصفه عنوان URL فقط إذا أشارت إليه روابط. ولإزالة صفحة فعلًا، اسمح بالزحف وأضف noindex. شرحت ذلك بالتفصيل في مفهرس، رغم حظره بواسطة robots.txt.

للخط الأوسع الذي يعيش فيه Googlebot — اكتشاف URL، وجدولة الزحف، والعرض، والتمييز بين الزحف والفهرسة والترتيب — انظر إلى مركز الزحف وكيف يعمل البحث.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.