معدل الزحف

الخلاصة — معدل الزحف هو مدى سرعة جلب محرك البحث للصفحات من موقعك. تضبطه Google تلقائيًا وفق سلامة خادمك — فلم يعد هناك زر لرفعه أو خفضه. إذا كان خادمك يتعرض لضغط شديد، فالحل هو جعله أسرع (أو، ليوم أو يومين فقط، إرجاع رمز خطأ يفيد بطلب الإبطاء). الزحف الأسرع لا يحسن ترتيبك.

ما معدل الزحف

عندما يزحف محرك بحث إلى موقعك، لا يجلب كل صفحة دفعة واحدة — بل ينظم وتيرته. معدل الزحف هو تلك الوتيرة: عدد الصفحات التي يجلبها الزاحف في كل لحظة، ومدة انتظاره بين عمليات الجلب. Googlebot لـGoogle، وBingbot لـBing. Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

الغرض الأساسي من تنظيم الوتيرة هو مراعاة الخادم. يمكن لزاحف أن يرهق خادمًا صغيرًا بسهولة إذا طلب مئات الصفحات في الثانية، لذلك يراقب استجابة موقعك ويتراجع عندما يبدأ الخادم في التعرض للضغط. استجب بسرعة فيجلب بوتيرة أعلى قليلًا؛ أما إذا تباطأت أو أرجعت أخطاء، فيقل الزحف.

التغيير الكبير

لسنوات كانت النصيحة: «ادخل إلى Search Console وخفّض شريط تمرير معدل الزحف». ذلك الشريط اختفى — أزالته Google في 8 يناير 2024. لذلك، إذا وجدت شرحًا يطلب منك تعديله، فهذا الشرح قديم. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation

أصبح المعدل اليوم تلقائيًا. أنت لا تضبطه؛ بل تقرأ Google استجابات خادمك وتقرر.

كيفية إبطاء Googlebot

إذا كان خادمك يتعرض فعلًا لحمل زائد، فاتبع هذا الترتيب:

1. اجعل الخادم أسرع أو امنحه موارد إضافية. هذا هو الحل الحقيقي. سيزحف Googlebot طبيعيًا إلى خادم سليم وسريع براحة أكبر.
2. في حالة طوارئ حقيقية فقط: اجعل خادمك يعيد خطأ 500 أو 503 أو 429 بدل الصفحة العادية. تقرأ Google ذلك كإشارة «أبطئ» بصورة شبه فورية. لكن استخدم هذا لمدة يوم أو يومين على الأكثر — فإذا أبقيته مدة أطول قد تبدأ Google في إسقاط صفحاتك من نتائج البحث.

ما ينبغي ألا تفعله: لا تحجب Googlebot بأخطاء 403/404 (فهي لا تبطئ الزحف وقد تؤدي إلى فقدان الصفحات)، ولا تعتمد على crawl-delay في robots.txt — تتجاهله Google (بينما تحترمه Bing).

هل يمكنك جعل Google تزحف بوتيرة أسرع؟

ليس عند الطلب — فلا يوجد زر «زحف أكثر»، ولا يمكنك طلب زيادة. يمكنك تشجيع ذلك بصورة غير مباشرة: خادم أسرع، وخريطة موقع نظيفة، وروابط داخلية جيدة، والتخلص من عناوين URL المكررة أو الرديئة؛ وكل ذلك يساعد. لكن زيادة الزحف ليست هدفًا في حد ذاتها — ولن ترفع ترتيبك.

هل تريد تفاصيل رموز الحالة، وتاريخ الإيقاف، وكيف تختلف Bing؟ انتقل إلى علامة تبويب Advanced.

الخلاصة — معدل الزحف هو جانب العرض من ميزانية الزحف — أي سرعة الجلب، ويحدده ما تسميه Google حد سعة الزحف (الاتصالات المتوازية + التأخير بين عمليات الجلب). وهو تلقائي ويتفاعل مع سلامة الخادم؛ وقد أزيل شريط GSC اليدوي في 8 يناير 2024. لإبطاء Googlebot الآن، أرسل الإشارة عبر HTTP: 500/503/429 لمدة يوم أو يومين كحد أقصى، ولا تستخدم أبدًا 401/403/404، وتتجاهل Google crawl-delay (بينما تحترمه Bing). لا يمكنك طلب زيادة — بل تحسنه بصورة غير مباشرة. ولا تزال Bing توفر أداة Crawl Control يدوية. معدل الزحف ليس عامل ترتيب، ومعظم المواقع لا تحتاج إلى التدخل فيه مطلقًا.

ما معدل الزحف فعليًا

معدل الزحف هو سرعة جلب الزاحف للصفحات من خادمك — أي عدد الطلبات المتزامنة التي يجريها والتأخير بينها. وتسميه Google حد سعة الزحف: “the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (ترجمة) «الحد الأقصى لعدد الاتصالات المتوازية المتزامنة التي تستطيع Google استخدامها للزحف إلى موقع، وكذلك مدة التأخير بين عمليات الجلب.» Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

إنه أحد نصفي ميزانية الزحف. وكما صغته في دليلي عن ميزانية الزحف في Ahrefs، تنقسم ميزانية الزحف إلى “crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” (ترجمة) «طلب الزحف، أي عدد الصفحات التي يريد محرك البحث زحفها على موقعك، ومعدل الزحف، أي السرعة التي يستطيع بها الزحف.» معدل الزحف هو جانب العرض (مدى السرعة التي تسمح لهم بها)؛ وطلب الزحف هو جانب الطلب (المقدار الذي يرغبون في زحفه). تلتقي الناحيتان في ميزانية الزحف — أما الترتيب فيقع خارج هذه الحلقة تمامًا.

في عرضي كيف يعمل البحث أعرض حد معدل الزحف ببساطة بوصفه ما يستطيع موقعك تحمله — فهو يتأثر باستقرار الخادم وسلامة الزحف، وبطء الاستجابات، وأخطاء 5xx (الخادم)، واستجابات 429 (طلبات كثيرة جدًا). تتراجع Google عندما يبدأ خادمك في الضغط لأنها لا تريد تعطيل موقعك. وثمة تفصيل يفوته كثيرون: تشترك جميع أنواع Googlebot في مجموعة زحف واحدة — فروبوتات البحث والصور والإعلانات وغيرها كلها تستمد من المعدل نفسه. لذلك، فإن الإفراط في زحف نوع واحد من الموارد يقتطع من زحف كل شيء آخر.

ما الذي يحدد معدل الزحف

حد السعة تلقائي ويتفاعل مع خادمك في الوقت الفعلي. تقول Google: “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.” (ترجمة) «حين يظل الموقع سريع الاستجابة، يرتفع الحد فتستطيع Google استخدام اتصالات إضافية للزحف؛ وإذا تباطأ أو أعاد أخطاء خادم، ينخفض الحد فتقل وتيرة زحفها.»

هناك رافعة ثانية لا تتحكم فيها: موارد Google نفسها. “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” (ترجمة) «تملك Google عددًا كبيرًا من الأجهزة، لكنه عدد محدود؛ لذلك عليها اتخاذ قرارات بشأن استخدام مواردها المتاحة.» لذلك تحدد سلامة خادمك السقف الذي تكون Google مستعدة لاستخدامه، لكن سعة Google نفسها وطلب الزحف إلى موقعك يحددان مقدار ما يُستخدم فعلًا من ذلك السقف.

تؤكد وثيقة الخرافات أن الصلة بسلامة الخادم تعمل في الاتجاهين: “A speedy site is a sign of healthy servers, so it can get more content over the same number of connections,” (ترجمة) «الموقع السريع علامة على سلامة الخوادم، لذلك يمكن جلب مزيد من محتواه عبر عدد الاتصالات نفسه»، بينما “a significant number of 5xx HTTP response status codes (server errors) or connection timeouts signal the opposite, and crawling slows down.” (ترجمة) «يشير عدد كبير من رموز حالة استجابة HTTP من فئة 5xx (أخطاء الخادم) أو انتهاء مهلة الاتصال إلى العكس، فيتباطأ الزحف.»

هل يؤثر معدل الزحف في الترتيب؟ لا.

ابدأ بتفنيد هذا الاعتقاد، لأنه يدفع إلى كثير من الجهد الخاطئ. الزحف مطلوب للظهور في البحث، لكنه ليس إشارة ترتيب. وتقول Google بوضوح: “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” (ترجمة) «لن يؤدي تحسين معدل الزحف بالضرورة إلى مراكز أفضل في نتائج بحث Google.» يمنحك الزحف الأسرع أو الأكثر اكتشافًا وفهرسة أحدث، لا مراكز أعلى. معدل الزحف مسألة كفاءة وسلامة خادم — وانتهى الأمر.

كيفية خفض معدل زحف Googlebot

بالترتيب، من الحل الحقيقي إلى رافعة الطوارئ:

1. أصلح الخادم (الحل الحقيقي). سرّعه أو أضف موارد. ولأن حد السعة يتتبع زمن الاستجابة والأخطاء، فإن الخادم الأسلم هو الطريقة المستدامة لإبقاء الزحف ضمن نطاق مريح — وهو الحل الذي لا يعرض فهرستك للخطر.

2. رافعة الطوارئ — 500/503/429. تقول Google: “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (ترجمة) «أعِد رمز حالة استجابة HTTP ‏500 أو 503 أو 429 بدلًا من 200 لطلبات الزحف.» وتتعامل زواحفها مع “treat the 429 status code as a signal that the server is overloaded,” (ترجمة) «رمز الحالة 429 بوصفه إشارة إلى أن الخادم محمّل فوق طاقته»، كما أن “5xx and 429 server errors prompt Google’s crawlers to temporarily slow down with crawling.” (ترجمة) «أخطاء الخادم 5xx و429 تدفع زواحف Google إلى إبطاء الزحف مؤقتًا.» ووصف Gary Illyes سرعة ذلك بعبارات عملية: “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (ترجمة) «إذا استمر الخادم في إرجاع رموز حالة HTTP ‏500 لنطاق من عناوين URL، فسيبطئ Googlebot الزحف تلقائيًا وبصورة شبه فورية.» فضّل 429 متى استطعت — فهو يعني صراحةً «طلبات كثيرة جدًا» ويمكن أن يحمل ترويسة Retry-After.

المشكلة أن هذا مؤقت حصرًا. تقول Google: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (ترجمة) «لا نوصي بأن تفعل ذلك مدة طويلة (أي أطول من يوم إلى يومين).» وإذا تركته فعالًا فالتكلفة حقيقية — إذا استمرت هذه الرموز على عنوان URL نفسه عدة أيام، “the URL may be dropped from Google’s index” (ترجمة) «قد يُسقط عنوان URL من فهرس Google»، وبالنسبة إلى Google Ads، “your campaigns may be cancelled or paused, and your ads may not serve.” (ترجمة) «قد تُلغى حملاتك أو تُوقف مؤقتًا، وقد لا تُعرض إعلاناتك.»

3. ما ينبغي ألا تفعله. لا تستخدم 4xx للخنق. “The 4xx status codes, except 429, have no effect on crawl rate,” (ترجمة) «لا تؤثر رموز الحالة 4xx، باستثناء 429، في معدل الزحف»، وتقول Google صراحةً: “Don’t use 401 and 403 status codes for limiting the crawl rate.” (ترجمة) «لا تستخدم رمزي الحالة 401 و403 للحد من معدل الزحف.» وفي منشور مخصص عام 2023 عن أشخاص يفعلون ذلك تحديدًا، كتبت Google: “Over the last few months we noticed an uptick in website owners and some content delivery networks (CDNs) attempting to use 404 and other 4xx client errors (but not 429) to attempt to reduce Googlebot’s crawl rate. The short version of this blog post is: please don’t do that…” (ترجمة) «خلال الأشهر القليلة الماضية لاحظنا زيادة في مالكي المواقع وبعض شبكات توصيل المحتوى (CDN) الذين يحاولون استخدام 404 وأخطاء عميل 4xx الأخرى (لكن ليس 429) لمحاولة خفض معدل زحف Googlebot. والنسخة المختصرة من هذا المنشور هي: يُرجى ألا تفعلوا ذلك…» ولا تلجأ إلى crawl-delay في robots.txt: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (ترجمة) «لا تعالج زواحف Google قاعدة robots.txt غير القياسية ‘crawl-delay’.»

4. الطلب غير الطارئ. لمشكلة مستمرة وليست حريقًا، يمكنك “file a special request to report a problem with unusually high crawl rate, mentioning the optimal rate for your site.” (ترجمة) «تقديم طلب خاص للإبلاغ عن مشكلة في معدل زحف مرتفع بصورة غير معتادة، مع ذكر المعدل الأمثل لموقعك.» وهو بطيء ولا يسير إلا في اتجاه واحد (انظر أدناه).

هل يمكنك زيادة معدل الزحف؟ لا — ليس مباشرةً.

لا توجد زيادة يدوية. تقول Google: “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” (ترجمة) «لا يمكنك طلب زيادة في معدل الزحف، وقد يستغرق تقييم الطلب وتنفيذه عدة أيام.» ما يمكنك فعله هو تحسينه بصورة غير مباشرة. ومن دليلي عن ميزانية الزحف، فالرافعات التي تحسن كفاءة الزحف فعلًا هي: تسريع الخادم أو إضافة موارد؛ إبقاء الصفحات المهمة في خرائط موقع نظيفة؛ التخلص من المحتوى المكرر؛ كسب مزيد من الروابط (الخارجية والداخلية)؛ إصلاح الروابط المعاد توجيهها؛ استخدام GET بدل POST حيثما أمكن؛ واستخدام Indexing API عندما تكون مؤهلًا. ولاحظ أن “a speedy site… can get more content over the same number of connections” (ترجمة) «يمكن للموقع السريع… الحصول على مزيد من المحتوى عبر عدد الاتصالات نفسه» — لذلك تظهر سلامة الخادم رافعةً في جانبي الخفض والزيادة.

كيفية التحكم في معدل زحف Bingbot

هنا يظهر التباين الحاد بين المحركين. أوقفت Google التحكم اليدوي، بينما أبقت عليه Bing. توفر Bing Webmaster Tools أداة Crawl Control (ضمن Configuration): واجهة شبكية لكل ساعة، وتعرض كل ساعة كتلًا تمثل سرعة الزحف — كتل أكثر تعني زحفًا أسرع، وكتل أقل تعني زحفًا أبطأ. يمكنك اختيار إعداد مسبق مبني على ساعات ذروة أعمالك، أو اختيار “Custom” (ترجمة) «مخصص» ورسم نمطك الخاص على مدار اليوم. ولا تزال Bing أيضًا تحترم crawl-delay في robots.txt — وهو التوجيه نفسه الذي تتجاهله Google. إذن القاعدة العملية للمحركين: مع Google ترسل الإشارة عبر استجابات الخادم؛ ومع Bing لديك أداة ضبط فعلية.

ماذا حدث لأداة معدل الزحف في Search Console؟

إليك الخط الزمني، لأن كثيرًا من النصائح لا يزال يشير إلى أداة لم تعد موجودة:

• ديسمبر 2008 — قدمت Google للمستخدم تحكمًا في معدل الزحف ضمن Webmaster Tools.
• فبراير 2023 — تنشر Google: “don’t use 403s or 404s for rate limiting.” (ترجمة) «لا تستخدم 403s أو 404s للحد من المعدل.»
• 24 نوفمبر 2023 — تعلن Google إيقاف Crawl Rate Limiter Tool. وكان تعليل Illyes: “with the improvements we’ve made to our crawling logic and other tools available to publishers, its usefulness has dissipated.” (ترجمة) «مع التحسينات التي أجريناها على منطق الزحف والأدوات الأخرى المتاحة للناشرين، تلاشت فائدتها.» كانت الأداة القديمة بطيئة وقليلة الاستخدام — إذ كان لها “a much slower effect” (ترجمة) «تأثير أبطأ بكثير»، وكان “would have taken over a day for the new limits to be applied on crawling,” (ترجمة) «سيستغرق تطبيق الحدود الجديدة على الزحف أكثر من يوم»، وكانت تُستخدم “rarely,” (ترجمة) «نادرًا»، وكان من استخدموها “in many cases set the crawling speed to the bare minimum.” (ترجمة) «يضبطون سرعة الزحف في حالات كثيرة على الحد الأدنى المطلق.»
• 8 يناير 2024 — أزيلت الأداة. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation وخفضت Google أيضًا الحد الأدنى: “With the deprecation of the crawl limiter tool, we’re also setting the minimum crawling speed to a lower rate, comparable to the old crawl rate limits.” (ترجمة) «مع إيقاف أداة الحد من الزحف، نضبط أيضًا الحد الأدنى لسرعة الزحف على معدل أقل، مماثل لحدود معدل الزحف القديمة.»

الخلاصة العملية: كان شريط التمرير اليدوي القديم يتأخر أكثر من 24 ساعة على أي حال؛ أما نهج إشارات الخادم اليوم (5xx/429) فيبطئ Googlebot بصورة شبه فورية، وهو أفضل بوضوح في حالة طوارئ حقيقية.

كيفية مراقبة معدل الزحف

يمثل تقرير Crawl Stats في GSC نافذتك إلى ما تفعله Google فعلًا: إجمالي طلبات الزحف بمرور الوقت، وإجمالي حجم التنزيل، ومتوسط زمن الاستجابة، وعرض حالة المضيف لتوافر موقعك لـGoogle خلال آخر نحو 90 يومًا، إضافة إلى تقسيم حسب رمز الاستجابة ونوع الملف وغرض الزحف ونوع Googlebot. راقب متوسط زمن الاستجابة وإشارات حالة المضيف — فارتفاع زمن الاستجابة أو موجة من 5xx هو بالضبط ما يجعل Googlebot يخفض الوتيرة، ولذلك سيوضح التقرير إن كان موقعك سبب التباطؤ قبل أن تبحث عن سبب آخر. وفي Bing، تعادل ذلك Crawl Control ومعلومات الزحف في Bing Webmaster Tools.

معدل الزحف مقابل ميزانية الزحف مقابل تكرار الزحف

حافظ على وضوح هذه الفروق:

• معدل الزحف = مدى السرعة (العرض / السعة).
• طلب الزحف = المقدار الذي يرغبون فيه (الشعبية + التقادم).
• ميزانية الزحف = تفاعل الاثنين — “the amount of time and resources a search engine allows for crawling a website.” (ترجمة) «مقدار الوقت والموارد الذي يتيحه محرك البحث للزحف إلى موقع ويب.»
• تكرار الزحف = عدد مرات إعادة زحف صفحة معينة، وهي في الأساس مسألة طلب زحف (الشعبية ومدى حداثة الصفحة أو تقادمها).

والجزء المطمئن، وهو رأيي الدائم: لا تحتاج معظم المواقع إلى القلق بشأن أي من هذا. “Most sites don’t need to worry about crawl budget, but there are few cases where you may want to take a look” (ترجمة) «لا تحتاج معظم المواقع إلى القلق بشأن ميزانية الزحف، لكن توجد حالات قليلة قد ترغب فيها في إلقاء نظرة» — المواقع الأحدث التي تضم صفحات كثيرة، والمواقع الضخمة جدًا أو سريعة التغير، والمواقع التي لديها كومة من عناوين URL بالحالة “Discovered – currently not indexed” (ترجمة) «مكتشفة — غير مفهرسة حاليًا» في GSC. إذا لم ينطبق ذلك عليك، فاترك معدل الزحف وشأنه ودع أتمتة Google تعمل.

ملخص الذكاء الاصطناعي

خلاصة مركزة من نسخة Advanced:

• معدل الزحف = سرعة جلب الزاحف للصفحات — أي «حد سعة الزحف» (الاتصالات المتوازية + التأخير بين عمليات الجلب). وهو جانب العرض من ميزانية الزحف؛ أما طلب الزحف فهو جانب الطلب.
• وهو تلقائي ويتفاعل مع سلامة الخادم: خادم سريع وسليم ← حد أعلى؛ استجابات بطيئة أو 5xx/429 ← تزحف Google أقل. وتشكل سعة Google نفسها سقفًا ثانيًا لا تتحكم فيه. وتشترك جميع أنواع Googlebot في مجموعة زحف واحدة.
• أزيل شريط المعدل اليدوي في GSC في 8 يناير 2024. وأي نصيحة تطلب منك «تعديل شريط التمرير» قديمة.
• لإبطاء Googlebot اليوم: أصلح الخادم (وهو الأفضل)، أو أعِد 500/503/429 لمدة يوم أو يومين كحد أقصى (فالمدة الأطول تهدد بإزالة الصفحات من الفهرس وإيقاف Ads). فضّل 429 (يحمل Retry-After). لا تستخدم أبدًا 401/403/404، وتتجاهل Google crawl-delay.
• لا يمكنك طلب زيادة. حسنه بصورة غير مباشرة: خادم أسرع، وخرائط موقع نظيفة، وعناوين URL مكررة أو رديئة أقل، وروابط داخلية وخارجية أكثر، وIndexing API حيثما كنت مؤهلًا.
• أبقت Bing التحكم اليدوي: أداة Crawl Control بواجهة شبكية لكل ساعة مع احترام crawl-delay.
• معدل الزحف ليس عامل ترتيب — “improving your crawl rate won’t necessarily lead to better positions.” (ترجمة) «لن يؤدي تحسين معدل الزحف بالضرورة إلى مراكز أفضل.» ومعظم المواقع لا تحتاج إلى إدارته مطلقًا.

الوثائق الرسمية

وثائق المصدر الأساسي من محركات البحث.

Google

• خفض معدل زحف Googlebot — دليل التنفيذ الأساسي: 500/503/429، وحد اليوم أو اليومين، ونموذج الطلب (يمكنك الخفض لا الرفع).
• إدارة ميزانية الزحف — تعرّف حد سعة الزحف وكيف يتفاعل مع سلامة الخادم.
• كيفية تأثير رموز حالة HTTP في زواحف Google — الرموز التي تخفض الزحف (5xx/429) والتي لا تخفضه (4xx باستثناء 429) بدقة.
• خرافات وحقائق عن الزحف — عدم معالجة crawl-delay؛ ومعدل الزحف لا يساوي الترتيب؛ وسلامة الخادم تؤثر في الزحف.
• الإيقاف المرتقب لأداة Crawl Rate Limiter (نوفمبر 2023) — إعلان الإيقاف.
• لا تستخدم 403s أو 404s للحد من المعدل (فبراير 2023) — لماذا تمثل 4xx الرافعة الخطأ.
• إحصاءات زحف جديدة ومحسنة لموقعك (نوفمبر 2020) — كيفية قراءة تقرير Crawl Stats.
• تحسين ميزانية الزحف — السعة + الطلب، ومن يحتاج إليها فعلًا.

Bing / Microsoft

• Bing Webmaster Tools — Crawl Control — شبكة معدل الزحف اليدوية لكل ساعة التي أوقفتها Google.
• إرشادات Bingbot — توثق إرشادات Bing Webmaster الحالية قيم crawl-delay من ثانية واحدة إلى 20 ثانية.
• سلسلة bingbot: تحسين تكرار الزحف (أكتوبر 2018) — منظور Bing بشأن توقيت إعادة الجلب.

اقتباسات من المصدر

تصريحات رسمية من Google. كل رابط هو رابط عميق يقفز إلى المقطع المقتبس في الصفحة المصدر.

Google — ما معدل الزحف وما الذي يحدده

• “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.” (ترجمة) «إذا استجاب الموقع بسرعة مدة من الوقت، يرتفع الحد، ما يعني إمكانية استخدام مزيد من الاتصالات للزحف. وإذا تباطأ الموقع أو استجاب بأخطاء خادم، ينخفض الحد وتزحف Google أقل.» — إدارة ميزانية الزحف. انتقل إلى الاقتباس
• “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” (ترجمة) «لدى Google الكثير من الأجهزة، لكنها ليست غير محدودة. وما زلنا بحاجة إلى اتخاذ قرارات بالموارد المتاحة لدينا.» انتقل إلى الاقتباس

Google — كيفية خفض معدل الزحف

• “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (ترجمة) «أعِد رمز حالة استجابة HTTP ‏500 أو 503 أو 429 بدلًا من 200 لطلبات الزحف.» — خفض معدل زحف Googlebot. انتقل إلى الاقتباس
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (ترجمة) «لا نوصي بأن تفعل ذلك مدة طويلة (أي أطول من يوم إلى يومين).» انتقل إلى الاقتباس
• “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” (ترجمة) «لا يمكنك طلب زيادة في معدل الزحف، وقد يستغرق تقييم الطلب وتنفيذه عدة أيام.» انتقل إلى الاقتباس

Google — رموز الحالة التي تخفض الزحف

• “Google’s crawlers treat the 429 status code as a signal that the server is overloaded, and it’s considered a server error.” (ترجمة) «تتعامل زواحف Google مع رمز الحالة 429 بوصفه إشارة إلى أن الخادم محمّل فوق طاقته، ويُعد خطأ خادم.» — كيفية تأثير رموز حالة HTTP في زواحف Google. انتقل إلى الاقتباس
• “The 4xx status codes, except 429, have no effect on crawl rate.” (ترجمة) «لا تؤثر رموز الحالة 4xx، باستثناء 429، في معدل الزحف.» / “Don’t use 401 and 403 status codes for limiting the crawl rate.” (ترجمة) «لا تستخدم رمزي الحالة 401 و403 للحد من معدل الزحف.» انتقل إلى الاقتباس

Google — crawl-delay والترتيب

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (ترجمة) «لا تعالج زواحف Google قاعدة robots.txt غير القياسية ‘crawl-delay’.» — خرافات وحقائق عن الزحف. انتقل إلى الاقتباس
• “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” (ترجمة) «لن يؤدي تحسين معدل الزحف بالضرورة إلى مراكز أفضل في نتائج بحث Google.» انتقل إلى الاقتباس

Gary Illyes، Google (عن إيقاف أداة معدل الزحف)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (ترجمة) «إذا استمر الخادم في إرجاع رموز حالة HTTP ‏500 لنطاق من عناوين URL، فسيبطئ Googlebot الزحف تلقائيًا وبصورة شبه فورية.» اقرأ التغطية
• “with the improvements we’ve made to our crawling logic and other tools available to publishers, its usefulness has dissipated.” (ترجمة) «مع التحسينات التي أجريناها على منطق الزحف والأدوات الأخرى المتاحة للناشرين، تلاشت فائدتها.» اقرأ التغطية

قوائم فحص معدل الزحف

اخفض معدل زحف Googlebot بأمان (بالترتيب)

• أولًا، تأكد من أن الزاحف هو المشكلة الفعلية — راجع Crawl Stats في GSC (متوسط زمن الاستجابة، وحالة المضيف) وسجلات خادمك، لا مجرد حدس.
• أصلح السبب الجذري: سرّع الخادم أو أضف موارد. هذا هو الحل المستدام والوحيد الذي لا يعرض الفهرسة للخطر.
• إذا كانت حالة طوارئ حقيقية، فأعِد 500/503/429 لطلبات الزحف (وفضّل 429 مع Retry-After). يبطئ Googlebot بصورة شبه فورية.
• أبقِ استجابة الطوارئ لمدة يوم أو يومين على الأكثر — فالمدة الأطول تهدد بإسقاط الصفحات من الفهرس وإيقاف Ads.
• لمشكلة مستمرة (وليست حريقًا)، قدم طلب Google الخاص بمعدل الزحف، واذكر المعدل الأمثل لموقعك.
• بالنسبة إلى Bing، اضبط السرعة في Crawl Control و/أو أضف crawl-delay إلى robots.txt.

لا تفعل هذه الأمور

• لا تستخدم 401/403/404 للخنق — فهي لا تؤثر في المعدل، وقد تفقد صفحات.
• لا تعتمد على crawl-delay في robots.txt لـGoogle — فهي تتجاهله (بينما تحترمه Bing).
• لا تبحث عن شريط معدل الزحف القديم في GSC — فقد أزيل في 8 يناير 2024.

عندما تريد زحفًا أكثر (لا يمكنك فرضه — حسنه بصورة غير مباشرة)

• سرّع الخادم أو أضف إليه موارد.
• أبقِ عناوين URL الأساسية القابلة للفهرسة في خرائط موقع نظيفة مع lastmod دقيق.
• أزل عناوين URL المكررة ومنخفضة القيمة التي تهدر الزحف.
• قوِّ الروابط الداخلية واكسب مزيدًا من الروابط الخارجية.
• استخدم GET بدل POST حيثما أمكن؛ واستخدم Indexing API حيثما كنت مؤهلًا.

معدل الزحف — ورقة غش

رموز الحالة وتأثيرها في معدل زحف Google

حقائق سريعة

• معدل الزحف = مدى السرعة (العرض)؛ وطلب الزحف = المقدار الذي يرغبون فيه (الطلب)؛ وميزانية الزحف = الاثنان معًا.
• مصطلح Google: حد سعة الزحف — الاتصالات المتوازية + التأخير بين عمليات الجلب. وهو تلقائي ويتتبع سلامة الخادم.
• نافذة طوارئ 5xx/429: يوم أو يومان كحد أقصى — فالمدة الأطول تهدد بإزالة الصفحات من الفهرس وإيقاف Ads.
• لا زيادة يدوية — لا يمكنك أن تطلب من Google إلا الخفض، لا الرفع.
• شريط معدل الزحف اليدوي في GSC: أزيل في 8 يناير 2024 (أُعلن في 24 نوفمبر 2023).
• تشترك جميع أنواع Googlebot في مجموعة زحف واحدة (البحث والصور والإعلانات وغيرها).
• معدل الزحف ليس عامل ترتيب.
• مكافئ Bing: أداة Crawl Control ذات الواجهة الشبكية مع احترام crawl-delay.

إخبار Googlebot مؤقتًا بأن يبطئ

هذه رافعة طوارئ فقط — أعِد 503 (أو 429) مع ترويسة Retry-After إلى الزاحف بدل 200. تقرأ Google ذلك كإشارة إلى الإبطاء بصورة شبه فورية. أبقه لمدة يوم أو يومين على الأكثر: فإذا تركته مدة أطول قد تُسقط عناوين URL المتأثرة من الفهرس (وقد تُوقف أي Google Ads تشير إليها). الحل الصحيح على المدى الطويل هو خادم أسرع وأسلم، لا استجابة خطأ دائمة.

Apache (.htaccess) — إرجاع 503 مع Retry-After

# Emergency only — remove within 1–2 days.
# Sends Googlebot a "slow down / try later" signal.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot) [NC]
RewriteRule ^ - [R=503,L]
Header always set Retry-After "3600"
ErrorDocument 503 "Server temporarily overloaded — please retry later."

Nginx — إرجاع 503 مع Retry-After للزواحف

# Emergency only — remove within 1–2 days.
if ($http_user_agent ~* (Googlebot|bingbot)) {
    return 503;
}
# Send a Retry-After hint with the 503 response.
add_header Retry-After 3600 always;

Express / Node.js — ‏429 Too Many Requests مع Retry-After

// Emergency only — remove within 1–2 days.
// 429 explicitly means "too many requests" and carries a Retry-After.
app.use((req, res, next) => {
  const ua = req.get("user-agent") || "";
  if (/Googlebot|bingbot/i.test(ua)) {
    res.set("Retry-After", "3600"); // seconds
    return res.status(429).send("Too many requests — please retry later.");
  }
  next();
});

تذكير: لا يؤدي هذا إلا إلى إبطاء الزحف مؤقتًا. وليس وسيلة لإيقاف الفهرسة مؤقتًا أو حجبها، ولا بديلًا عن إصلاح سعة الخادم.

أدوات لرؤية معدل الزحف والتحكم فيه

• Google Search Console — تقرير Crawl Stats — عرض Google نفسه: إجمالي طلبات الزحف بمرور الوقت، وإجمالي حجم التنزيل، ومتوسط زمن الاستجابة، وحالة المضيف (توافر الموقع لـGoogle على مدى نحو 90 يومًا)، وتقسيمات حسب رمز الاستجابة ونوع الملف وغرض الزحف ونوع Googlebot. هنا سترى خفض الوتيرة.
• Bing Webmaster Tools — Crawl Control — الشبكة اليدوية لكل ساعة (إعدادات مسبقة أو رسم مخصص) لضبط سرعة Bingbot حسب وقت اليوم. إنها الرافعة اليدوية التي أوقفتها Google.
• crawl-delay في robots.txt — تحترمها Bing (وبعض المحركات الأخرى) وتتجاهلها Google. مفيدة لـBing وغير مجدية لـGoogle.
• تحليل ملفات سجل الخادم — الحقيقة الفعلية لسرعة طلبات الروبوتات ورموز الحالة التي تتلقاها. (انظر تحليل ملفات السجل.)
• عمليات تدقيق الموقع / الزواحف — Ahrefs Site Audit وScreaming Frog SEO Spider للعثور على عناوين URL المكررة وذات المعلمات والشبيهة بالمصائد التي تهدر الزحف.

ماذا ينبغي أن تفعل بشأن معدل الزحف؟

خطة الاستجابة للحوادث: حركة الزواحف تفرط في تحميل الخادم الأصلي

1. تحقق من الروبوت. تأكد من أن عنوان IP المصدر يعود إلى الزاحف المزعوم. وإذا لم يكن كذلك، فاحظر المنتحل أو حد من معدله عبر ضوابط الأمان المعتادة.
2. قس الأثر. اربط طلبات الزاحف بزمن الاستجابة والتشبع وانتهاء المهلة واستجابات 5xx. وإذا لم تتطابق، فتحقق من مصدر الحمل الفعلي.
3. احمِ التوافر. خفّض من حركة المرور القدر الضروري فقط؛ وفي طوارئ Googlebot المؤقتة استخدم 429 أو 503، لا 403 أو 404.
4. اعثر على الأنماط ذات الحمل المرتفع. جمّع الطلبات حسب مجلد المسار والمعلمات ورمز الاستجابة والبايتات. وإذا هيمنت مساحة عناوين URL متنامية بلا ضوابط، فأصلح روابطها أو قواعد توليدها.
5. أصلح السبب. زد السعة، وخزّن الاستجابات الآمنة مؤقتًا، وأزل مصائد الزواحف، أو استخدم الضوابط المدعومة للزاحف المحدد.
6. استعد وتحقق. أزل الخنق المؤقت، ثم تأكد من عودة زمن استجابة المستخدم ومعدلات أخطاء الزاحف إلى خط الأساس للموقع.

أخطاء معدل الزحف

• استخدام crawl-delay مع Googlebot. تتجاهله Google. استخدم استجابات 429/503 المؤقتة في الطوارئ فقط، وأصلح الحمل الأساسي.
• إرجاع 403 أو 404 لإبطاء Googlebot. تنقل هذه الحالات معنى منع الوصول أو الغياب، لا الحمل الزائد المؤقت. استخدم الإشارة المؤقتة الصحيحة.
• محاولة فرض زيادة دائمة. اختفى شريط Search Console المتقاعد، ولا تحسن زيادة الزحف الترتيب. حسّن سلامة الخادم وإشارات الطلب.
• الثقة في سلسلة user-agent. يستطيع المنتحلون الادعاء بأنهم Googlebot. تحقق من عنوان IP قبل تغيير سلوك الموقع.
• ترك خنق الطوارئ فعالًا. يمكن للأخطاء طويلة الأمد الإضرار بالزحف والفهرسة. حدد مالكًا وشرط إزالة قبل النشر.

إطار التحقق ← الحماية ← الإصلاح

• تحقق: أثبت أن حركة المرور صادرة عن زاحف حقيقي وأنها ترتبط بضرر في الخادم.
• احمِ: استخدم أضيق تحكم مؤقت يحافظ على توافر الموقع للمستخدمين وينقل معنى HTTP الصحيح.
• أصلح: أزل عنق زجاجة السعة أو مساحة عناوين URL المتنامية بلا ضوابط، ثم ألغِ التحكم المؤقت.

افصل معدل الزحف عن طلب الزحف: يستطيع الخادم السليم رفع سقف السعة، لكنه لا يستطيع إجبار محرك بحث على الرغبة في مزيد من عناوين URL.

أثبت نجاح التدخل في معدل الزحف

استجابة الخنق المؤقت

الاختبار المطلوب: اطلب عنوان URL اختباريًا مخنوقًا باستخدام curl -I. النتيجة المتوقعة: لا يظهر 429 أو 503 المخطط له إلا أثناء الحادث، وتظل عناوين URL العادية متاحة. تفسير الفشل: نطاق القاعدة خاطئ أو يُعاد رمز الحالة الخطأ. نافذة المراقبة: فورية. محفز التراجع: تلقي المستخدمين أو الروبوتات غير المعنية للخنق بصورة غير متوقعة.

التعافي بعد إزالة الخنق

الاختبار المطلوب: كرر فحوص الترويسات وراقب الخادم وسجلات الوصول. النتيجة المتوقعة: عودة استجابات 200 العادية، وانخفاض أخطاء الزاحف، وبقاء زمن استجابة المستخدم عند خط الأساس. تفسير الفشل: القاعدة المؤقتة ما زالت فعالة أو مشكلة السعة مستمرة. نافذة المراقبة: فورية لسلوك HTTP؛ واستمر خلال نافذة الزحف العادية التالية. محفز التراجع: يتطلب تجدد التشبع أو أخطاء 5xx العودة إلى خطة الحادث.

إصلاح مساحة عناوين URL

الاختبار المطلوب: ازحف إلى نمط المعلمات أو المسار الذي سبب زيادة الطلبات وافحص سجلاته. النتيجة المتوقعة: توقف توليد عناوين URL المصيدة الجديدة أو الربط بها، مع بقاء عناوين URL القيّمة قابلة للوصول. تفسير الفشل: ما زال مسار اكتشاف آخر يكشف النمط. نافذة المراقبة: قارن نوافذ سجلات متكافئة. محفز التراجع: تعذر الوصول إلى صفحات قيّمة أو موارد مطلوبة.

مقاييس سلامة معدل الزحف

معدل طلبات الزاحف المتحقق منه

المقياس: عدد الطلبات لكل وحدة زمنية من عناوين IP لزواحف متحقق منها. ما الذي يخبرك به: وتيرة الزاحف الفعلية. كيفية استخراجه: من سجلات الوصول بعد التحقق من الروبوت. المعيار / النطاق الواقعي: أنشئ خط أساس حسب الزاحف وفترة حركة المرور؛ فلا يوجد معدل آمن عالمي. الدورية: يوميًا أثناء الحوادث، وشهريًا في غير ذلك.

معدل الأخطاء وزمن الاستجابة المرتبط بالزاحف

المقياس: أخطاء 5xx/انتهاء المهلة وزمن استجابة الخادم الأصلي أثناء نشاط الزاحف. ما الذي يخبرك به: هل يتجاوز المعدل السعة. كيفية استخراجه: حاذِ قياسات الخادم مع الطوابع الزمنية لسجلات الزاحف. المعيار / النطاق الواقعي: استخدم خط الأساس الطبيعي للموقع خارج الحوادث وأهداف السعة. الدورية: تنبيه مستمر للمواقع الحساسة.

حصة الطلبات المفيدة

المقياس: طلبات الزاحف المتحقق منه إلى صفحات 200 القيّمة مقابل عمليات إعادة التوجيه والأخطاء وعناوين URL المصيدة المعروفة. ما الذي يخبرك به: هل تُنفق السعة بصورة منتجة. كيفية استخراجه: صنف عناوين URL ورموز الحالة في السجلات. المعيار / النطاق الواقعي: تتبع الاتجاه مقابل مخزون الموقع نفسه؛ وتجنب هدفًا عالميًا. الدورية: شهريًا.

اختبر نفسك: معدل الزحف

مصادر تستحق وقتك

كتاباتي ذات الصلة

• متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — معدل الزحف بوصفه نصف ميزانية الزحف، إضافة إلى رافعات الخفض والزيادة.
• ما Googlebot وكيف يعمل؟ — كيف يقرر Googlebot سرعة الزحف وما الذي يزحفه (ولماذا أصبح “change crawl rate” (ترجمة) «تغيير معدل الزحف» متقاعدًا الآن).
• دليل المبتدئين إلى SEO التقني — موضع الزحف ومعدل الزحف في الصورة الأكبر.

محاضراتي

• كيف يعمل البحث (SlideShare) — حيث أصف حد معدل الزحف بأنه “what your site can support” (ترجمة) «ما يستطيع موقعك تحمله»، وأذكر أن جميع أنواع Googlebot تشترك في مجموعة زحف واحدة. (إخلاء المسؤولية الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا فهمي للأنظمة… ولن يكون كاملًا أو دقيقًا بنسبة 100%.»)

من الآخرين

• Search Engine Land — أداة معدل زحف Googlebot في طريقها إلى الإيقاف والأداة اختفت الآن — الإيقاف وتعليل Illyes.
• سلسلة Google Crawling December — أفضل مجموعة مركزة من شروحات الزحف الرسمية.
• Search Engine Journal — Google تزيل أداة Crawl Rate Limiter من Search Console — نقل Roger Montti لإعلان الإيقاف في نوفمبر 2023 مع تفصيل الحد الأدنى الجديد لسرعة الزحف المضبوط تلقائيًا.
• Search Engine Journal — لا تستخدم استجابات خطأ 403/400 للحد من معدل Googlebot — تغطية منشور Google في فبراير 2023 المحذر من استخدام 4xx لخنق الزحف.
• Bing Webmaster Blog — سلسلة bingbot: تحسين تكرار الزحف — شرح Bing لوقت وكيفية قرار Bingbot بإعادة الجلب؛ وهو مقابل مفيد لنهج Google التلقائي.
• Bing Webmaster Blog — الاستفادة القصوى من Bingbot عبر Bing Webmaster Tools — كيفية استخدام Crawl Control وإعدادات BWT الأخرى لإدارة معدل زحف Bingbot.

سجل التغييرات