تأخير الزحف

الخلاصة — Crawl-delay سطر يمكنك وضعه في robots.txt لطلب إبطاء الزواحف — أي الانتظار بضع ثوانٍ بين عمليات جلب الصفحات. أهم ما ينبغي معرفته: Google تتجاهله (وتفعل ذلك منذ 2019)، بينما لا تزال Bing تحترمه. إذا كنت تحاول منع Googlebot من الضغط على خادمك، فلن يساعدك crawl-delay — استخدم نهجًا مختلفًا أدناه.

ما هو crawl-delay

Crawl-delay سطر تضيفه إلى ملف robots.txt ويطلب من الزاحف الانتظار عددًا معينًا من الثواني بين الطلبات، حتى لا يجلب صفحاتك بسرعة تؤدي إلى إبطاء خادمك. ويبدو هكذا:

User-agent: *
Crawl-delay: 10

هذا يعني، بصورة تقريبية: «يُرجى من كل روبوت التوقف قليلًا بين عمليات جلب الصفحات».

أهم نقطة: Google تتجاهله

هذا هو الجزء الذي يسبب الالتباس. لا تحترم Google توجيه crawl-delay. توقفت عن معالجة التوجيه في 1 سبتمبر 2019، وحتى قبل ذلك لم تكن تدعمه رسميًا قط. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications لذلك، إذا أضفت crawl-delay إلى robots.txt على أمل إبطاء Googlebot، فلن يفعل شيئًا.

تختلف Bing — فهي تحترم crawl-delay. كما تحترمه بعض الزواحف الأخرى (المزيد في علامة التبويب المتقدمة).

إذا كنت تحاول إبطاء Google

لا تلجأ إلى crawl-delay. بدلًا من ذلك:

• الأفضل على المدى الطويل: أصلح خادمك أو حدّثه حتى يتمكن من تحمّل الزحف.
• للطوارئ فقط: اجعل خادمك يعيد رمز الحالة 503 أو 429 إلى Googlebot. تقرأ Google هذه الاستجابات بوصفها طلبًا بالإبطاء بصورة شبه فورية. لا تفعل ذلك إلا ليوم أو يومين؛ فبعد مدة أطول قد تبدأ Google بإسقاط الصفحات. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
• لا تستخدم أبدًا 403 أو 404 لمحاولة الخنق؛ فهما لا يؤثران في سرعة الزحف.

إذا كنت تحاول إبطاء Bing

تحترم Bing فعلًا crawl-delay، لكن أداتها المفضلة هي Crawl Control داخل Bing Webmaster Tools — وهي شبكة تضبط فيها سرعة الزحف بحسب وقت اليوم. استخدمها أولًا؛ فهي أدق.

هل تريد التاريخ، وسبب إسقاط Yandex له في 2018، وأي روبوتات الذكاء الاصطناعي تحترمه؟ انتقل إلى علامة التبويب المتقدمة.

الخلاصة — كان Crawl-delay توجيهًا غير رسمي في robots.txt لخنق الروبوتات، ولم يكن قط جزءًا من المعيار الرسمي (RFC 9309). أوقفت Google العمل به في 1 سبتمبر 2019 ولا تعالجه صراحة؛ ولإبطاء Googlebot استخدم 429/503 (ليوم أو يومين كحد أقصى) أو أصلح الخادم، لا crawl-delay. توثق إرشادات Bing الحالية قيمًا من 1 إلى 20 ثانية. وأسقطت Yandex دعمه في 22 فبراير 2018، ولذلك لا تحترمه أيضًا؛ وتستخدم الآن إعدادًا لمعدل الزحف داخل Yandex Webmaster. وتحترمه كذلك زواحف SEO كثيرة (AhrefsBot وSemrush) وبعض روبوتات الذكاء الاصطناعي (ClaudeBot). وهذه هي حالة الاستخدام الحقيقية الوحيدة المتبقية: التحكم في الروبوتات غير التابعة لـGoogle وBing وYandex.

لماذا يوجد هذا التوجيه؟

Crawl-delay أداة خنق. والفكرة واضحة: يمكن لزاحف عدواني يجلب الصفحات واحدة تلو الأخرى أن يفرض حملًا حقيقيًا على الخادم، ولا سيما إذا كان صغيرًا أو بطيئًا. كان Crawl-delay وسيلة للمجاملة؛ أي طريقة تطلب بها من الروبوت التوقف بضع ثوانٍ بين الطلبات كي يتمكن خادمك من مواكبتها. يوجد في robots.txt داخل مجموعة User-agent، في الموضع نفسه الذي توجد فيه سطور disallow وallow. (للاطلاع على الملف كاملًا، راجع robots-txt.)

لكن المشكلة أنه لم يُوحَّد قط. أُضفي الطابع الرسمي أخيرًا على بروتوكول استبعاد الروبوتات في RFC 9309 عام 2022، ولا يتضمن crawl-delay. فقد كان دائمًا امتدادًا غير رسمي تختار الزواحف المختلفة تطبيقه أو عدم تطبيقه، وتفسره كل منها بطريقتها. وهذا التباين هو بالضبط سبب تخلّي Google عنه.

أوقفت Google التوجيه في 1 سبتمبر 2019

في 2 يوليو 2019، نشر Gary Illyes مقال ملاحظة حول القواعد غير المدعومة في robots.txt على Google Search Central. كانت Google تفتح مصدر محلل robots.txt الخاص بها، وكجزء من ذلك أوقفت كل الشفرة التي تتعامل مع قواعد لم تكن قط جزءًا من مسودة الإنترنت، وتحديدًا noindex وnofollow وcrawl-delay. ودخل الإيقاف حيز التنفيذ في 1 سبتمبر 2019.

كان منطق Google أن هذه القواعد غير موثقة وغير رسمية، وأن الزواحف تفسرها بصورة غير متسقة، مما خلق التباسًا. وأصبحت وثائق robots.txt الحالية صريحة: تدعم Google أربعة حقول (user-agent وallow وdisallow وsitemap)، وتقول الوثائق إن “other fields such as crawl-delay aren’t supported.” (ترجمة) «الحقول الأخرى مثل crawl-delay غير مدعومة». وتكرر صفحة خرافات وحقائق حول الزحف ذلك: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (ترجمة) «قاعدة robots.txt غير القياسية crawl-delay لا تعالجها زواحف Google». Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

ويجدر توضيح النطاق: تتجاهله Google بصرف النظر عن مجموعة user-agent التي تضعه فيها. فكتلة User-agent: Googlebot التي تتضمن سطر Crawl-delay تُتجاهل تمامًا مثل سطر موجود تحت User-agent: *.

ما الذي تستخدمه بدلًا منه؟

أصبح معدل زحف Google آليًا بالكامل الآن، ويُضبط وفق صحة خادمك. كما أزيل شريط ضبط معدل الزحف اليدوي في 8 يناير 2024 من Search Console (بعد الإعلان عن ذلك في نوفمبر السابق). لذلك عندما تحتاج حقًا إلى أن يتراجع Googlebot، فلديك ثلاث وسائل:

1. أصلح الخادم. هذا هو الحل الحقيقي. فإذا كان خادمك يتحمل الحمل، فلن تحتاج إلى خنق أي شيء.
2. أعد 429 أو 500 أو 503 في حالات الطوارئ. تقول وثائق Google حول تقليل معدل زحف Googlebot إن عليك “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (ترجمة) «أعِد رمز حالة استجابة HTTP بقيمة 500 أو 503 أو 429 بدلًا من 200 لطلبات الزحف». ويفهم Googlebot ذلك بوصفه طلبًا بالإبطاء بصورة شبه فورية. والقاعدة الصارمة هي: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (ترجمة) «لا نوصي بفعل ذلك مدة طويلة (أي أكثر من يوم أو يومين)». فاستمرار 5xx يعرّض الصفحات للإسقاط (وقد يوقف Google Ads). Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
3. قدّم طلبًا لتقليل معدل الزحف عبر Search Console إذا كانت المشكلة مستمرة. فهو بطيء، ولا يمكنه إلا خفض المعدل، لا رفعه.

هناك فخ يجب تجنبه: لا تستخدم 401 أو 403 أو 404 للخنق. فوفق دليل رموز حالة HTTP من Google، “the 4xx status codes, except 429, have no effect on crawl rate,” (ترجمة) «رموز الحالة 4xx، باستثناء 429، لا تؤثر في معدل الزحف»، كما يجب ألا “use 401 and 403 status codes for limiting the crawl rate.” (ترجمة) «لا تستخدم رمزي الحالة 401 و403 للحد من معدل الزحف».

ولهذا أيضًا أتعامل في دليل معدل الزحف مع crawl-delay بوصفه الشيء الذي لا ينبغي استخدامه مع Google — راجع المقالة لخطة تسريع أو إبطاء الزحف كاملة.

Bing: من 1 إلى 20 ثانية

توثق إرشادات Bing Webmaster الحالية قيم crawl-delay من 1 إلى 20 ثانية. ولا يجعل ذلك الحقل معيارًا قابلًا للنقل: فـGoogle تتجاهله، وكل زاحف آخر يحتاج إلى تأكيد موثق خاص به.

أسقطت Yandex التوجيه في 2018

كانت Yandex تحترم crawl-delay بوصفه حدًا أدنى حرفيًا لعدد الثواني بين الطلبات، وهذه هي المعلومة التي ما زلت تراها مكررة في معظم مدونات SEO، لكنها قديمة. فوثائق Yandex الحالية صريحة: “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (ترجمة) «منذ 22 فبراير 2018، لا تأخذ Yandex توجيه Crawl-delay في الحسبان». Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: 2026-07-18 Yandex Webmaster: The Crawl-delay directive ولتحديد سرعة زحف روبوتات Yandex لموقعك الآن، استخدم إعداد معدل الزحف داخل Yandex Webmaster مباشرة، لا robots.txt. لذلك فالتقييم الدقيق اليوم هو: تحترم Bing crawl-delay ضمن نطاقها الموثق، ولم تدعمه Google رسميًا قط ثم أوقفت معالجته، وكانت Yandex تحترمه لكنها توقفت في 2018.

الزواحف الأخرى: أدوات SEO وروبوتات الذكاء الاصطناعي

تحترم زواحف كثيرة حسنة السلوك وغير تابعة لمحركات البحث crawl-delay على سبيل المجاملة:

• يحترمه كل من AhrefsBot وروبوت Semrush.
• تمثل زواحف الذكاء الاصطناعي جمهورًا أحدث. وتوثق Anthropic دعم ClaudeBot لتوجيه crawl-delay غير القياسي. أما الروبوتات الأخرى (GPTBot وPerplexity)، فيجب الرجوع إلى وثائقها المنشورة بدل افتراض دعمها.

النمط هو أن الزواحف الأصغر أو التي تركز على الامتثال والمجاملة تميل إلى احترام crawl-delay، بينما انتقلت محركات البحث الكبرى غالبًا إلى الإشارات الداخلية (Google) أو الأدوات اليدوية الأغنى (Bing). ولا يُلزم أي من ذلك الجهات السيئة؛ فأدوات الاستخراج التي تتجاهل robots.txt تمامًا ستتجاهل crawl-delay أيضًا.

ما حالة الاستخدام المتبقية؟

هل مات crawl-delay إذن؟ ليس تمامًا. فهو عديم الفائدة مع Google، وزائد عن الحاجة في أفضل الأحوال مع Bing (استخدم Crawl Control)، لكنه أبسط طريقة فعلًا لطلب الإبطاء من الفئة الوسطى الواسعة: أدوات SEO وروبوتات الذكاء الاصطناعي والزواحف الأصغر التي تحترمه. إذا كان روبوت أداة بعينها يرهق خادمك، فمجموعة User-agent: مستهدفة تتضمن crawl-delay خطوة أولى معقولة:

User-agent: SomeBot
Crawl-delay: 10

تذكر فقط أنه طلب لا ضمان، وأن نطاقه يتحدد بحسب المضيف ومجموعة user-agent مثل كل شيء آخر في robots.txt. وللصورة الأشمل عن الكفاءة، وما تكلفه الروبوتات فعليًا ومن يحتاج إلى الاهتمام، راجع crawl-budget.

ملخص الذكاء الاصطناعي

ملخص مكثف للنسخة المتقدمة:

• ما هو: Crawl-delay توجيه غير قياسي في robots.txt يطلب من الروبوتات التوقف عددًا محددًا من الثواني بين عمليات الجلب لتقليل حمل الخادم. ولم يكن قط جزءًا من المعيار الرسمي (RFC 9309، عام 2022).
• تتجاهله Google. أوقفت معالجته في 1 سبتمبر 2019 (مقال Gary Illyes عام 2019)، وتقول الوثائق الحالية إن “other fields such as crawl-delay aren’t supported.” (ترجمة) «الحقول الأخرى مثل crawl-delay غير مدعومة». ويُتجاهل بصرف النظر عن مجموعة user-agent التي يوجد فيها.
• لإبطاء Google بدلًا من ذلك: أصلح الخادم (وهو الأفضل)، أو أعد 429/500/503 للطوارئ فقط (ليوم أو يومين كحد أقصى؛ فالمدة الأطول تهدد بإزالة الصفحات من الفهرس). لا تستخدم 401/403/404 للخنق. وقد أزيل شريط معدل الزحف اليدوي في GSC في 8 يناير 2024.
• توثق Bing قيمًا من 1 إلى 20 ثانية. تعامل مع ذلك بوصفه إرشادًا خاصًا بـBing، لا معيارًا قابلًا للنقل في robots.txt.
• أسقطت Yandex دعمه في 22 فبراير 2018. والنصيحة القديمة التي تقول إنها تقرأ القيمة بوصفها ثواني حرفية أصبحت قديمة؛ وتستخدم Yandex الآن إعدادًا لمعدل الزحف داخل Yandex Webmaster بدلًا منه.
• الزواحف الأخرى: يحترمه AhrefsBot وSemrush، وتوثق Anthropic دعم ClaudeBot له. أما أدوات الاستخراج السيئة فتتجاهل robots.txt تمامًا.
• حالة الاستخدام المتبقية: التحكم في الزواحف غير التابعة لـGoogle وBing وYandex (أدوات SEO وروبوتات الذكاء الاصطناعي) عبر مجموعة User-agent: مستهدفة.

الوثائق الرسمية

وثائق المصادر الأولية حول crawl-delay وبدائله.

Google

• وثائق robots.txt — تسرد الحقول الأربعة المدعومة وتذكر أن crawl-delay غير مدعوم.
• ملاحظة حول القواعد غير المدعومة في robots.txt (2 يوليو 2019) — إعلان الإيقاف (النافذ في 1 سبتمبر 2019) الذي شمل noindex وnofollow وcrawl-delay.
• خرافات وحقائق حول الزحف — “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (ترجمة) «قاعدة robots.txt غير القياسية crawl-delay لا تعالجها زواحف Google».
• تقليل معدل زحف Googlebot — البديل المطلوب: 429/500/503، وحد اليوم أو اليومين.
• كيف تؤثر رموز حالة HTTP في زواحف Google — لماذا لا تؤدي رموز 4xx (باستثناء 429) إلى الخنق.
• الإيقاف القادم لأداة تحديد معدل الزحف (نوفمبر 2023) — إزالة شريط GSC.

Bing / Microsoft

• إرشادات Bingbot — توثق إرشادات Bing Webmaster الحالية قيمًا من 1 إلى 20 ثانية.
• Bing Webmaster Tools — Crawl Control — البديل المفضل لـcrawl-delay في Bing.

Yandex

• Yandex Webmaster — توجيه Crawl-delay — تذكر أن Yandex لا تحترم التوجيه منذ 22 فبراير 2018، وتشير بدلًا منه إلى إعداد معدل الزحف في Yandex Webmaster.

المعيار

• RFC 9309: بروتوكول استبعاد الروبوتات — المعيار الرسمي الذي لا يتضمن crawl-delay.

الاقتباسات

تصريحات مسجلة من Google وBing. وكل رابط هو رابط عميق ينتقل إلى المقطع المقتبس في صفحة المصدر حيثما كان ذلك مدعومًا.

Google

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (ترجمة) «قاعدة robots.txt غير القياسية crawl-delay لا تعالجها زواحف Google». — وثائق Google Search Central. انتقل إلى الاقتباس
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” (ترجمة) «تدعم Google الحقول التالية… (أما الحقول الأخرى مثل crawl-delay فليست مدعومة)». — وثائق robots.txt. انتقل إلى الاقتباس

Google: ما الذي تستخدمه بدلًا منه؟

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (ترجمة) «لتقليل معدل الزحف بسرعة، يمكنك إعادة رمز حالة استجابة HTTP بقيمة 500 أو 503 أو 429 بدلًا من 200 لطلبات الزحف». — وثائق تقليل معدل زحف Googlebot. انتقل إلى الاقتباس
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (ترجمة) «لا نوصي بفعل ذلك مدة طويلة (أي أكثر من يوم أو يومين)». — وثائق تقليل معدل زحف Googlebot. انتقل إلى الاقتباس

Gary Illyes

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (ترجمة) «إذا استمر الخادم في إعادة رموز حالة HTTP 500 لنطاق من عناوين URL، فسيُبطئ Googlebot الزحف تلقائيًا وعلى نحو شبه فوري». وأضاف أن “usefulness has dissipated.” (ترجمة) «فائدة الأداة قد تلاشت». نُقل ذلك عبر تغطية Search Engine Land لمنشور الإيقاف — اقرأ التغطية؛ وتحقق منه مقابل منشور Google الأصلي قبل اعتباره نهائيًا.

Bing

• توثق إرشادات Bingbot الحالية قيم crawl-delay من 1 إلى 20 ثانية. وهذا إرشاد خاص بـBing، لا قاعدة عامة في بروتوكول استبعاد الروبوتات.

Yandex

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (ترجمة) «منذ 22 فبراير 2018، لا تأخذ Yandex توجيه Crawl-delay في الحسبان. ولتحديد المعدل الذي تصل به روبوتات الفهرسة إلى صفحات موقعك، استخدم إعداد معدل زحف الموقع في Yandex Webmaster». — Yandex Webmaster: توجيه Crawl-delay

قائمة الفحص

استخدم هذه القائمة قبل إضافة crawl-delay أو الاعتماد عليه:

• راجع robots.txt. هل يوجد سطر crawl-delay بالفعل؟ دوّن مجموعة أو مجموعات User-agent التي يوجد فيها والروبوتات التي تقصد خنقها فعلًا.
• إذا كان موجودًا من أجل Google: أزله (أو وثّق أنه يستهدف روبوتات أخرى عمدًا). فهو لا يفعل شيئًا مع Googlebot.
• هل تحاول إبطاء Google؟ أصلح الخادم أولًا. وفي طارئ حقيقي، أعد 429/503 لمدة لا تتجاوز يومًا أو يومين. لا تستخدم أبدًا 401/403/404 للخنق. وإذا استمرت المشكلة، فقدم طلبًا لتقليل معدل الزحف في Search Console.
• هل تحاول إبطاء Bing؟ استخدم Crawl Control في Bing Webmaster Tools أولًا. وإذا استخدمت crawl-delay، فأبقِ القيمة عند 10 أو أقل، وتذكر أنه ينطبق من مجموعة * حتى مع وجود قسم bingbot.
• هل تحاول إبطاء زاحف آخر (أداة SEO أو روبوت ذكاء اصطناعي مثلًا)؟ ضع crawl-delay في مجموعة User-agent: مستهدفة لذلك الروبوت؛ وسيفيد ذلك إذا كان الزاحف يحترم التوجيه (وكثير منها يفعل).
• تأكد من معنى القيمة لدى الروبوت المستهدف: تقرأها Bing بوصفها عامل خنق نسبيًا. وكانت Yandex تقرؤها كثوانٍ حرفية، لكنها توقفت تمامًا عن احترام التوجيه في 22 فبراير 2018؛ لذا استخدم إعداد معدل الزحف في Yandex Webmaster بدلًا منه.
• لا تتوقع امتثال أدوات الاستخراج أو الجهات السيئة؛ فهي تتجاهل robots.txt تمامًا. إن crawl-delay مخصص للروبوتات حسنة السلوك فقط.

ورقة الغش

من يحترم crawl-delay؟

مقياس خنق Bing

ما الذي تستخدمه بدلًا منه، حسب المحرك

لا تفعل

• لا تستخدم crawl-delay متوقعًا أن يؤثر في Google أو Yandex.
• لا تستخدم 401/403/404 لخنق Googlebot (فلا تأثير لها؛ وحده 429 بين رموز 4xx يفعل ذلك).
• لا تضبط قيم Bing فوق 10.

كيف تُبطئ الزحف؟

أدوات العمل على crawl-delay

• تتحقق أداة اختبار robots.txt من مجموعة user-agent والقاعدة المنطبقة؛ وتساعد في كشف أخطاء تحديد النطاق، رغم أن دعم crawl-delay يظل خاصًا بالزاحف.
• تساعد أداة إنشاء robots.txt في بناء مجموعات منفصلة للروبوتات بدل تطبيق تأخير عام على كل زاحف.
• تعرض أداة تحليل ملفات السجل معدل الطلبات الفعلي بعد التغيير، وتفصل زواحف البحث عن user-agent منتحل.
• تتحقق أداة التحقق من Googlebot مما إذا كان عنوان IP الذي يسبب الحمل ينتمي فعلًا إلى الزاحف الذي يدعيه.

الموارد

كتاباتي ذات الصلة

• Robots.txt وSEO: كل ما تحتاج إلى معرفته — الصورة الكاملة لملف robots.txt، بما فيها سبب عدم كون crawl-delay توجيهًا من Google.
• دليل المبتدئين إلى SEO التقني — موضع ضوابط الزحف في الصورة الأكبر.
• مفهرسة رغم حظرها بواسطة robots.txt — تذكير بأن robots.txt يتحكم في الزحف لا الفهرسة.

محاضراتي

• كيف يعمل البحث (SlideShare) — شرحي لعمليات الزحف والعرض والفهرسة والترتيب. (ينطبق التنبيه الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا هو فهمي للأنظمة… ولن يكون كاملًا أو دقيقًا بنسبة 100%».)

من أرجاء الصناعة

• ملاحظة حول القواعد غير المدعومة في robots.txt (Google Search Central) — إعلان الإيقاف الأصلي عام 2019.
• إرشادات Bingbot — توثق إرشادات Bing Webmaster الحالية قيمًا من 1 إلى 20 ثانية.
• Google ستسقط دعم crawl-delay وnofollow وnoindex في robots.txt (Search Engine Roundtable) — تغطية تغيير عام 2019.
• Google تزيل دعم قواعد crawl-delay وnofollow وnoindex في robots.txt (Coywolf) — سياق إضافي حول الإيقاف.
• أداة معدل زحف Googlebot في Search Console ستختفي (Search Engine Land) — اقتباسات Gary Illyes حول تفوق البدائل.
• Crawl-delay: 10 في robots.txt: ماذا يعني؟ (Conductor) — شرح واسع الاستشهاد للتوجيه.

اختبر نفسك

خمسة أسئلة سريعة حول توجيه crawl-delay. اختر إجابة لكل سؤال، ثم تحقق منها.

سجل التغييرات