حالة المضيف (إحصاءات الزحف)

الخلاصة — حالة المضيف مؤشر صغير أعلى تقرير Crawl Stats في Google Search Console، يخبرك هل استطاعت Google الوصول إلى موقعك خلال آخر 90 يوماً. إنه سجل تاريخي لا فحصاً حياً لسؤال “is my site up right now” (ترجمة) «هل موقعي متاح الآن؟». الأخضر جيد، والأصفر يعني وقوع مشكلة قبل أكثر من أسبوع، والأحمر يعني وقوعها خلال الأسبوع الماضي. ويفحص ثلاثة أمور: ملف robots.txt وDNS واستجابة الخادم.

ما حالة المضيف؟

حالة المضيف هي ملخص التوفر في تقرير Crawl Stats، وتشمل جلب robots.txt وحل DNS والاتصال بالخادم خلال نافذة التقرير. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report وهي تشخيص على مستوى المضيف، لا حكماً على فهرسة كل URL. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report

قبل أن تبدأ Google الزحف إلى موقعك يجب أن تعمل أمور عدة: أن تعثر على ملف robots.txt، وأن يُحل اسم النطاق إلى خادم، وأن يستجيب ذلك الخادم. حالة المضيف هي ملخص Google لنجاح هذه الخطوات خلال آخر 90 يوماً.

ستجدها في Google Search Console ضمن Settings → Crawl stats أعلى التقرير مباشرةً. وهي مؤشر واحد ملوّن يفحص ثلاثة أمور:

1. جلب robots.txt — هل تستطيع Google تنزيل ملف robots.txt؟
2. حل DNS — هل يشير اسم نطاقك إلى خادم؟
3. الاتصال بالخادم — هل يستجيب خادمك فعلاً؟

الألوان الثلاثة

• الأخضر — لم تواجه Google مشكلات كبيرة في الوصول إلى موقعك خلال آخر 90 يوماً؛ ولا يلزم إجراء.
• الأصفر (“Host had problems in the past” (ترجمة) «واجه المضيف مشكلات في الماضي») — وقعت مشكلة قبل أكثر من أسبوع. وغالباً تزول الحالة تلقائياً؛ فبعد مرور أسبوع بلا تكرار تعود إلى الأخضر.
• الأحمر — وقعت مشكلة خلال الأسبوع الماضي. وتستحق التحقيق، لأن تعذر وصول Google إلى الموقع يقلل زحفها إليه.

قد تغيّر Google الألوان والتسميات لأنها تفاصيل في الواجهة؛ أما المعنى الثابت فهو مدى حداثة المشكلة الكبيرة.

سبب أهمية حالة المضيف

لا تتعلق حالة المضيف بصفحة واحدة معطلة، بل بقدرة Google على الاتصال بالموقع كله. وأخطر الحالات تعذر تنزيل ملف robots.txt. عندها لا تتجاهل Google الأمر، بل تبطئ الزحف إلى الموقع كله أو توقفه حتى تتمكن من قراءة الملف مجدداً. إذن عطل robots.txt أو DNS أو الخادم نفسه، لا تسمية حالة المضيف، هو ما يخنق الزحف بصمت في أنحاء الموقع.

والخبر الجيد أنه لا يوجد زر يجب ضغطه لإصلاح الحالة. بعد عودة الموقع إلى العمل تستأنف Google عادةً الزحف الطبيعي تلقائياً، لكنها لا تنشر مدة ثابتة للتعافي؛ فلا تتوقع تحولاً فورياً إلى الأخضر. ومهمتك تحديد أي الفحوص الثلاثة أخفق وإصلاح السبب الأساسي.

وليست حالة المضيف عقوبة ترتيب. إنها إشارة إلى الزحف لا مخالفة ضد الموقع. وللتفاصيل الأعمق، مثل الجدول الزمني الدقيق لإيقاف الزحف والفرق بين 4xx و5xx وشجرة استكشاف الأخطاء، انتقل إلى تبويب Advanced.

اختبر نفسك: حالة المضيف

خمسة أسئلة سريعة عن قراءة مؤشر حالة المضيف في Crawl Stats والاستجابة له. اختر إجابة لكل سؤال ثم تحقق منها.

الخلاصة — حالة المضيف هي منظور التوفر أعلى تقرير Crawl Stats في GSC؛ سجل تاريخي لما رصدته Google لا فحص تشغيل مباشر، وتُقيّم خلال آخر 90 يوماً عبر جلب robots.txt وحل DNS والاتصال بالخادم. الأخضر يعني غياب المشكلات الكبيرة، والأصفر مشكلة مضى عليها أكثر من أسبوع وغالباً تزول من التقرير تلقائياً، والأحمر مشكلة في الأسبوع الماضي. أخطر الأعطال تعذر الوصول إلى robots.txt: توقف Google الزحف أول 12 ساعة، ثم تعود إلى آخر نسخة سليمة مخزنة مؤقتاً، إن وجدت، مدة تصل إلى نحو 30 يوماً، وبعدها يعتمد السلوك على توفر الموقع عموماً. استجابة 4xx لملف robots.txt مقبولة وتسمح بالزحف، بينما 5xx أو انتهاء المهلة أو فشل DNS يوقفه. ذلك العطل الأساسي، لا تسمية حالة المضيف، هو ما يخفض الزحف. لا يوجد زر إعادة ضبط، وعودة الحالة إلى الأخضر لا تثبت تعافي الزحف أو الفهرسة أو الترتيب بالكامل.

ما الذي تقيسه حالة المضيف فعلياً؟

توثق Search Console حالة المضيف ضمن Crawl Stats وتقيّم التوفر خلال الأيام التسعين السابقة. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report شخّص نتائج كل URL بصورة منفصلة في URL Inspection أو Page Indexing. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report

تجيب حالة المضيف عن سؤال ضيق: هل استطاع Googlebot الوصول إلى المضيف أصلاً خلال آخر 90 يوماً؟ وهذا غير سؤال «هل الصفحة مفهرسة؟» أو «هل يعيد URL خطأ؟». إنها توفر على مستوى الموقع أو المضيف، لا أخطاء زحف لكل URL؛ ولهذا أفصلها ذهنياً عن Page Indexing.

ويجب التدقيق في معنى «التوفر» هنا. حالة المضيف سجل تاريخي لما رصدته Google أثناء الزحف، لا مراقب تشغيل مباشر. فالأخضر الآن لا يثبت إمكان الوصول إلى الموقع في هذه اللحظة، والأحمر لا يثبت تعطله الآن؛ بل يثبت أن مشكلة كبيرة تجاوزت حد Google في وقت ما خلال الأسبوع الماضي. وللفحص الحي تحتاج إلى اختبار مباشر، لا هذا التقرير.

تظهر أعلى تقرير Crawl Stats ضمن Settings → Crawl stats، ولا يتاح التقرير إلا عند الوصول إلى خاصية نطاق أو خاصية على مستوى الجذر، لا إلى مجلد فرعي ضمن خاصية بادئة URL. يغطي التقرير الأوسع حجم الزحف وأداءه، مثل إجمالي الطلبات وحجم التنزيل ومتوسط زمن الاستجابة والغرض من الزحف ونوع الملف ورموز الاستجابة؛ أما حالة المضيف فهي شريحة التوفر الأضيق. عند تشخيص هبوط الزحف تخبرني هل استطاعت Google الاتصال، ويخبرني باقي التقرير وسجلات الخادم بما حدث.

الفحوص الثلاثة

تقيّم Google توفر المضيف ضمن ثلاث فئات، ولكل منها رسم لمعدل الإخفاق في تفاصيل المضيف:

• جلب robots.txt — “The graph shows the failure rate for robots.txt requests during a crawl.” (ترجمة) «يعرض الرسم معدل إخفاق طلبات robots.txt أثناء الزحف». وهو الفحص الأعلى مخاطرة.
• حل DNS — “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” (ترجمة) «يعرض الرسم الأوقات التي لم يتعرف فيها خادم DNS إلى اسم مضيفك أو لم يستجب أثناء الزحف».
• الاتصال بالخادم — “The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.” (ترجمة) «يعرض الرسم الأوقات التي لم يستجب فيها خادمك أو لم يقدم استجابة كاملة لـURL أثناء الزحف». ويشمل 5xx وانتهاء المهلة والاستجابات المبتورة أو الجزئية.

الحالات الثلاث

يلخص المؤشر تلك الفحوص خلال نافذة متحركة مدتها 90 يوماً:

• الأخضر — “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (ترجمة) «لم تواجه Google أي مشكلات كبيرة في توفر الزحف على موقعك خلال آخر 90 يوماً؛ أحسنت!»
• الأصفر / “had problems in the past” (ترجمة) «واجه مشكلات في الماضي» — واجهت Google مشكلة كبيرة واحدة على الأقل خلال آخر 90 يوماً، لكنها وقعت قبل أكثر من أسبوع. وغالباً تتعافى الحالة ذاتياً؛ فبعد أسبوع بلا تكرار تعود إلى الأخضر. ولا يلزم عادةً أكثر من التأكد من زوال السبب.
• الأحمر / “problems now” (ترجمة) «مشكلات الآن» — واجهت Google مشكلة كبيرة واحدة على الأقل خلال الأسبوع الماضي. وهذه تحتاج إلى تشخيص.

إذن الفرق بين الأصفر والأحمر زمني: الأحمر خلال الأسبوع الماضي أو «الآن»، والأصفر أقدم ضمن نافذة التسعين يوماً أو «في الماضي». قد تغير Google أسماء الألوان وتسميات الأيقونات، لكن معنى الحداثة يظل ثابتاً.

لا تُعد المشكلة في كل فئة «كبيرة» إلا بعد تجاوز معدل الإخفاق حداً ترسمه Google بخط منقط في رسم الفئة. وتذكر Google إخفاقات DNS التي تتجاوز 5% من طلبات اليوم مثالاً على موضع الخط؛ وهو مثال لـDNS لا حداً عاماً موثقاً ينطبق بالطريقة نفسها على جلب robots.txt والاتصال بالخادم.

لماذا تعد إخفاقات robots.txt الأخطر؟

إذا لم تحصل Google على استجابة مقبولة من robots.txt، فإن “Google will slow or stop crawling your site until it can get an acceptable robots.txt response.” (ترجمة) «Google ستبطئ الزحف إلى موقعك أو توقفه حتى تحصل على استجابة robots.txt مقبولة». وهذا توقف للموقع كله لا مشكلة URL واحد، ولذلك تكون حالة المضيف الحمراء الناتجة من robots.txt طارئة.

يوجد الجدول الزمني المفصل في مواصفات Google لـrobots.txt. عندما يعيد robots.txt استجابة 5xx أو خطأ خادم أو إخفاق شبكة:

• أول 12 ساعة: توقف Google الزحف إلى الموقع، لكنها تواصل محاولة جلب ملف robots.txt.
• نحو 30 يوماً التالية: إذا تعذر جلب نسخة جديدة، تعود Google إلى آخر نسخة سليمة مخزنة مؤقتاً مع مواصلة المحاولة. وتؤدي 503 خصوصاً إلى محاولات متكررة نسبياً؛ وإذا لم توجد نسخة مخزنة تفترض Google غياب قيود الزحف.
• بعد 30 يوماً: يختلف السلوك بحسب صحة الموقع عموماً. إذا كان يعمل جيداً، تتصرف Google كأن robots.txt غير موجود وتواصل الفحص؛ وإذا كانت مشكلات التوفر أوسع، توقف الزحف مع استمرار طلب robots.txt دورياً.

والفارق الحاسم الذي تحيط به خرافة شائعة هو 4xx مقابل 5xx. تتعامل Google مع رموز HTTP لملف robots.txt كما يلي:

• 2xx (نجاح): تعالج الزواحف robots.txt كما قُدّم.
• 3xx (إعادة توجيه): تتبع Google خمس قفزات على الأقل، ثم تعامل النتيجة كـ404.
• 4xx (باستثناء 429): تتعامل معه كأن ملف robots.txt صالحاً غير موجود، أي تزحف بحرية.
• 5xx / 429 / الشبكة / DNS: أخطاء خادم تؤدي إلى جدول إيقاف الزحف أعلاه.

إذن لا يوقف ملف robots.txt المفقود الذي يعيد 404 نظيفة الزحف، بينما يوقفه الملف المتعذر الوصول إليه بسبب 5xx أو انتهاء المهلة أو فشل DNS. والأهم أن “a robots.txt file which cannot be fetched due to DNS or networking issues, such as timeouts, invalid responses, reset or interrupted connections, and HTTP chunking errors, is treated as a server error.” (ترجمة) «ملف robots.txt الذي يتعذر جلبه بسبب مشكلات DNS أو الشبكة، مثل انتهاء المهلة أو الاستجابات غير الصالحة أو الاتصالات المعاد ضبطها أو المنقطعة أو أخطاء تجزئة HTTP، يُعامل كخطأ خادم». ويمكن لمزود DNS غير المستقر تعطيل الزحف مثل 5xx تماماً.

DNS والاتصال بالخادم

إخفاقات DNS والاتصال بالخادم أوضح، لكنها ليست أقل واقعية. يعني فشل حل DNS أن محللات Google عجزت في وقت ما عن تحويل اسم المضيف إلى عنوان. تعامل مع السبب المحدد كفرضية يجب إثباتها لا كحقيقة؛ فقد يكون خوادم أسماء سيئة أو انقطاعاً لدى مزود DNS أو تقييداً لـGooglebot على مستوى DNS، ولا يمكن التمييز بينها إلا بسجلات DNS وسجلات خوادم الأسماء وتاريخ حالة المزود إلى جانب رسم Crawl Stats. وتشمل إخفاقات الاتصال بالخادم 5xx و429 وانتهاء المهلة والاستجابات الجزئية أو المبتورة؛ وقد يكون السبب أصلاً محملاً فوق طاقته أو CDN/WAF يقيد نطاقات IP الخاصة بـGooglebot، ولا تثبت ذلك إلا سجلات الأصل والحافة لا الرسم وحده.

يرتبط ذلك مباشرةً بمعدل الزحف. وكما كتبت في دليل ميزانية الزحف، “Google will slow down their crawling if they receive too many 5xx (server errors) or 429 (too many requests) HTTP status codes.” (ترجمة) «ستخفض Google معدل زحفها إذا تلقت عدداً كبيراً من رموز HTTP من نوع 5xx، أي أخطاء الخادم، أو 429، أي طلبات كثيرة جداً». وذكر John Mueller النقطة نفسها عن سرعة استجابة الزحف:

“I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts, so I’d double-check what actually happened (404s are generally fine & once discovered, Googlebot will retry them anyway).” (ترجمة) «لا أتوقع أن يتفاعل معدل الزحف بهذه السرعة إلا إذا كانوا يعيدون 429 أو 500 أو 503 أو انتهاء المهلة؛ لذلك سأتحقق مما حدث فعلاً، فاستجابات رمز الصفحة غير الموجودة لا بأس بها عموماً، وبعد اكتشافها سيعيد Googlebot محاولتها على أي حال». — John Mueller، Google.

هنا فخ دقيق. إعادة 503 أو 429 هي الطريقة المشروعة قصيرة الأجل لطلب إبطاء Googlebot، لكنها الإشارة نفسها التي تدفع حالة المضيف إلى الأحمر. إنها تقييد مؤقت لا استراتيجية؛ واستمرارها طويلاً يعرض الصفحات للخروج من الفهرس. فالإشارة التي تتيح تخفيف الزحف تبدو عند استمرارها كأنها انقطاع.

ما لا تحتاج إلى فعله

ثمة أمور يفرط الناس في التفكير فيها:

• لا يوجد زر «إعادة ضبط معدل الزحف». يتعافى المعدل عادةً تلقائياً بعد استعادة التوفر، ولا توثق Google مدة ثابتة أو اتفاقية مستوى خدمة لذلك؛ فلا تتوقع جدولاً بعينه. أُوقفت أداة التحديد اليدوي القديمة في Search Console، فلا تستطيع دفع الزحف إلى الارتفاع يدوياً ولا تحتاج إلى ذلك.
• غالباً يزول الأصفر تلقائياً. بعد أسبوع بلا تكرار تعود الحالة إلى الأخضر. تأكد من زوال السبب الجذري، ثم تحقق من التعافي بصورة مستقلة بدلاً من الثقة في اللون وحده: افحص إمكان الوصول الآن، وراقب رسم الفئة المعطلة حتى ينخفض تحت الحد، وتأكد من عودة حجم الزحف في باقي Crawl Stats إلى الطبيعي، وافحص إعادة الزحف أو الفهرسة في Page Indexing إذا كان URL بعينه مهماً.
• ليست عقوبة ترتيب. تؤثر حالة المضيف في الزحف لا الترتيب مباشرةً، ولا تفسر تغير الزيارات وحدها؛ اربط النافذة المتأثرة ببيانات الزحف والفهرسة والأداء قبل افتراض السببية. والمخاطرة غير المباشرة أن استمرار تعذر الزحف يؤثر في الحداثة ثم الفهرسة، لكن لا يوجد إجراء يدوي مرتبط بالمؤشر الأصفر أو الأحمر.

حالة المضيف مقارنةً بتقرير Crawl Stats الأوسع

افصل النطاقات بوضوح. حالة المضيف قسم واحد من تقرير Crawl Stats، وهو منظور التوفر. أما باقي التقرير، وهو ما يقصده معظم الناس بعبارة «إحصاءات الزحف»، فيتناول الحجم والأداء بمرور الوقت. وكما قلت في موضع آخر، عند ملاحقة مشكلة زحف فإن “the best place to look is the Crawl Stats report in Google Search Console” (ترجمة) «أفضل مكان للنظر هو تقرير Crawl Stats في Google Search Console». وحالة المضيف أول ما أفحصه، لأن تعذر وصول Google إلى المضيف يجعل بقية التقرير غير ذات أهمية بعد. التقرير الأوسع موضوع مستقل؛ وهذا المقال مخصص بإحكام لمؤشر التوفر.

ملخص بالذكاء الاصطناعي

خلاصة مكثفة لنسخة Advanced:

• حالة المضيف تجيب: هل أظهر سجل زحف Google إمكان الوصول إلى المضيف؟ إنها مؤشر التوفر أعلى Crawl Stats في GSC ضمن Settings → Crawl stats، وتُقيّم خلال آخر 90 يوماً. وهي سجل تاريخي لا فحص تشغيل حي، وعلى مستوى المضيف أو الموقع لا كل URL.
• ثلاثة فحوص: جلب robots.txt وحل DNS والاتصال بالخادم، ولكل منها رسم لمعدل الإخفاق ويُعلّم بعد تجاوز حد؛ ومثال Google إخفاق DNS في أكثر من 5% من طلبات اليوم.
• ثلاث حالات: الأخضر بلا مشكلات كبيرة في 90 يوماً، والأصفر لمشكلة قبل أكثر من أسبوع وغالباً يعود إلى الأخضر وحده، والأحمر لمشكلة في الأسبوع الماضي وتحتاج إلى تشخيص. الألوان والتسميات تفاصيل واجهة، والحداثة هي المعنى الثابت.
• robots.txt هو الفحص الأعلى مخاطرة. إذا تعذر الحصول على استجابة مقبولة، فالعطل الأساسي لا تسمية حالة المضيف هو ما يبطئ أو يوقف الزحف إلى الموقع كله: نحو 12 ساعة من التوقف الكامل مع المحاولة، ثم نحو 30 يوماً على آخر نسخة مخزنة إن وجدت، وبعدها يعتمد السلوك على صحة الموقع.
• الفرق بين 4xx و5xx مهم: استجابة 404 لملف robots.txt تسمح بالزحف بحرية، بينما 5xx أو انتهاء المهلة أو فشل DNS يوقفه. وتُعد أخطاء DNS والشبكة أخطاء خادم.
• 5xx و429 تخفضان معدل الزحف؛ وأوضح Mueller أن 429 و500 و503 وانتهاء المهلة تؤثر سريعاً، بينما 404 لا بأس بها عموماً. ويظل تقييد 503 أو 429 أداة قصيرة الأجل لا استراتيجية.
• يحدث التعافي عادةً تلقائياً بعد استعادة التوفر، لكن Google لا توثق مدة ثابتة؛ فلا زر إعادة ضبط، وقد أُوقفت أداة التحديد اليدوي. وعودة الأخضر لا تثبت تعافي الزحف والفهرسة والترتيب بالكامل؛ تحقق بصورة مستقلة.
• ليست عقوبة ترتيب بذاتها. إنها إشارة إلى توفر الزحف تختلف عن أخطاء Page Indexing وأوسع من بقية Crawl Stats؛ اربطها ببيانات الزحف والفهرسة والأداء قبل نسبة تغير الزيارات إليها.

الوثائق الرسمية

وثائق من المصدر الأساسي لدى Google.

Google

• تقرير Crawl Stats — التقرير الذي يتضمن حالة المضيف ويعرّف الفحوص الثلاثة والحالات الثلاث.
• كيف تفسر Google مواصفات robots.txt — الجدول الزمني لتعذر جلب robots.txt (توقف 12 ساعة ثم الرجوع إلى النسخة المخبأة مدة 30 يوماً) والتعامل مع رموز حالة HTTP.
• تحديد أخطاء زحف Google Search وحلها — إرشادات Google العامة لحل أخطاء الزحف.
• تصحيح أخطاء الشبكة وDNS لدى برامج زحف Google — تشخيصات DNS والشبكة.

اقتباسات من المصدر

تصريحات موثقة صادرة عن Google. ينقلك كل رابط إلى موضع قريب من النص المقتبس في صفحة المصدر.

Google — الحالات الثلاث (تقرير Crawl Stats)

• “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (ترجمة) «لم تواجه Google أي مشكلات كبيرة في توفر الزحف على موقعك خلال آخر 90 يوماً — أحسنت!» — مساعدة Google Search Console (الحالة الخضراء). الانتقال إلى الاقتباس
• “Google encountered at least one significant crawl availability issue in the last 90 days on your site, but it occurred more than a week ago.” (ترجمة) «واجهت Google مشكلة كبيرة واحدة على الأقل في توفر الزحف على موقعك خلال آخر 90 يوماً، لكنها حدثت قبل أكثر من أسبوع.» — مساعدة Google Search Console (الحالة الصفراء أو «مشكلات في الماضي»). الانتقال إلى الاقتباس
• “Google encountered at least one significant crawl availability issue in the last week on your site.” (ترجمة) «واجهت Google مشكلة كبيرة واحدة على الأقل في توفر الزحف على موقعك خلال الأسبوع الماضي.» — مساعدة Google Search Console (الحالة الحمراء أو «مشكلات حالية»). الانتقال إلى الاقتباس

Google — الفحوص الثلاثة (تقرير Crawl Stats)

• “The graph shows the failure rate for robots.txt requests during a crawl.” (ترجمة) «يوضح الرسم معدل إخفاق طلبات robots.txt أثناء الزحف.» — مساعدة Google Search Console (جلب robots.txt). الانتقال إلى الاقتباس
• “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” (ترجمة) «يوضح الرسم الحالات التي لم يتعرف فيها خادم DNS على اسم مضيفك أو لم يستجب أثناء الزحف.» — مساعدة Google Search Console (حل DNS). الانتقال إلى الاقتباس
• “The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.” (ترجمة) «يوضح الرسم الحالات التي لم يستجب فيها خادمك أو لم يقدم استجابة كاملة لعنوان URL أثناء الزحف.» — مساعدة Google Search Console (الاتصال بالخادم). الانتقال إلى الاقتباس

Google — آلية إيقاف الزحف عند تعذر robots.txt

• “Google will slow or stop crawling your site until it can get an acceptable robots.txt response.” (ترجمة) «ستخفض Google سرعة زحفها إلى موقعك أو توقفه حتى تحصل على استجابة مقبولة من robots.txt.» — مساعدة Google Search Console (قسم جلب robots.txt). الانتقال إلى الاقتباس
• “For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file.” (ترجمة) «خلال أول 12 ساعة، توقف Google زحفها إلى الموقع لكنها تواصل محاولة جلب ملف robots.txt.» — Google for Developers، مواصفات robots.txt. الانتقال إلى الاقتباس
• “A robots.txt file which cannot be fetched due to DNS or networking issues, such as timeouts, invalid responses, reset or interrupted connections, and HTTP chunking errors, is treated as a server error.” (ترجمة) «ملف robots.txt الذي يتعذر جلبه بسبب مشكلات DNS أو الشبكة، مثل انتهاء المهلة أو الاستجابات غير الصالحة أو الاتصالات المعاد ضبطها أو المنقطعة أو أخطاء تجزئة HTTP، يُعامل كخطأ خادم.» — Google for Developers، مواصفات robots.txt. الانتقال إلى الاقتباس

John Mueller، Google (منقول عبر Search Engine Journal)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts, so I’d double-check what actually happened (404s are generally fine & once discovered, Googlebot will retry them anyway).” (ترجمة) «لا أتوقع أن يتفاعل معدل الزحف بهذه السرعة إلا إذا كانوا يعيدون 429 أو 500 أو 503 أو انتهاء المهلة؛ لذلك سأتحقق مما حدث فعلاً، فاستجابات رمز الصفحة غير الموجودة لا بأس بها عموماً، وبعد اكتشافها سيعيد Googlebot محاولتها على أي حال.» قراءة التغطية

قائمة التحقق لتشخيص حالة المضيف

خطوات تُنفذ عندما تتحول حالة المضيف إلى الأصفر أو الأحمر. ابدأ بالفحص الذي يظهر فيه الإخفاق.

إذا كان جلب robots.txt يفشل

• تأكد من أن robots.txt يعيد 200 (أو 404 نظيفة)، لا 5xx أو 429 أو انتهاء مهلة. لا بأس بـ404؛ خطأ الخادم هو ما يوقف الزحف.
• اختبر الملف في تقرير robots.txt في GSC واجلبه بنفسك من مواقع جغرافية متعددة.
• تحقق مما إذا كان CDN أو WAF أو محدد المعدل يحظر Googlebot أو يقيده.
• تأكد من إمكان الوصول إلى الملف وأن حجمه معقول، بضع مئات من كيلوبايت على الأكثر.

إذا كان حل DNS يفشل

• تأكد من إمكان حل اسم نطاقك (باستخدام dig أو nslookup من خارج شبكتك).
• افحص حالة مزود DNS ووقت تشغيله خلال نافذة الإخفاق.
• ابحث عن خوادم أسماء بطيئة أو مضبوطة بصورة خاطئة.
• تحقق من عدم وجود تقييد لمعدل Googlebot على مستوى DNS.

إذا كان الاتصال بالخادم يفشل

• افحص السجلات بحثاً عن 5xx و429 وانتهاء المهلة خلال النافذة المعلمة.
• تأكد من أن الخادم الأصلي ليس محملاً فوق طاقته، بما يشمل السعة وقاعدة البيانات وانتهاء مهلة الخدمات التي يعتمد عليها.
• تحقق من أن جدار الحماية أو CDN لا يقيد نطاقات IP الخاصة بـGooglebot.
• ابحث عن استجابات جزئية أو مبتورة.

دائماً

• طابق الطوابع الزمنية في رسم حالة المضيف مع عمليات النشر والانقطاعات وتغييرات الإعداد.
• أكد الاستنتاج بسجلات الخادم وتوزيع رموز الاستجابة في Crawl Stats.
• بعد الإصلاح، لا تتخذ إجراءً إضافياً؛ يتعافى الزحف تلقائياً، ويعود الأصفر إلى الأخضر بعد أسبوع صافٍ.

النماذج الذهنية

1. ثلاثة فحوص وسؤال واحد. لا تسأل حالة المضيف إلا: «هل تستطيع Google الوصول إلى المضيف؟» وذلك عبر جلب robots.txt وحل DNS والاتصال بالخادم. حدد الفحص الذي فشل قبل تغيير أي شيء؛ فإصلاح انقطاع DNS مختلف تماماً عن معالجة موجة من أخطاء 5xx.

2. نموذج الحالات يتبع الزمن، لا مقياس الشدة. الأخضر يعني 90 يوماً بلا مشكلة. والأحمر يعني مشكلة في الأسبوع الماضي. والأصفر يعني مشكلة حدثت قبل ذلك داخل النافذة. ينتقل الأصفر إلى الأخضر تلقائياً بعد مرور أسبوع بلا تكرار. لذلك لا يعني الأحمر «أسوأ من الأصفر»، بل «أحدث منه».

3. قاعدة القرار لملف robots.txt.

• 2xx ← تُعالج الاستجابة كما قُدمت.
• 3xx ← تتبع Google نحو 5 تحويلات، ثم تعامل النتيجة كـ404.
• 4xx (عدا 429) ← تُعامل كأن ملف robots.txt غير موجود ← زحف بلا قيود.
• 5xx أو 429 أو انتهاء المهلة أو فشل DNS ← خطأ خادم ← إيقاف الزحف (توقف 12 ساعة ← نحو 30 يوماً باستخدام النسخة المخبأة ← ثم يعتمد السلوك على صحة الموقع).

غياب ملف robots.txt آمن. أما تعذر الوصول إليه فهو الحالة الطارئة.

4. حالة المضيف تسبق كل شيء آخر. إذا عجزت Google عن الاتصال بالمضيف فلن يقدم لك أي تقرير على مستوى URL معلومات مفيدة بعد. عالج حالة المضيف أولاً، ثم اقرأ بقية Crawl Stats وPage Indexing.

5. إشارة خفض الوتيرة هي أيضاً عَرَض المشكلة. يمثل 503 أو 429 الطريقة المشروعة لإخبار Googlebot بخفض السرعة، وهو أيضاً الإشارة نفسها التي تجعل حالة المضيف حمراء. استخدمه لفترة وجيزة وعن قصد؛ فإذا استمر بدا كانقطاع لا كتهدئة، مع ما يصاحب ذلك من خطر على الفهرسة.

حالة المضيف — ورقة مرجعية سريعة

الحالات الثلاث (نافذة 90 يوماً)

الفحوص الثلاثة

التعامل مع رموز حالة robots.txt

الجدول الزمني لإيقاف الزحف بسبب robots.txt (عند خطأ الخادم)

• أول 12 ساعة: توقف الزحف وتستمر محاولة جلب الملف.
• نحو 30 يوماً التالية: تستخدم آخر نسخة مخبأة صالحة وتواصل المحاولة.
• بعد 30 يوماً: يعتمد السلوك على الصحة العامة للموقع.

حقائق سريعة

• توجد حالة المضيف ضمن Settings → Crawl stats في أعلى التقرير.
• لخاصية النطاق أو خاصية على مستوى الجذر فقط، لا المجلدات الفرعية في خاصية بادئة URL.
• يكون التعافي عادةً تلقائياً بعد استعادة التوفر؛ فلا زر إعادة ضبط ولا مدة ثابتة موثقة، وقد أُوقفت أداة تحديد معدل الزحف اليدوية.
• إنها على مستوى المضيف لا كل URL، وتختلف عن أخطاء Page Indexing.
• وهي ليست عقوبة ترتيب.

أدوات تشخيص حالة المضيف

• Google Search Console — تقرير Crawl Stats — موضع حالة المضيف (Settings → Crawl stats)، ومعه رسوم معدل الإخفاق لكل فحص وتوزيع رموز الاستجابة.
• تقرير robots.txt في GSC — للتأكد من قدرة Google على جلب robots.txt ومعرفة رمز الحالة الذي تلقته.
• تحليل ملفات سجل الخادم — المصدر الأوثق لما تلقاه Googlebot فعلاً (5xx أو 429 أو انتهاء المهلة) وتوقيته. من الأدوات: Screaming Frog Log File Analyser، أو إرسال السجلات إلى BigQuery أو منصة سجلات.
• تشخيصات DNS — الأمران dig وnslookup، إلى جانب صفحة حالة مزود DNS، لتأكيد نجاح الحل خلال النافذة المعلمة.
• مراقبة وقت التشغيل والحالة — لمطابقة انخفاضات حالة المضيف مع الانقطاعات وعمليات النشر وتغييرات الإعداد الفعلية.

ما الإجراء المناسب لحالة المضيف الظاهرة؟

أخطاء في التعامل مع حالة المضيف تؤخر التعافي

معاملة ملف robots.txt المفقود كأنه انقطاع

لماذا هذا خطأ: تعامل Google معظم استجابات 4xx، ومنها 404 النظيفة، كأن قيود robots.txt غير موجودة. أما 5xx و429 وإخفاقات DNS وانتهاء المهلة فهي التي توقف الزحف. ما ينبغي فعله: اختبر رمز الاستجابة الفعلي وإمكان الوصول قبل إنشاء ملف لمجرد التخلص من 404.

انتظار إعادة ضبط يدوية لمعدل الزحف

لماذا هذا خطأ: لا يوجد زر إعادة ضبط، وليست أداة التحكم القديمة في معدل الزحف طريق التعافي. ما ينبغي فعله: استعد الاستجابات المستقرة ودع Googlebot يرفع وتيرة الزحف تلقائياً.

قراءة الأحمر والأصفر كدرجتي شدة

لماذا هذا خطأ: تعبّر الألوان أساساً عن الحداثة. يعني الأحمر أن مشكلة كبيرة حدثت في الأسبوع الماضي، بينما يعني الأصفر أنها حدثت في وقت أسبق ضمن نافذة الـ90 يوماً المتحركة. ما ينبغي فعله: استخدم الفحص المتعثر والطوابع الزمنية لتقدير الشدة.

استخدام 503 أو 429 استراتيجيةً دائمة للتحكم في الزحف

لماذا هذا خطأ: قد يكون الرمزان وسيلة مشروعة لخفض الوتيرة مؤقتاً، لكنهما أيضاً إشارتا خطأ خادم تقللان الزحف وقد تصبحان خطراً على الفهرسة عند استمرارهما. ما ينبغي فعله: استخدمهما فترة وجيزة عند الحمل الزائد الفعلي، وأصلح مشكلة السعة أو قاعدة الحافة التي تسبب الضغط.

تشخيص إخفاق على مستوى المضيف عنوان URL تلو الآخر

لماذا هذا خطأ: تلخص حالة المضيف إخفاقات robots.txt وDNS والاتصال على مستوى المضيف. ما ينبغي فعله: طابق رسم معدل الإخفاق مع سجلات الخادم وCDN وWAF وDNS وعمليات النشر قبل ملاحقة قوالب صفحات منفردة.

فحوص سريعة لتوفر المضيف

فحص robots.txt وسلسلة تحويلاته

شغّل هذا الأمر في صدفة macOS أو Linux. استبدل اسم المضيف؛ يتبع الخيار -L التحويلات، وتكشف النتيجة ما إذا كانت الاستجابة النهائية مقبولة أم خطأ خادم يوقف الزحف.

curl -sS -L -o /dev/null -w 'final=%{url_effective} code=%{http_code} redirects=%{num_redirects} time=%{time_total}s\n' https://example.com/robots.txt

شغّل الأمر المكافئ في PowerShell لرؤية كل خطوة وحالة الاستجابة النهائية.

$r = Invoke-WebRequest -Uri 'https://example.com/robots.txt' -MaximumRedirection 5
[pscustomobject]@{ Status = [int]$r.StatusCode; FinalUrl = $r.BaseResponse.ResponseUri.AbsoluteUri }

فحص خوادم DNS الموثوقة للنطاق من سطر الأوامر

شغّل هذه الأوامر في صدفة macOS أو Linux. تشير الإجابة المفقودة أو المتقطعة إلى مسار DNS لا إلى تطبيق الخادم الأصلي.

dig +short A example.com
dig +short AAAA example.com
dig +trace example.com

شغّل الأمر المكافئ في PowerShell على Windows.

Resolve-DnsName example.com -Type A
Resolve-DnsName example.com -Type AAAA

تلخيص رموز الاستجابة التي توقف الزحف من سجل وصول

شغّل هذا الأمر في صدفة على سجل وصول بالصيغة المجمعة القياسية. عدّل حقل السجل إذا اختلف تنسيقك؛ يحصي التعبير استجابات 429 و5xx الخاصة بـGooglebot.

awk 'tolower($0) ~ /googlebot/ && ($9 == 429 || $9 ~ /^5[0-9][0-9]$/) { count[$9]++ } END { for (code in count) print code, count[code] }' access.log | sort

موارد تستحق وقتك

مقالات ذات صلة كتبتها

• متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — موضع خفض الوتيرة بسبب 5xx و429 وتقرير Crawl Stats وتوفر المضيف ضمن الصورة الأكبر لميزانية الزحف.
• Robots.txt وSEO: كل ما تحتاج إلى معرفته — الملف الذي يؤدي تعذر الوصول إليه إلى أخطر إخفاق في حالة المضيف.

من مصادر أخرى

• تراجع زحف Googlebot؟ Mueller يشير إلى أخطاء الخادم — Search Engine Journal، أغسطس 2025؛ ويتضمن اقتباس Mueller عن 429 و500 و503 وانتهاء المهلة.
• 5 رؤى أساسية من Crawl Stats في Google Search Console — Search Engine Journal، عن قراءة التقرير الأوسع الذي تظهر ضمنه حالة المضيف.
• كيف تفسر Google مواصفات robots.txt — Google for Developers؛ المصدر الموثوق لتوقف الزحف 12 ساعة والرجوع إلى النسخة المخبأة مدة 30 يوماً.
• تصحيح أخطاء الشبكة وDNS لدى برامج زحف Google — Google for Developers؛ تشخيصات DNS والشبكة ذات الصلة المباشرة بفحص حل DNS.
• تحديد أخطاء زحف Google Search وحلها — Google for Developers؛ دليل Google لتشخيص إخفاقات الاتصال بالخادم التي تجعل حالة المضيف حمراء.
• r/TechSEO — مجتمع مناقشة مشكلات الزحف والتوفر.

سجل التغييرات