تقرير إحصاءات الزحف

الخلاصة — يوضح تقرير إحصاءات الزحف كيف زحفت Google إلى موقعك خلال آخر 90 يومًا — عدد مرات طلبها للصفحات، ومقدار ما نزّلته، وسرعة استجابة خادمك. تجده ضمن Settings في Google Search Console، وهو متاح لخاصية على مستوى الجذر لا لخاصية محددة بمسار. وبالنسبة إلى معظم المواقع، هو فحص للسلامة لا شيء تحتاج إلى تحسينه.

ما تقرير إحصاءات الزحف

عندما يزور زاحف Google — Googlebot — موقعك، يُسجل كل طلب يرسله لدى Google. يعرض لك تقرير إحصاءات الزحف ملخصًا لهذا النشاط: عدد مرات الزيارة، وما نُزّل، وما إذا واجه مشكلات.

ستجده في Google Search Console ضمن Settings ← Crawl stats (وليس في الشريط الجانبي الرئيسي مع التقارير الأخرى). وهو يغطي تقريبًا آخر 90 يومًا.

أين تجده (ولماذا قد لا تراه)

السبب الأكثر شيوعًا لتعذر العثور على التقرير بسيط: لا يظهر إلا للخصائص على مستوى الجذر. يشمل ذلك خاصية نطاق (النطاق فقط، من دون بادئة https://) وخاصية بادئة URL مثبتة عند جذر الموقع (مثل https://example.com). إذا أضفت خاصية بادئة URL تشير إلى مجلد أو مسار فرعي، فلن يظهر التقرير.

الحل هو إثبات ملكية خاصية على مستوى الجذر — نطاق أو بادئة URL عند الجذر. إنه الموقع نفسه بنوع خاصية مختلف، ثم يظهر التقرير.

الأرقام الثلاثة في الأعلى

• إجمالي طلبات الزحف — عدد مرات طلب Googlebot لعنوان URL في موقعك، سواء نجح الطلب أم لا.
• إجمالي حجم التنزيل — عدد وحدات البايت التي نزّلتها Google أثناء الزحف.
• متوسط وقت الاستجابة — متوسط الوقت الذي استغرقه خادمك للاستجابة.

هذه اتجاهات تراقبها، لا أهدافًا تصيبها. لا يوجد رقم «صحيح»؛ المهم هو شكل الخط بمرور الوقت.

هل ينبغي أن تقلق أصلًا؟

ربما لا، بصراحة. يحيط الكثير من القلق بـ«ميزانية الزحف»، لكن معظم المواقع لا تحتاج إلى التفكير فيها. التقرير أنفع بكثير بوصفه نظام إنذار مبكر لمشكلات الخادم منه بوصفه لوحة يجب تحسينها.

راقب تعثر خادمك. فإذا ارتفع متوسط وقت الاستجابة أو بدأت أخطاء الخادم في الظهور، تلاحظ Google ذلك وتقلل الزحف لتجنب تفاقم المشكلة. لذلك إذا توقفت الصفحات فجأة عن الالتقاط، فهذا التقرير من أول الأماكن التي سأنظر إليها.

يوجد هنا أيضًا ملخص Host status يبين ما إذا واجهت Google مشكلة في الوصول إلى موقعك أصلًا (جلب robots.txt أو DNS أو الاتصال بالخادم). هذه أهم كتلة؛ إن كانت حمراء فأصلحها أولًا.

هل تريد التفصيل الكامل مقياسًا بمقياس ومعنى كل نمط؟ انتقل إلى تبويب Advanced.

الخلاصة — يعرض Crawl Stats (Settings ← Crawl stats، للخصائص على مستوى الجذر فقط — Domain أو بادئة URL عند الجذر) إجمالي طلبات الزحف وإجمالي حجم التنزيل ومتوسط وقت الاستجابة خلال نحو 90 يومًا، إلى جانب التقسيمات حسب الاستجابة ونوع الملف ونوع Googlebot والغرض (Discovery مقابل Refresh). اقرأه كمراقب لسلامة الخادم، لا لوحة تفاخر بميزانية الزحف: ارتفاع وقت الاستجابة أو أخطاء 5xx يدفع Google إلى تقليل سعة الزحف، ويمكن لفشل robots.txt المستمر إيقاف الزحف مؤقتًا. إنه أقرب ما تقدمه GSC إلى بيانات السجلات، لكنه يغطي زواحف Google وحدها ولا يضمن اكتمال كل الطلبات — ولجميع الروبوتات والمستخدمين والسجل الكامل، ما زلت تحتاج إلى سجلات الخادم. تقصر Google إرشادات ميزانية الزحف على المواقع الكبيرة كثيرة التغيير؛ وفي خبرتي، نادرًا ما تهم معظم المواقع الأصغر.

ماهيته ومكانه

صياغة Google مباشرة: “The Crawl Stats report shows you statistics about Google’s crawling history on your website.” (ترجمة) «يعرض لك تقرير إحصاءات الزحف إحصاءات عن سجل زحف Google إلى موقعك الإلكتروني». تصل إليه ضمن Settings ← Crawl stats — لا من الشريط الجانبي الرئيسي للتقارير، وهذا يربك كثيرين.

أكبر سبب منفرد لاعتقاد الناس أن التقرير «مفقود» أو «معطل» هو أن Google تعرضه فقط للخصائص على مستوى الجذر. وبتعبيرها: “This report is available only for root-level properties.” (ترجمة) «هذا التقرير متاح فقط للخصائص على مستوى الجذر». يشمل ذلك خاصية Domain وخاصية بادئة URL المثبتة عند جذر الموقع (مثل https:// example.com)؛ ولا يقتصر على خصائص Domain الخالية من البروتوكول. إذا أثبتَّ خاصية بادئة URL محددة بمجلد أو مسار فرعي، فأعد إثباتها عند مستوى الجذر وسيظهر التقرير. لا مشكلة في موقعك.

هل ينبغي أن تهتم؟ إعادة تأطير ميزانية الزحف

لا تحتاج معظم المواقع إلى تحسين ميزانية الزحف، والقيمة الحقيقية للتقرير هي مراقبة السلامة لا ضبط الميزانية. تقصر Google إرشاداتها على المواقع الكبيرة (أكثر من مليون صفحة فريدة) والمواقع المتوسطة أو الأكبر (أكثر من 10k صفحة تتغير يوميًا). ودون ذلك، فهذا أداة تشخيص لا مشروعًا.

وتصف Google التقرير نفسه بأنه مصمم للمستخدمين المتقدمين، وتقول إن المواقع التي تقل عن نحو 1 000 صفحة لا تحتاج عمومًا إلى الخوض في هذا المستوى من التفاصيل — وهو حد أصغر من إرشادات ميزانية الزحف أعلاه. أما قاعدتي العملية فأوسع: بالنسبة إلى معظم المواقع دون نحو 10 000 صفحة، لن أقضي وقتًا طويلًا في ميزانية الزحف. تعامل مع ذلك بوصفه حكمًا مهنيًا لا حدًا رسميًا.

يتحكم في معدل الزحف أمران يعملان معًا — حد سعة الزحف وطلب الزحف. السعة هي ما يستطيع خادمك تحمله. وتعرّف Google حد السعة بأنه “The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (ترجمة) «الحد الأقصى لعدد الاتصالات المتوازية المتزامنة التي يمكن أن تستخدمها Google للزحف إلى موقع، إضافة إلى التأخير الزمني بين عمليات الجلب». أما الطلب فهو مقدار ما تريد Google زحفه، وتدفعه عوامل مثل الشعبية والتقادم. ويظهر أثر الاثنين في التقرير. (المزيد عن المفهوم في ميزانية الزحف.)

هناك تفاصيل نطاق تستحق معرفتها قبل قراءة الأرقام: يعد التقرير عنوان URL الفعلي الذي طلبه Googlebot بدل العنوان الأساسي الذي يصل إليه، ويعد الطلبات المكررة وكل قفزة إعادة توجيه على الخادم على حدة (أما عمليات إعادة التوجيه من جهة العميل فلا تُعد هنا كاستجابات إعادة توجيه). وهو محدد بالخاصية أو المضيف الذي تعرضه — وقد يقل أو يزيد تمثيل الموارد على نطاقات أخرى، وأحيانًا النطاقات النظيرة أو الفرعية، بحسب نوع الخاصية. ووفق وثائق Google نفسها، يعكس التقرير معظم طلبات الزحف لكنه قد يحذف بعضها، لذلك فإن اختلافًا صغيرًا عن سجلات خادمك متوقع وليس خللًا.

هذا أقرب ما تقدمه Search Console إلى بيانات ملفات السجل — لكنه خاص بزواحف Google ومجمّع وغير مضمون الاكتمال لكل طلب. إذا أردت زيارات جميع الروبوتات والمستخدمين، أو سجلًا كاملًا مضمونًا، فأنت تحتاج إلى سجلات الخادم. تعامل مع Crawl Stats بوصفه النظرة المجانية الأولى قبل الاستثمار في تحليل السجلات.

المقاييس الثلاثة الرئيسية

اقرأها كاتجاهات لا أهداف:

• إجمالي طلبات الزحف — “The total number of crawl requests issued for URLs on your site, whether successful or not.” (ترجمة) «إجمالي عدد طلبات الزحف المرسلة لعناوين URL على موقعك، سواء نجحت أم لا». يُعد كل طلب، بما فيه الطلبات التي أخفقت.
• إجمالي حجم التنزيل — “Total number of bytes downloaded from your site during crawling, for the specified time period.” (ترجمة) «إجمالي عدد وحدات البايت المنزّلة من موقعك أثناء الزحف خلال الفترة الزمنية المحددة».
• متوسط وقت الاستجابة — “Average response time for all resources fetched from your site during the specified time period.” (ترجمة) «متوسط وقت الاستجابة لجميع الموارد التي جُلبت من موقعك خلال الفترة الزمنية المحددة». وهو في الواقع مؤشر لسلامة الخادم. الارتفاع المستمر إنذار أداء، وقد تستجيب Google بخفض حد سعة الزحف — لذا يكون ضرر SEO غير مباشر (زحف أقل وأبطأ)، ومنفصلًا عن أي عامل ترتيب متعلق بسرعة الصفحة.

التقسيم: حسب الاستجابة

يعرض هذا الجدول، بتعبير Google، “the responses that Google received when crawling your site, grouped by response type, as a percentage of all crawl responses.” (ترجمة) «الاستجابات التي تلقتها Google عند الزحف إلى موقعك، مجمعة حسب نوع الاستجابة كنسبة من جميع استجابات الزحف». وتشمل الأنواع OK (200)، وMoved permanently (301)، وMoved temporarily (302)، وNot found (404)، وServer error (5XX)، وrobots.txt not available.

هكذا أقرأ كل نمط:

• ينبغي أن تمثل 200 الغالبية الكبرى. لا تنشر Google نسبة مستهدفة محددة، لذا قارن ذلك بخط أساس موقعك وراقب التحولات المستمرة بدل مطاردة رقم دقيق.
• كثرة 404 ليست قاتلة لكنها تشير إلى هدر الزحف — أي إنفاق Google طلبات على عناوين URL غير موجودة.
• كثرة 301 تشير إلى سلاسل إعادة توجيه أو روابط داخلية لا تزال تشير إلى عناوين قديمة. أصلح الروابط لتشير إلى الوجهة النهائية.
• ارتفاع 5xx هو النمط الأشد ضررًا في التقرير. يخفق خادمك تحت حمل الزحف، فينخفض حد السعة ويقل الزحف. ويمكن لاستمرار 5xx أن يخنق زحف Google بشدة.
• ينبغي ألا تظهر robots.txt not available بصورة مستمرة وذات دلالة. لا تنشر Google نسبة مستهدفة ثابتة، لكن الحصة المستمرة تعني أنها عجزت دوريًا عن جلب robots.txt. وهذا مهم لأن استمرار التعذر يجعل Google توقف الزحف مؤقتًا بحذر بدل التخمين. (لمعرفة ما يتحكم فيه robots.txt وما لا يتحكم فيه، راجع robots.txt.)

التقسيم: حسب نوع الملف

تجمع Google الزحف حسب نوع الملف — HTML والصور وJavaScript وCSS وJSON وPDF وغيرها. هذه قرينة تشخيصية لا دليل على الهدر وحدها؛ فالمقدار الطبيعي من زحف JS أو CSS أو الصور أو JSON يعتمد على بناء موقعك (يحتاج التطبيق الثقيل بـJS بصورة مشروعة إلى زحف موارد أكثر من موقع HTML ثابت). تستحق حصة JS/CSS/الصور المرتفعة مقارنة بخط أساسك، أو التي تقفز فجأة، التحقيق فيها باعتبارها عبئًا محتملًا لموارد التصيير. وقد تكشف أنواع الملفات غير المتوقعة مصيدة زحف — فضاء لا نهائي أو شبه لا نهائي من عناوين URL يولّد صفحات عديمة القيمة.

التقسيم: حسب نوع Googlebot

يقسم هذا الزحف بحسب Googlebot الذي نفذ الجلب — smartphone وdesktop والصور والفيديو وتحميل موارد الصفحة وAdsBot. لا توثق Google مزيجًا مطلوبًا، لكن في زحف mobile-first يتصدر Smartphone عادةً لدى معظم المواقع. والملف الذي يهيمن عليه desktop أو الحجم غير المتوقع من Image أو AdsBot قرينة تستحق التحقيق لا مخالفة في ذاتها — فقد يعني أن Google لا تعامل موقعك باعتباره mobile-first، أو أن زحف الإعلانات أو الصور يستهلك من الميزانية التي تفضل إنفاقها على المحتوى، أو ببساطة أن لموقعك احتياجات موارد غير معتادة.

التقسيم: حسب الغرض — Discovery مقابل Refresh

فئتان تعرفهما Google من سجل الزحف السابق وحده — ولا تخبرك التسميتان وحدهما إن كان المزيج سليمًا:

• Discovery — “The URL requested was never crawled by Google before.” (ترجمة) «لم تزحف Google من قبل إلى عنوان URL المطلوب».
• Refresh — “A recrawl of a known page.” (ترجمة) «إعادة زحف إلى صفحة معروفة».

ارتفاع Discovery متوقع أثناء إطلاق أو ترحيل (تعثر Google على عناوينك الجديدة)؛ لكن الارتفاع نفسه مشكلة إن كان مصدره فضاء لا نهائي أو عناوين ذات معلمات — فهذه ميزانية زحف تُنفق على نفايات. والمزيج الثقيل بـRefresh طبيعي لموقع راسخ لا ينشر كثيرًا من المحتوى الجديد. قارن أيًا منهما بخط أساسك وما تعرف أنه تغير، لا بنسبة «سليمة» ثابتة.

Host status — الكتلة الأكثر قابلية للتنفيذ

يلخص Host status ما إذا واجهت Google مشكلات توافر عند محاولة الزحف إليك، ضمن ثلاثة فحوص فرعية: جلب robots.txt وحل DNS والاتصال بالخادم. حالة المضيف الحمراء من أكثر الإشارات قابلية للتنفيذ — وهي تعني عادة أن Google حُجبت أو جرى تقييدها على مستوى البنية التحتية قبل الوصول إلى المحتوى خلال تلك النافذة. لكنها تنبيه مجمّع، وليست دليلًا على تأثر كل عنوان URL أو استمرار المشكلة الآن — افحص الخط الزمني وأكد الحالة الحالية (جلب مباشر أو URL Inspection أو سجلاتك) قبل اعتبارها محلولة. ومع ذلك، اجعل الحالة الحمراء أول ما تتحقق منه. (لها معالجة مستقلة ضمن Host status.)

قراءة الارتفاعات والانخفاضات

الآلية التي ينبغي استيعابها: ينعكس سلوك خادمك على مقدار زحف Google. إذا استجاب الموقع بسرعة وموثوقية، يمكن أن يرتفع حد السعة؛ وإذا تباطأ أو بدأ يعيد أخطاء خادم، ينخفض الحد. لذلك:

• ارتفاع وقت الاستجابة ← قد ينخفض حد السعة ← يقل الزحف.
• اندفاع 5xx ← ينخفض حد السعة ← يقل الزحف؛ وإذا استمر يمكن أن يخنقك بشدة.
• تعذر robots.txt ← إذا استمر التعذر، توقف Google الزحف مؤقتًا بحذر.

لا يمثل أي من ذلك عقوبة ترتيب. الضرر غير مباشر: إذا لم تُزحف الصفحات وتُفهرس، فلا يمكنها الترتيب أصلًا — لكن الزحف الإضافي لا يرفع الترتيب أيضًا. (راجع مفهوم ميزانية الزحف للنموذج الكامل الذي يجمع السعة والطلب.)

Crawl Stats مقابل سجلات الخادم

Crawl Stats هو أقرب ما تصل إليه GSC من السجلات، لكن الفجوات مهمة:

إذا تجاوزت احتياجاتك Crawl Stats — احتجت بيانات لكل URL أو روبوتات غير Google أو سجلًا أطول — فقد حان الانتقال إلى تحليل ملفات السجل. يخبرك Crawl Stats بأن شيئًا ما غير سليم؛ وتخبرك السجلات بالمكان الدقيق.

صلته ببقية الزحف

تقرير Crawl Stats هو نافذتك على الزحف بعد وقوعه. أما جانب الفهرسة مما يحدث لاحقًا، فتقرير Page Indexing هو الرفيق — يعرض Crawl Stats ما جلبته Google، ويعرض Page Indexing ما دخل الفهرس. ويمثل Host status الظاهر داخل التقرير إشارة البنية التحتية التي تستحق البدء بها.

ملخص الذكاء الاصطناعي

نسخة مكثفة من عدسة Advanced:

• مكانه: Search Console ← Settings ← Crawl stats. يغطي نحو 90 يومًا. لا يتاح إلا للخصائص على مستوى الجذر — خاصية Domain أو بادئة URL مثبتة عند جذر الموقع — ولذلك يكون «مفقودًا» في مجلدات خصائص بادئة URL الفرعية.
• المقاييس الثلاثة الرئيسية: إجمالي طلبات الزحف، وإجمالي حجم التنزيل، ومتوسط وقت الاستجابة. اقرأها كـاتجاهات لا أهداف.
• أربعة تقسيمات: حسب الاستجابة (200/301/404/5xx/تعذر robots.txt)، وحسب نوع الملف (HTML/JS/CSS/الصور/PDF وغيرها)، وحسب نوع Googlebot (smartphone/desktop/الصور/الفيديو/AdsBot)، وحسب الغرض (Discovery مقابل Refresh).
• إنه مراقب لسلامة الخادم لا لوحة ميزانية. يؤدي ارتفاع وقت الاستجابة أو 5xx إلى خفض Google حد سعة الزحف وتقليل الزحف؛ وقد يؤدي استمرار تعذر robots.txt إلى إيقاف الزحف مؤقتًا.
• Host status (جلب robots.txt وDNS والاتصال بالخادم) هو أكثر الكتل قابلية للتنفيذ — أصلح الحالة الحمراء أولًا.
• الزحف لا يساوي الترتيب: الزحف الأكثر لا يرفع الترتيب، لكن الصفحات غير المزحوفة لا يمكنها الترتيب أصلًا.
• أقرب ما تصل إليه GSC من السجلات، لكنه خاص بـGoogle ومجمّع وغير مضمون الاكتمال — ولجميع الروبوتات والمستخدمين وتفاصيل كل URL، استخدم سجلات الخادم.
• تقصر Google إرشادات ميزانية الزحف الرسمية على المواقع الكبيرة كثيرة التغيير (بل تصف التقرير نفسه بأنه تفاصيل غير ضرورية للمواقع دون نحو 1 000 صفحة). القاعدة المهنية العملية: معظم المواقع دون 10k صفحة بوضوح لا تحتاج إلى تحسين ميزانية الزحف — لكنه حكم لا حد رسمي.

الوثائق الرسمية

وثائق المصدر الأولي من Google.

Google

• تقرير Crawl Stats — صفحة مساعدة Search Console لهذا التقرير: المقاييس والتقسيمات وحالة المضيف وشرط الخاصية على مستوى الجذر.
• تحسين ميزانية الزحف — حد سعة الزحف + طلب الزحف، ومن يحتاج فعلًا إلى إدارة الميزانية.
• الزحف والفهرسة — المركز الأوسع للروبوتات وخرائط الموقع وضوابط الزحف.

اقتباسات من المصدر

تصريحات موثقة من Google. كل رابط عميق ينتقل إلى المقطع المقتبس في صفحة المصدر.

Google — ما يعرضه التقرير

• “The Crawl Stats report shows you statistics about Google’s crawling history on your website.” (ترجمة) «يعرض لك تقرير إحصاءات الزحف إحصاءات عن سجل زحف Google إلى موقعك الإلكتروني». — مساعدة Google Search Console. انتقل إلى الاقتباس
• “This report is available only for root-level properties.” (ترجمة) «هذا التقرير متاح فقط للخصائص على مستوى الجذر». انتقل إلى الاقتباس

Google — المقاييس الثلاثة

• “The total number of crawl requests issued for URLs on your site, whether successful or not.” (ترجمة) «إجمالي عدد طلبات الزحف المرسلة لعناوين URL على موقعك، سواء نجحت أم لا». انتقل إلى الاقتباس
• “Total number of bytes downloaded from your site during crawling, for the specified time period.” (ترجمة) «إجمالي عدد وحدات البايت المنزّلة من موقعك أثناء الزحف خلال الفترة الزمنية المحددة». انتقل إلى الاقتباس
• “Average response time for all resources fetched from your site during the specified time period.” (ترجمة) «متوسط وقت الاستجابة لجميع الموارد التي جُلبت من موقعك خلال الفترة الزمنية المحددة». انتقل إلى الاقتباس

Google — التقسيمات

• “This table shows the responses that Google received when crawling your site, grouped by response type, as a percentage of all crawl responses.” (ترجمة) «يعرض هذا الجدول الاستجابات التي تلقتها Google عند الزحف إلى موقعك، مجمعة حسب نوع الاستجابة كنسبة من جميع استجابات الزحف». انتقل إلى الاقتباس
• “Discovery: The URL requested was never crawled by Google before.” (ترجمة) «Discovery: لم تزحف Google من قبل إلى عنوان URL المطلوب». انتقل إلى الاقتباس
• “Refresh: A recrawl of a known page.” (ترجمة) «Refresh: إعادة زحف إلى صفحة معروفة». انتقل إلى الاقتباس

Google — سعة الزحف (آلية الميزانية وراء الأرقام)

• حد سعة الزحف: “The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (ترجمة) «الحد الأقصى لعدد الاتصالات المتوازية المتزامنة التي يمكن أن تستخدمها Google للزحف إلى موقع، إضافة إلى التأخير الزمني بين عمليات الجلب». — Google Search Central، دليل ميزانية الزحف للمواقع الكبيرة. انتقل إلى الاقتباس

قائمة تحقق لقراءة تقرير إحصاءات الزحف

مرور سريع لاستخراج الإشارة من التقرير:

• أنت في خاصية نطاق (على مستوى الجذر) — وإلا لن يظهر التقرير.
• Host status أخضر (جلب robots.txt وDNS والاتصال بالخادم كلها سليمة). أصلح أي حالة حمراء هنا أولًا.
• متوسط وقت الاستجابة مستقر ولا يتجه صعودًا.
• تمثل الاستجابات في معظمها 200؛ ولا تظهر 5xx أو تعذر robots.txt بحصة مستمرة ذات دلالة (لا تنشر Google هدفًا ثابتًا — راقب اتجاهك).
• لا يوجد حجم مفاجئ من عناوين غير موجودة (زحف مهدور) أو تحويلات دائمة (سلاسل إعادة توجيه / روابط داخلية قديمة).
• يميل نوع Googlebot عمومًا إلى Smartphone في زحف mobile-first — لا يوجد مزيج رسمي مطلوب، لكن التحول المفاجئ يستحق الفحص.
• لا تهيمن JS/CSS/الصور على نوع الملف مقارنة بخط أساسك، ولا تظهر أنواع مفاجئة (مصيدة زحف محتملة).
• حسب الغرض: قارن Discovery وRefresh بخط أساسك وما تغير (إطلاق أو ترحيل أو تحديث خريطة موقع) — القفزة غير المفسرة في أي منهما تستحق فحص هدر المعلمات/عناوين URL اللانهائية أو تعطل إعادة الزحف.
• إذا احتجت تفاصيل كل URL أو روبوتات غير Google أو سجلًا أطول، فانتقل إلى تحليل سجلات الخادم.

النماذج الذهنية

1. إنه مراقب سلامة لا لوحة نتائج. الأرقام اتجاهات تراقبها لا أهدافًا تعظمها. تبحث عن شكل المنحنى — الارتفاعات والانخفاضات المفاجئة — لا عن قيمة مطلقة «جيدة».

2. حلقة التغذية الراجعة للخادم. خادم سريع ومستقر ← قد يرتفع حد السعة ← زحف أكثر. خادم بطيء أو 5xx ← ينخفض الحد ← زحف أقل. وقت الاستجابة ومعدل الخطأ هما الرافعتان اللتان تتحكمان بهدوء في بقية التقرير.

3. حالة المضيف أولًا، ثم الاستجابات، ثم البقية. رتّب الفرز بحسب التأثير: Host status أحمر يعطل كل شيء ← أصلحه. ثم الاستجابات (5xx وتعذر robots.txt هما الأخطر). وبعدها فقط اهتم بتفاصيل نوع الملف أو Googlebot أو الغرض.

4. Crawl Stats مقابل السجلات — قاعدة الانتقال. يخبرك Crawl Stats أن شيئًا ما غير سليم (Google وحدها، مجمّع، غير مضمون الاكتمال، 90 يومًا). وتخبرك سجلات الخادم ما هو بالضبط (كل الروبوتات والمستخدمين، وكل طلب، وكل URL). ابدأ بـCrawl Stats وانتقل إلى السجلات عند الحاجة إلى الدقة.

5. بوابة «هل ينبغي أن أهتم؟». تصف Google التقرير للمستخدمين المتقدمين وتعده غير ضروري للمواقع دون نحو 1 000 صفحة؛ أما إرشادات ميزانية الزحف الرسمية فتستهدف مواقع أكبر بكثير وكثيرة التغيير. قاعدتي المهنية أوسع — دون نحو 10k صفحة، لا تنطبق ميزانية الزحف في الأساس — لكن تعامل معها كحكم لا حد رسمي. في الحالتين، استخدم التقرير للإنذار المبكر بسلامة الخادم، وتوقف عن تحسين رقم لا يحرك الترتيب.

تقرير Crawl Stats — ورقة مرجعية

المكان والنطاق

• Settings ← Crawl stats في Search Console. نحو 90 يومًا. للخصائص على مستوى الجذر فقط — Domain أو بادئة URL عند الجذر.

المقاييس الثلاثة الرئيسية

• إجمالي طلبات الزحف — كل الطلبات، نجحت أم لم تنجح.
• إجمالي حجم التنزيل — وحدات البايت المنزّلة.
• متوسط وقت الاستجابة — مؤشر لسلامة الخادم؛ ارتفاع مستمر ← زحف أقل.

حسب الاستجابة — معنى كل نمط

حسب نوع الملف — HTML وImage وJavaScript وCSS وJSON وPDF وغيرها. الحصة المرتفعة نسبة إلى خط أساسك قرينة تشخيصية لا دليلًا على الهدر؛ راقب عبء الموارد والأنواع المفاجئة (مصائد الزحف).

حسب نوع Googlebot — Smartphone (يتصدر عادة، ولا مزيج رسمي مطلوبًا)، وDesktop وImage وVideo وتحميل موارد الصفحة وAdsBot.

حسب الغرض — Discovery (عنوان URL لم يُزحف إليه من قبل) مقابل Refresh (إعادة زحف إلى صفحة معروفة).

Host status — جلب robots.txt · حل DNS · الاتصال بالخادم. أحمر = أصلحه أولًا.

حقائق سريعة

• التقرير «مفقود»؟ أنت في خاصية بادئة URL محددة بمجلد فرعي — أعد إثباتها على مستوى الجذر (خاصية Domain أو بادئة URL عند الجذر).
• زحف أكثر ≠ ترتيب أفضل؛ لكن غير المزحوف = غير قابل للترتيب.
• أقرب ما تصل إليه GSC من السجلات، لكنه خاص بزواحف Google ومجمّع وغير مضمون اكتمال الطلبات ويغطي 90 يومًا.

أدوات لمعرفة كيفية زحف Google إليك

• Google Search Console — تقرير Crawl Stats — موضوع هذه الصفحة: Settings ← Crawl stats، للخصائص على مستوى الجذر (Domain أو بادئة URL عند الجذر).
• Google Search Console — URL Inspection — تحقق من كيفية زحف عنوان URL واحد وتصييره وفهرسته.
• Google Search Console — تقرير Page Indexing — العرض المرافق: ما انتقل من الزحف إلى الفهرس.
• تحليل ملفات سجل الخادم — الحقيقة الأساسية التي تغطي كل الروبوتات والمستخدمين. الأدوات: Screaming Frog Log File Analyser، أو مرّر السجلات إلى BigQuery / منصة سجلات.
• الزواحف / تدقيقات المواقع — يحاكي Ahrefs Site Audit وScreaming Frog SEO Spider الزحف ويكشفان سلاسل إعادة التوجيه وعناوين URL المحجوبة والأنماط الشبيهة بالمصائد.
• Ahrefs Webmaster Tools — زحف + تدقيق مجانيان للمواقع التي تثبت ملكيتها.

اختبر نفسك: Crawl Stats

إجراء تشغيلي معياري: مراجعة أسبوعية لسلامة الزحف

استخدمه كفحص دوري قصير — لا كسبب لتحسين حجم الزحف لذاته.

1. افتح الخاصية الصحيحة. انتقل إلى خاصية Search Console على مستوى الجذر، ثم Settings ← Crawl stats.
2. حدد السياق. دوّن عمليات النشر والترحيل والانقطاعات وأحداث الزيارات وتغييرات خرائط الموقع المتداخلة مع المخطط.
3. افحص Host status أولًا. عالج تحذيرات جلب robots.txt أو DNS أو الاتصال بالخادم قبل تفسير بقية التقرير.
4. قارن الاتجاهات الثلاثة. راجع الطلبات وحجم التنزيل ووقت الاستجابة مقابل الأسابيع السابقة للخاصية نفسها — لا معيار عام.
5. افتح «حسب الاستجابة». تحقق من استمرار 5xx وتعذر robots.txt ونمو عمليات إعادة التوجيه وأنماط 404 الصاعدة حديثًا.
6. راجع المزيج. انظر إلى نوع الملف ونوع Googlebot وDiscovery مقابل Refresh بحثًا عن تحولات غير مفسرة أو مصائد زحف.
7. اربط النتائج بما بعدها. افحص URL Inspection وPage Indexing لعناوين URL تمثيلية. لا تهم كثرة الطلبات إذا بقيت الصفحات المهمة بلا زحف أو فهرسة.
8. صعّد عندما لا تكفي البيانات المجمعة. استخرج سجلات الخادم لأدلة كل URL والطوابع الزمنية الدقيقة ووكلاء المستخدم والزيارات من غير Google.
9. سجل النتيجة. احفظ التاريخ والشذوذ والسبب المرجح والمالك والإجراء والمقياس الذي ينبغي أن يعود لطبيعته. لا تغلق المشكلة إلا بعد تعافي الاتجاه.

استكشاف مشكلات Crawl Stats وإصلاحها

التقرير مفقود

السبب المرجح: تعرض خاصية بادئة URL على مستوى مسار. الإصلاح: افتح الخاصية على مستوى الجذر أو أثبتها. غياب التقرير عن خاصية أضيق لا يخبرك شيئًا عن زحف Google إلى الموقع.

يرتفع متوسط وقت الاستجابة بينما تنخفض طلبات الزحف

السبب المرجح: تتراجع Google مع تباطؤ الخادم الأصلي أو CDN أو التطبيق تحت الحمل. الإصلاح: اربط التوقيت بالمراقبة والسجلات، وحدد المسارات أو أنواع الموارد البطيئة، واستعد السعة الموثوقة، ثم راقب انخفاض وقت الاستجابة قبل توقع تعافي حجم الزحف.

ترتفع استجابات 5xx

السبب المرجح: انقطاع أو محدد معدل أو خادم أصلي مثقل أو قاعدة أمان خاصة بالروبوتات تفشل طلبات Googlebot. الإصلاح: افحص إدخالات السجل الدقيقة، وتحقق من Googlebot عند الحاجة، وأزل الحجب العرضي، واختبر عناوين URL المتأثرة من خارج جلسة التطبيق.

تظهر “robots.txt not available”

السبب المرجح: منعت أخطاء DNS أو TLS أو CDN أو إعادة التوجيه أو الخادم Google من جلب الملف — وليس بالضرورة توجيهًا سيئًا داخله. الإصلاح: اطلب /robots.txt مباشرة عبر المضيفين المتأثرين، وأكد استجابة ناجحة مستقرة، وافحص Host status والسجلات لنافذة الإخفاق.

يرتفع Discovery على نحو غير متوقع

السبب المرجح: يعمل إطلاق أو ترحيل جديد كما أُريد، أو عثرت Google على فضاء غير محدود لعناوين URL مثل المعلمات أو المرشحات أو التقاويم أو صفحات البحث الداخلي. الإصلاح: خذ عينة من السجلات والروابط الداخلية لتحديد النمط الجديد. أبق الاكتشافات المقصودة وقيّد مصائد الزحف عند مصدرها.

يبدو التقرير سليمًا، لكن الصفحات المهمة غير مفهرسة

السبب المرجح: سلامة المضيف المجمعة جيدة بينما تواجه عناوين منفردة مشكلات اكتشاف أو canonical أو جودة أو فهرسة. الإصلاح: استخدم URL Inspection وPage Indexing لهذه الصفحات. لا يستطيع Crawl Stats إثبات اختيار عنوان URL بعينه للفهرس.

قِس سلامة الزحف كاتجاهات لا حصص

لا يوجد عدد عالمي «جيد» من طلبات الزحف. ابنِ خط أساس لهذا الموقع وعلّق عليه بعمليات النشر والحوادث.

عرّف النجاح وفق الحادثة التي تحلها. بعد مشكلة خادم، يعني النجاح توافرًا مستقرًا وعودة وقت الاستجابة لطبيعته ثم تعافي الزحف. وبعد إغلاق مصيدة زحف، يعني النجاح طلبات أقل للنمط غير المرغوب من دون تقليل اكتشاف العناوين المهمة أو تحديثها. الطلبات الإضافية وحدها ليست نتيجة SEO، ولا يستطيع Crawl Stats وحده قياس الترتيب أو جودة الفهرس.

موارد تستحق وقتك

كتاباتي ذات الصلة

• متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — رأيي في ميزانية الزحف وموضع Crawl Stats ولماذا لا تحتاج معظم المواقع إلى الهوس به.
• ما Googlebot وكيف يعمل؟ — الزاحف وراء كل رقم في هذا التقرير.
• دليل المبتدئين إلى Technical SEO — موضع الزحف وSearch Console في الصورة الأكبر.

رسمية

• تقرير Crawl Stats — مساعدة Search Console — المصدر الأولي لكل مقياس وتقسيم.
• تحسين ميزانية الزحف — السعة + الطلب وحدود الحجم.

من أنحاء المجال

• شرح Gary Illyes من Google لميزانية زحف Googlebot — تغطية Search Engine Journal لشرح Gary Illyes؛ سياق مفيد لتفسير ما يحرك أرقام التقرير.
• ميزانية الزحف لـSEO: كل ما تحتاج إلى معرفته — معالجة متعمقة من Search Engine Journal لمفاهيم ميزانية الزحف والسعة والطلب.
• الزحف والفهرسة — مركز Google Search Central لجميع وثائق الزحف الرسمية وrobots.txt وخرائط الموقع.
• Search Off the Record: كيف يزحف Googlebot إلى الويب — Gary Illyes وMartin Splitt عن بنية الزحف وكيف يستجيب المجدول لخادمك.
• r/TechSEO — مجتمع تصحيح مشكلات الزحف والفهرسة.

البودكاست

• برنامج Search Off the Record (فريق علاقات بحث Google) — كيف يزحف Googlebot إلى الويب. يتحدث Gary Illyes وMartin Splitt عن بنية الزحف والطلبات الشرطية وكيف يستجيب مجدول الزحف لخادمك — خلفية مفيدة لما يحرك أرقام التقرير. استمع

الفيديوهات

• Google Search Central (YouTube) — شروحات Martin Splitt للزحف والتصيير وسلسلة How Google Search Works. أساس جيد لفهم ما يفعله Googlebot قبل أن يصل أصلًا إلى تقرير Crawl Stats. القناة

سجل التغييرات