الزحف

الخلاصة — الزحف هو طريقة العثور على صفحاتك وتنزيلها لدى محركات البحث. يتبع الروبوت (Googlebot لدى Google وBingbot لدى Bing) الروابط ويقرأ خرائط المواقع لاكتشاف عناوين URL، ثم يجلبها. يجب أن تزحف محركات البحث إلى الصفحة قبل أن تظهر في نتائجها — لكن كثرة زحفها إليها لا ترفع ترتيبها.

ما هو الزحف

لا تتصفح محركات البحث الويب بالطريقة التي تتصفح بها. فهي ترسل برامج آلية — تسمى زواحف أو روبوتات أو عناكب — تزور الصفحات وتنزّل ما فيها وتتبع الروابط للعثور على صفحات أخرى. زاحف Google هو Googlebot، وزاحف Bing هو Bingbot.

فكر فيه على أنه ثلاث خطوات بالترتيب:

1. الزحف — يكتشف الروبوت عنوان URL وينزّل الصفحة.
2. الفهرسة — يعالج المحرك الصفحة ويحفظها في قاعدة بيانات ضخمة لكل ما قد يعرضه في النتائج.
3. تقديم النتائج (الترتيب) — عند بحث شخص ما، يستخرج المحرك أفضل المطابقات من الفهرس ويرتبها.

الزحف هو الخطوة الأولى. فإذا لم تُزحف الصفحة قط فلا يمكن فهرستها، وإذا لم تُفهرس فلا يمكن ترتيبها. لذلك يهم الزحف — لكنه بوابة، لا لوحة نقاط.

كيف تعثر الزواحف على صفحاتك

طريقتان أساسيتان:

• اتباع الروابط. عندما يزحف روبوت إلى صفحة، يلتقط الروابط الموجودة فيها ويضيف عناوين URL تلك إلى قائمة الزحف التالية. والربط الداخلي الجيد هو طريقة اكتشاف الصفحات الجديدة.
• خرائط المواقع. خريطة موقع XML قائمة بعناوين URL تسلمها مباشرة إلى محركات البحث، حتى لا تضطر إلى اكتشاف كل شيء عبر الروابط.

توجد أيضًا خيارات «دفع» تخبر فيها المحرك بنشاط بتغير الصفحة — المزيد عنها أدناه — لكن الروابط وخرائط المواقع تنجز معظم العمل.

كيف تساعد محركات البحث على زحف موقعك

• اربط صفحاتك المهمة من صفحات أخرى (وخاصة الصفحة الرئيسية والتنقل الرئيسي).
• أرسل خريطة موقع XML في Google Search Console وBing Webmaster Tools.
• لا تحجب بالخطأ الصفحات التي تريد اكتشافها (تحقق من robots.txt).
• أبق خادمك سريعًا ومستقرًا — فإذا كان بطيئًا أو يعيد أخطاء، تتراجع الروبوتات وتقلّل زحفها.

الأمر الذي يخطئ فيه معظم الناس

الزحف ليس ترتيبًا. لن يؤدي تكرار الزحف إلى رفع ترتيبك في النتائج. كما أن حجب صفحة في robots.txt لا يزيلها من Google — بل يمنع Google من قراءتها. دليل على هذا الادعاء robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. النطاق: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. مستوى الثقة: مرتفع · تم التحقق: 2026-07-14 Google Search Central: Introduction to robots.txt وإذا كنت تريد اختفاء الصفحة فعلًا، فاسمح بالزحف إليها وأضف وسم noindex. (اختبرت جانب الحجب بنفسي — راجع النسخة المتقدمة.)

هل تريد النسخة الأعمق، مع طريقة عمل جدولة الزحف وحدود البايت والفرق بين الزحف والفهرسة والترتيب؟ انتقل إلى علامة التبويب Advanced.

الخلاصة — الزحف هو المرحلة الأولى من مراحل البحث الثلاث (زحف ← فهرسة ← تقديم النتائج). تكتشف الروبوتات عناوين URL عبر «السحب» (الروابط وخرائط المواقع) و«الدفع» (IndexNow وIndexing API)، ثم تجلبها وفق جدول خوارزمي يتكيف مع حالة خادمك. وتصيير JavaScript خطوة منفصلة. الزحف مطلوب للترتيب لكنه ليس إشارة ترتيب، وهو منفصل عن الفهرسة — فقد تُفهرس صفحة محجوبة في robots.txt. لا تحتاج معظم المواقع إلى إدارة ميزانية الزحف؛ والسجلات هي ما يريك ما حدث فعلًا.

الزحف هو المرحلة الأولى من ثلاث

تقول Google بوضوح عن خط الأنابيب: “Google Search works in three stages, and not all pages make it through each stage” (ترجمة) «يعمل بحث Google في ثلاث مراحل، ولا تجتاز كل الصفحات كل مرحلة» — الزحف والفهرسة وتقديم النتائج. دليل على هذا الادعاء Google describes Search as three stages: crawling, indexing, and serving results. النطاق: Google Search's documented processing model; it does not guarantee that a page reaches every stage. مستوى الثقة: مرتفع · تم التحقق: 2026-07-14 Google Search Central: In-depth guide to how Google Search works وجملة «لا تجتاز كل الصفحات كل مرحلة» هي جوهر SEO التقني. قد تُزحف الصفحة دون أن تُفهرس، أو تُفهرس دون أن تُقدّم لاستعلام. إن إبقاء المراحل منفصلة في ذهنك هو أكثر نموذج ذهني فائدة هنا.

من ينفذ الزحف فعلًا

يبدو «Googlebot» كأنه برنامج واحد، لكنه ليس كذلك. في عرضي كيف يعمل البحث أصفه بأنه أكثر من 1 000 نظام يشغّل عائلة من الزواحف المتخصصة — لسطح المكتب والهاتف والصور والأخبار والفيديو والإعلانات — وتصدر الطلبات في معظمها من Mountain View. وكلها تعتمد على مجموعة ميزانية الزحف نفسها، ولهذا يمكن للإفراط في زحف الصور أو المَعلمات أن يستنزف الزحف المخصص لمحتواك الفعلي.

ولم تعد محركات البحث وحدها في هذا المجال. ففي تحليلي لبيانات Cloudflare Radar (تعرّف إلى زواحف الويب الجديدة)، ما تزال روبوتات محركات البحث تنفذ الحصة الأكبر من الزحف — لكن روبوتات الذكاء الاصطناعي تحتل المركز الثاني بوضوح، وقد تتجاوزها خلال العامين المقبلين. وإذا كنت تقرأ سجلاتك، فقد تغيرت الجهات الفاعلة.

كيف تكتشف الزواحف عناوين URL

الاكتشاف هو سحب ودفع معًا:

• السحب — الروابط. تقول Google: “Other pages are discovered when Google extracts a link from a known page to a new page.” (ترجمة) «تُكتشف صفحات أخرى عندما تستخرج Google رابطًا من صفحة معروفة إلى صفحة جديدة». ولهذا يصعب اكتشاف الصفحات اليتيمة التي لا يربط بها شيء.
• السحب — خرائط المواقع. “Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl.” (ترجمة) «وتُكتشف صفحات أخرى عندما ترسل قائمة صفحات، أي خريطة موقع، كي تزحف إليها Google»
• الدفع — إشعارات التغيير. بدل انتظار إعادة الزحف، تخبر المحرك بأن شيئًا تغير: IndexNow (لـBing وYandex وغيرهما — ولا تستخدمه Google للصفحات العامة) وIndexing API لدى Google (رسميًا لصفحات JobPosting وBroadcastEvent فقط). وتكمل خيارات الدفع قيمة lastmod وRSS وWebSub.

تسمي Google العملية كلها «اكتشاف عناوين URL».

كيف تجلب الزواحف الصفحات

• الجدول خوارزمي. “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (ترجمة) «يستخدم Googlebot عملية خوارزمية لتحديد المواقع التي سيزحف إليها وعدد مرات الزحف وعدد الصفحات التي سيجلبها من كل موقع». يمكنك التأثير فيه، لكنك لا تضبطه.
• الزحف يراعي الخادم. تخفض الروبوتات سرعتها حتى لا ترهق موقعك: “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down.’” (ترجمة) «تحاول ألا تزحف إلى الموقع بسرعة شديدة كي لا تحمّله فوق طاقته… وتعني أخطاء HTTP 500: أبطئ». وهذه هي وسيلة إبطاء الزحف مؤقتًا — أعد 503/429 فيخفّض Googlebot سرعته (ليوم أو يومين، لا إلى الأبد).
• توجد حدود للبايت. اعتبارًا من تحديث Inside Googlebot في مارس 2026، يجلب Googlebot نحو 2 MB لكل عنوان URL (بعد أن كان الحد القديم 15 MB)، مع السماح لملفات PDF حتى 64 MB. وإذا تجاوزت الحد يصبح الجلب مقتطعًا لا مرفوضًا — فلا يمرر للفهرسة إلا الجزء المنزّل. وإذا دفعت الشيفرة المتضخمة محتواك المهم إلى ما بعد أول 2 MB، فسيؤثر ذلك فيه.
• يخفض التخزين المؤقت كلفة إعادة الزحف. تستخدم زواحف Google الطلبات الشرطية والتخزين المؤقت حتى لا تعيد جلب الموارد غير المتغيرة في كل مرة. ولا تنشر Google مدة تخزين مؤقت دقيقة لموارد التصيير، فلا تفترض نافذة تحديث ثابتة لتغيير برمجي — توقع بعض التأخر لا انعكاسًا فوريًا.

التصيير ليس زحفًا

يخلط الناس بينهما باستمرار. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (ترجمة) «أثناء الزحف، تصيّر Google الصفحة وتشغّل أي JavaScript تعثر عليه باستخدام إصدار حديث من Chrome». التصيير خطوة منفصلة عن جلب HTML. وخدمة تصيير الويب (Web Rendering Service) عديم الحالة — تُمسح وحدات التخزين وملفات تعريف الارتباط بين التحميلات، ويرفض مطالبات الإذن، ولا يقبل service workers. فإذا لم يظهر المحتوى إلا بعد نقرة أو بعد تنقل يعتمد على JavaScript ولا يستخدم رابط <a href> حقيقيًا، فتوقع مشكلات في الاكتشاف والتصيير. (المعالجة الكاملة في JavaScript SEO.)

الزحف مقابل الفهرسة مقابل الترتيب

أهم الفروق في هذه الصفحة:

• الزحف ≠ الترتيب. الزحف ضروري للظهور في النتائج، لكنه ليس إشارة ترتيب. ولن يؤدي رفع معدل الزحف إلى تحسين مواضعك. ميزانية الزحف مسألة كفاءة، وانتهى.
• الزحف ≠ الفهرسة. يمكن أن تُفهرس صفحة تحجبها robots.txt إذا ربطت بها صفحات أخرى — فلن ترى Google المحتوى أو وسم noindex الموجود فيها. وكما قلت في مفهرسة رغم حظرها في robots.txt: «الزحف والفهرسة شيئان مختلفان». ولإزالة صفحة فعلًا، اسمح بالزحف وأضف noindex — لا تحجبها.

اختبرت جانب الحجب مباشرة. في قصة حظر صفحتين مرتفعتي الترتيب باستخدام Robots.txt حجبت صفحتين من صفحاتنا ذات الترتيب العالي. النتيجة: “We lost a position here or there and all of the featured snippets for the pages… I expected a lot more impact, but the world didn’t end.” (ترجمة) «فقدنا مركزًا هنا أو هناك وجميع المقتطفات المميزة للصفحات… توقعت أثرًا أكبر بكثير، لكن العالم لم ينتهِ». وما زلت أتمسك بخلاصتي: “Don’t block pages you want indexed. It hurts. Not as bad as you might think it does — but it still hurts.” (ترجمة) «لا تحجب الصفحات التي تريد فهرستها. فالحجب يضر؛ ليس بالسوء الذي قد تتخيله، لكنه يظل ضارًا»

كيف تتحكم في الزحف

• robots.txt يتحكم في الزحف لا الفهرسة. “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (ترجمة) «يخبر ملف robots.txt زواحف محركات البحث بعناوين URL التي يمكن للزاحف الوصول إليها في موقعك». دليل على هذا الادعاء robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. النطاق: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. مستوى الثقة: مرتفع · تم التحقق: 2026-07-14 Google Search Central: Introduction to robots.txt استخدمه لإبعاد الروبوتات عن المساحات منخفضة القيمة — لا كأداة لإلغاء الفهرسة.
• بنية الموقع والروابط الداخلية تحدد عمق الصفحات وما إذا كانت ستُكتشف أصلًا (راجع عمق الزحف).
• ضوابط معدل الزحف. أوقفت Google شريط معدل الزحف اليدوي في Search Console (أوائل 2024) — وتعتمد الآن على استجابات خادمك وحد أدنى آلي أقل. وما يزال Bing يمنحك أداة Crawl Control يدوية ذات واجهة شبكية في Bing Webmaster Tools (راجع معدل الزحف).

كفاءة الزحف وميزانية الزحف

ينظر المحركان إلى الزحف بوصفه كفاءة. ويصوغ Gary Illyes جانب Google على أنه حد معدل الزحف + طلب الزحف (الشعبية والقدم). أما Fabrice Canel من Bing فيسميه “crawl efficiency north star … to crawl a URL only when the content has been added … updated.” (ترجمة) «الهدف الأعلى لكفاءة الزحف… أن يُزحف عنوان URL فقط عند إضافة المحتوى أو تحديثه»

الجزء المطمئن: لا تحتاج معظم المواقع إلى القلق بشأنه. تقول Google ذلك صراحة — فإذا لم يكن في موقعك عدد كبير من الصفحات التي تتغير سريعًا، أو كانت صفحاتك تُزحف في يوم نشرها نفسه، “you don’t need to read this guide.” (ترجمة) «لا تحتاج إلى قراءة هذا الدليل» ويبدأ الأمر في الأهمية قرب مليون صفحة أو أكثر تتغير أسبوعيًا، أو 10 آلاف صفحة أو أكثر تتغير يوميًا (راجع ميزانية الزحف وتكرار الزحف).

عندما يتعطل الزحف — كيف تكتشف ذلك

قبل أن تبحث عن إصلاح، اعرف أي مرحلة معطلة فعلًا — فالأعراض والعلاجات تختلف في كل مرحلة:

• ألم تُكتشف الصفحة أصلًا؟ لا شيء يربط بها وهي مفقودة من خريطة الموقع. أصلح الربط الداخلي وتغطية خريطة الموقع — راجع عمق الزحف وتكرار الزحف.

• اكتُشفت لكن لم تُجلب قط؟ أخطاء الخادم أو المهلات أو حظر robots.txt تبعد الروبوتات. افحص إحصاءات الزحف في GSC وسجلاتك — راجع ميزانية الزحف ومعدل الزحف.

• جُلبت لكن التصيير خاطئ؟ يعتمد المحتوى على نقرة أو تنقل لا تنفذه Googlebot إلا عبر JavaScript، أو تنتهي مهلة WRS. راجع JavaScript SEO لأوضاع فشل التصيير الخاصة.

• جُلبت وصُيّرت لكنها ما تزال غير مفهرسة؟ ذلك قرار منفصل يتخذه الفهرس — راجع مركز الفهرسة بدل معاملته كمشكلة زحف.

• تحليل ملف السجل هو مصدر الحقيقة. تعرض سجلات خادمك عناوين URL التي طلبتها الروبوتات فعلًا، وعدد مرات الطلب، ورموز الحالة التي تلقتها — وهي أفضل طريقة لرصد الزحف المهدَر والعثور على الصفحات التي لا تصل إليها الروبوتات (راجع تحليل ملف السجل).

• مصائد العناكب — مساحات عناوين URL لا نهائية بسبب التقويمات أو التنقل متعدد الأوجه أو معرفات الجلسة أو انفجارات الروابط النسبية — تحرق بهدوء ميزانية الزحف في عناوين URL رديئة (راجع مصائد العناكب).

إلى أين تذهب بعد ذلك: عنقود الزحف

هذه الصفحة هي الخريطة. كل موضوع أدناه تعمق مستقل:

كفاءة الزحف — كم مرة وبأي مقدار

• ميزانية الزحف — ما هي (السعة + الطلب)، وما الذي يهدرها، ومن يحتاج فعلًا إلى الاهتمام.
• معدل الزحف — سرعة جلب الروبوتات، ولماذا اختفى شريط معدل GSC، وكيف تسرع الزحف أو تبطئه اليوم.
• تكرار الزحف — ما يجعل Google تعيد زحف صفحة أسرع (الشعبية والقدم وlastmod الدقيق) وما لا يجعلها كذلك.
• عمق الزحف — عمق النقر مقابل عمق اجتياز الزحف، ولماذا تنتمي الصفحات المهمة قرب الصفحة الرئيسية.

تعرّف إلى الزواحف — من يجلب صفحاتك فعلًا

• Crawler — ما هو زاحف الويب (روبوت أو عنكبوت) وحلقة الجلب ← التحليل ← المتابعة التي تشغلها جميعًا.
• User agent — سلسلة وكيل المستخدم ورمز robots.txt الذي يعرّف الروبوت نفسه به، ولماذا لا يمكنك الوثوق بالسلسلة وحدها.
• Googlebot — زاحف Google: الهاتف الذكي مقابل سطح المكتب، والتصيير، وكيفية التحقق منه.
• Bingbot — زاحف Microsoft، وكيف يختلف، والأسطح خارج Bing التي يغذيها.
• زواحف الذكاء الاصطناعي — روبوتات شركات الذكاء الاصطناعي (التدريب مقابل البحث بالذكاء الاصطناعي مقابل الجلب الذي يطلقه المستخدم) وكيف تتحكم فيها.

تشخيص مشكلات الزحف

• تحليل ملف السجل — التحقق من الروبوتات الحقيقية وقراءة ما زحفته.
• مصائد العناكب (مصائد الزواحف) — الأنماط التي تنشئ عناوين URL لا نهائية وكيفية إصلاحها.

كل موضوع أعلاه تعمق مستقل متداخل تحت هذه الصفحة — وهو موجود أيضًا في الشريط الجانبي.

تأهيل الروابط الصادرة ضبط مرتبط داخل الصفحة يتقاطع مع الزحف — إذ تخبر هذه الروابط Google كيف تتعامل مع الرابط لا ما إذا كانت تزحف إليه: nofollow (الجامع الأصلي، وهو الآن تلميح)، إضافة إلى rel=sponsored وrel=ugc للروابط المدفوعة/الإعلانية وروابط المستخدمين. وتعيش الثلاثة كلها في عنقود وسوم meta داخل الصفحة.

العثور عليك من البداية مرحلة مرتبطة لكنها منفصلة. كيف تكتشف محركات البحث عناوين URL — الروابط الداخلية وخرائط المواقع (XML وفهرس خريطة الموقع والصور والفيديو) وبروتوكولا الدفع IndexNow وGoogle Indexing API (وظيفة كل منهما فعلًا ولماذا لا تستخدم Google IndexNow) — يعيش الآن في مركز الاكتشاف الخاص به. وللموضوع الأوسع، راجع كيف يعمل البحث.

ملخص الذكاء الاصطناعي

خلاصة مكثفة للنسخة المتقدمة:

• الزحف = المرحلة الأولى من البحث (زحف ← فهرسة ← تقديم النتائج). وهو مطلوب للترتيب لكنه ليس إشارة ترتيب، ومنفصل عن الفهرسة وعن التصيير.
• الاكتشاف سحب + دفع: الروابط وخرائط المواقع (سحب)؛ وIndexNow وIndexing API (دفع). وتسمي Google ذلك «اكتشاف عناوين URL».
• الجلب خوارزمي ومهذب: تقرر Google ماذا تجلب وكم مرة وكم صفحة، وتخفض السرعة عند 5xx/429 («أبطئ»). يجلب Googlebot نحو 2 MB لكل عنوان URL (وPDF حتى 64 MB) اعتبارًا من 2026، ويقتطع ما يتجاوز ذلك.
• التصيير منفصل: تعمل JavaScript في نسخة Chrome عديمة الحالة؛ وتخزن Google الموارد مؤقتًا لتقليل كلفة إعادة الزحف، لكنها لا تنشر مدة دقيقة، لذلك قد تتأخر التغييرات.
• الزحف ≠ الفهرس: قد تُفهرس صفحة محجوبة في robots عبر الروابط؛ استخدم noindex (مع السماح بالزحف) لإزالة الصفحة. أظهرت تجربة Patrick في الحجب أن الصفحات المحجوبة حافظت في الغالب على ترتيبها — «لكنها ما تزال تضر».
• ميزانية الزحف = السعة + الطلب (الشعبية + القدم). لا تحتاج معظم المواقع إلى إدارتها.
• شخّص بالسجلات؛ وراقب مصائد العناكب التي تهدر الميزانية. وأصبحت روبوتات الذكاء الاصطناعي حصة كبيرة ومتنامية من حركة الزحف.

التوثيق التصييري

توثيق من المصادر الأولية لمحركات البحث.

Google

• دليل متعمق لكيفية عمل بحث Google — نظرة الزحف ← الفهرسة ← تقديم النتائج، واكتشاف عناوين URL وجدولة الزحف.
• Crawling and Indexing — مركز robots وخرائط المواقع والعناوين الأساسية وضوابط الزحف.
• Introduction to robots.txt — ما يفعله robots.txt (وما لا يفعله).
• Optimize your crawl budget — سعة الزحف + الطلب؛ ومن يحتاجه.
• Overview of Google crawlers and fetchers — كل وكلاء مستخدم Google ونطاقات IP المنشورة.
• Inside Googlebot (March 2026) — حدود البايت الحالية وبنية الزحف.
• Googlebot and the 15 MB thing (2022) — الحد الأقدم، المفيد لإظهار التغيير.
• Crawling December series (2024) — Googlebot والتخزين المؤقت HTTP والتنقل متعدد الأوجه وشبكات CDN.

Bing / Microsoft

• bingbot Series: Maximizing Crawl Efficiency — تعريف Bing للزحف و«نجم الشمال لكفاءة الزحف».
• Bing Webmaster Tools — Crawl Control — ضبط سرعة Bingbot وتوقيتها.
• IndexNow / indexnow.org — بروتوكول الدفع للإشارة الفورية إلى عناوين URL المتغيرة.

اقتباسات من المصدر

تصريحات مسجلة من Google وBing. كل رابط يقفز إلى المقطع المقتبس في صفحة المصدر.

Google — كيف يعمل الزحف

• “Google Search works in three stages, and not all pages make it through each stage.” (ترجمة) «يعمل بحث Google في ثلاث مراحل، ولا تجتاز كل الصفحات كل مرحلة». — وثائق Google Search Central. الانتقال إلى الاقتباس
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” (ترجمة) «تُكتشف صفحات أخرى عندما تستخرج Google رابطًا من صفحة معروفة إلى صفحة جديدة… وتُكتشف صفحات أخرى عندما ترسل خريطة موقع إلى Google. وتسمى هذه العملية اكتشاف عناوين URL». الانتقال إلى الاقتباس
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (ترجمة) «يستخدم Googlebot عملية خوارزمية لتحديد المواقع التي سيزحف إليها وعدد مرات الزحف وعدد الصفحات التي سيجلبها من كل موقع». الانتقال إلى الاقتباس
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (ترجمة) «تحاول الزواحف ألا تزحف إلى الموقع بسرعة شديدة كي لا تحمّله فوق طاقته، وتعتمد الآلية على استجابات الموقع؛ فتعني أخطاء HTTP 500: أبطئ». الانتقال إلى الاقتباس
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (ترجمة) «أثناء الزحف، تصيّر Google الصفحة وتشغّل أي JavaScript تعثر عليه باستخدام إصدار حديث من Chrome». الانتقال إلى الاقتباس

Google — robots.txt وميزانية الزحف

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (ترجمة) «يوضح ملف robots.txt لزواحف محركات البحث عناوين URL التي يُسمح لها بالوصول إليها في موقعك». — وثائق Google Search Central. الانتقال إلى الاقتباس
• “Taking crawl capacity and crawl demand together, Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (ترجمة) «عند جمع سعة الزحف وطلب الزحف، تعرّف Google ميزانية زحف الموقع بأنها مجموعة عناوين URL التي تستطيع Google وترغب في زحفها». الانتقال إلى الاقتباس
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يضم موقعك عددًا كبيرًا من الصفحات سريعة التغيير، أو كانت صفحاته تُزحف في يوم نشرها، فلا تحتاج إلى قراءة هذا الدليل». الانتقال إلى الاقتباس

Gary Illyes، Google (عبر إعادة إنتاج Search Engine Land الحرفية لمنشور ميزانية الزحف لدى Google عام 2017)

• حد معدل الزحف هو “the number of simultaneous parallel connections Googlebot may use to crawl the site, as well as the time it has to wait between the fetches.” (ترجمة) «عدد الاتصالات المتوازية المتزامنة التي قد يستخدمها Googlebot لزحف الموقع، وكذلك مدة انتظاره بين عمليات الجلب». ويقود طلب الزحف الشعبية والقدم. قراءة التغطية

Fabrice Canel، Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (ترجمة) «الزحف هو العملية التي يكتشف بها bingbot المستندات أو المحتوى الجديد والمحدث لإضافته إلى فهرس Bing القابل للبحث». الانتقال إلى الاقتباس
• “Our crawl efficiency north star is to crawl a URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (ترجمة) «هدفنا الأعلى لكفاءة الزحف هو زحف عنوان URL فقط عندما يكون المحتوى قد أضيف أو حُدّث بسياق جديد في الصفحة أو روابط صادرة مفيدة». الانتقال إلى الاقتباس

قائمة فحص صحة الزحف

مرور سريع للتأكد من أن محركات البحث تستطيع العثور على ما يهم وجلبه:

• ترتبط الصفحات المهمة من مكان قابل للزحف (لا صفحات يتيمة).
• لا يحجب robots.txt ما تريد فهرسته (ويحجب فعلًا المساحات منخفضة القيمة مثل نتائج البحث الداخلية).
• أُرسلت خريطة الموقع XML في Google Search Console وBing Webmaster Tools، وتضم فقط عناوين URL الأساسية القابلة للفهرسة، وتحمل lastmod دقيقًا.
• يعيد الخادم استجابات سريعة ومستقرة — مع أقل قدر من 5xx/المهلات (تبطئ الروبوتات عندما يعاني الخادم).
• لا تستخدم robots.txt لمحاولة إلغاء الفهرسة — فهذه وظيفة noindex (مع السماح بالزحف).
• لا توجد مصائد عناكب تولد عناوين URL لا نهائية (تقويمات أو أوجه أو معرفات جلسة).
• روجعت إحصاءات الزحف في GSC لرصد ارتفاعات رموز الاستجابة ومتوسط زمن الاستجابة.
• فُحصت سجلات الخادم لرؤية هدر الزحف وعناوين URL المهمة غير المزحوفة.
• يمكن الوصول إلى المحتوى المعتمد على JS عبر روابط <a href> حقيقية، لا تنقلًا لا يعمل إلا بالنقر.

النماذج الذهنية

1. خط الأنابيب — زحف ← رسم ← فهرسة ← عرض. كل مرحلة مرشح، و«لا تصل كل الصفحات إلى كل مرحلة». وعندما لا تؤدي الصفحة جيدًا، حدد المرحلة التي تفشل فيها قبل تغيير أي شيء: هل زُحفت؟ هل صُيّرت؟ هل فُهرست؟ هل عُرضت للاستعلام؟

2. «لا يساوي» الثلاثة. أبق هذه الأمور منفصلة وستختفي معظم حيرة الزحف:

• الزحف ≠ الفهرسة (قد تُفهرس الصفحات المحجوبة عبر الروابط)
• الزحف ≠ الترتيب (معدل الزحف ليس إشارة ترتيب)
• الزحف ≠ التصيير (تعمل JS في خطوة منفصلة قابلة للتخزين المؤقت)

3. الاكتشاف = سحب + دفع. السحب: الروابط وخرائط المواقع. الدفع: IndexNow / Indexing API / lastmod. وإذا لم تُكتشف الصفحة، فاسأل أي قناة ينبغي أن تحملها — وما إذا كان شيء ما يربط بها أصلًا.

4. ميزانية الزحف = السعة + الطلب. السعة هي ما يستطيع خادمك تحمله؛ والطلب هو الشعبية + القدم. وتزيد الميزانية الفعلية بإزالة الهدر (المصائد والتكرارات والمعاملات الرديئة) أكثر بكثير من محاولة جعل Google تزحف «أكثر».

5. قاعدة القرار لإزالة صفحة. هل تريد اختفاءها من البحث؟ اسمح بالزحف + noindex. هل تريد أن تتخطى الروبوتات مساحة كاملة (ولا تهتم بفهرستها)؟ حظر robots.txt. لا تستخدم الحظر لإلغاء الفهرسة.

التحكم في الزحف — ورقة غش

ما الذي يفعله كل تحكم فعلًا

رموز الحالة التي تهتم بها الروبوتات

• 200 — جُلبت بنجاح.
• 301/308 — إعادة توجيه دائمة (تدمج).
• 404/410 — اختفت؛ تُسقط من الفهرس بمرور الوقت (و410 أسرع قليلًا).
• 429 / 500 / 503 — «أبطئ» / حاول لاحقًا؛ والاستمرار فيها يخفض الزحف.

حقائق سريعة

• حد جلب Googlebot: نحو 2 MB لكل عنوان URL (وPDF حتى 64 MB)، ويُقتطع ما بعد ذلك.
• شريط معدل الزحف اليدوي في GSC: أزيل (يناير 2024) — وتعتمد الإشارات الآن على الخادم.
• النظير لدى Bing: أداة Crawl Control ذات الواجهة الشبكية في Bing Webmaster Tools.
• IndexNow: Bing وYandex وغيرهما — ليس Google. وIndexing API: Google، ولـJobPosting وBroadcastEvent فقط.

تحقق من أن الروبوت هو Googlebot فعلًا

تزعم طلبات كثيرة أنها صادرة عن Googlebot. تحقق منها بإجراء فحص DNS عكسي ثم أمامي (لا تنشر Google طريقة مختصرة — وسلاسل وكيل المستخدم المزيفة شائعة).

أو أجر الفحص نفسه يدويًا:

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

إذا لم ينته البحث العكسي بنطاق Google، أو لم يطابق البحث الأمامي عنوان IP الأصلي، فليس ذلك Googlebot. ويمكنك أيضًا المقارنة مع نطاقات IP المنشورة لدى Google (googlebot.json).

نقطة بداية آمنة لـrobots.txt

User-agent: *
Disallow: /search           # internal search result pages
Disallow: /*?*sort=         # sort-order parameter spaces
Allow: /

Sitemap: https://example.com/sitemap.xml

تذكر: يحجب Disallow الزحف لا الفهرسة — فلا تستخدمه لإزالة صفحة من النتائج.

أدوات رؤية الزحف وإدارته

• Google Search Console — تقرير إحصاءات الزحف — عرض Google الخاص لكيفية زحفها إليك: الطلبات بمرور الوقت، ورموز الاستجابة، ومتوسط زمن الاستجابة، حسب نوع الملف ونوع Googlebot.
• Bing Webmaster Tools — معلومات الزحف وCrawl Control وSite Scan.
• تحليل ملف سجل الخادم — مصدر الحقيقة. الأدوات: Screaming Frog Log File Analyser، أو تمرير السجلات إلى BigQuery / منصة سجل. (راجع تحليل ملف السجل.)
• الزواحف / تدقيقات الموقع — تحاكي Ahrefs Site Audit وScreaming Frog SEO Spider الزحف، وتظهر العمق وسلاسل إعادة التوجيه وعناوين URL المحجوبة والأنماط الشبيهة بالمصائد.
• Ahrefs Webmaster Tools — زحف وتدقيق مجانيان للمواقع التي تتحقق منها.
• URL Inspection (GSC) — تحقق من كيفية زحف عنوان URL واحد ورسمه وفهرسته.

موارد تستحق وقتك

كتاباتي ذات الصلة

• دليل المبتدئين إلى SEO التقني — موضع الزحف في الصورة الأكبر.
• قصة حظر صفحتين مرتفعتي الترتيب باستخدام Robots.txt — تجربة الزحف مقابل الترتيب من مصدر أول.
• مفهرسة رغم حظرها في robots.txt — لماذا تُفهرس الصفحات المحجوبة رغم ذلك.
• Robots.txt وSEO: كل ما تحتاج إلى معرفته.
• مشكلات JavaScript SEO وأفضل ممارساته — جانب التصيير.
• تعرّف إلى زواحف الويب الجديدة: روبوتات الذكاء الاصطناعي تلحق بروبوتات البحث.

عروضي التقديمية

• كيف يعمل البحث (SlideShare) — جولتي في الزحف والتصيير والفهرسة والترتيب. (يظل إخلائي المعتاد ساريًا: «هذا فهمي للأنظمة… ولن يكون كاملًا أو دقيقًا 100%.»)

من آخرين

• r/TechSEO — مجتمع تصحيح مشكلات الزحف/الفهرسة.
• سلسلة Crawling December لدى Google (رسمية، وأفضل مجموعة مركزة من شروحات الزحف).
• شرح Google لميزانية الزحف لمشرفي المواقع (Search Engine Land) — إعادة إنتاج حرفية لمنشور Gary Illyes الأصلي مع تعريفَي حد معدل الزحف وطلب الزحف.
• شرح ميزانية زحف Googlebot (Search Engine Journal) — شرح بلغة بسيطة لنموذج سعة الزحف والطلب.
• شرح Google حدود بايت Googlebot وبنية الزحف (Search Engine Journal) — تغطية تحديث Inside Googlebot في مارس 2026؛ 2 MB لكل عنوان URL و64 MB لملفات PDF وسلوك الاقتطاع.
• كيف يعمل Bingbot: الاكتشاف والزحف والاستخراج والفهرسة (Search Engine Journal) — جانب Bing من خط أنابيب الزحف، مع سياق Fabrice Canel.
• حد حجم الملفات لدى Googlebot (DebugBear) — ما يحدث عندما تتجاوز الصفحة حد جلب Googlebot (اقتطاع لا رفض).

ملفات صوتية

• بودكاست Search Off the Record (فريق علاقات بحث Google) — كيف يزحف Googlebot إلى الويب. يتحدث Gary Illyes وMartin Splitt عن ماضي Googlebot وحاضره ومستقبله: بنية الزحف الموحدة وHTTP/1.1 مقابل HTTP/2 والطلبات الشرطية وحدود البايت. استمع

فيديوهات

• Google Search Central (YouTube) — سلسلة كيف يعمل بحث Google وشروحات Martin Splitt للزحف والتصيير، بما فيها فيديوهات JavaScript SEO. القناة

إحصاءات تستحق الاستشهاد

• تقترب روبوتات الذكاء الاصطناعي من روبوتات البحث. وفق تحليلي لـCloudflare Radar، ما تزال زواحف محركات البحث تنفذ الحصة الأكبر من الزحف، لكن روبوتات الذكاء الاصطناعي تأتي في المرتبة الثانية بوضوح، وقد تتجاوزها خلال عامين. المصدر
• عشرات المليارات من عناوين URL الموحدة التي لم تُرَ من قبل تكتشفها Bing كل يوم — وهو حجم مشكلة الاكتشاف التي تصفيها المحركات بقوة (Fabrice Canel، Microsoft Bing، 2022). التغطية
• ما الزواحف التي يحجبها نحو 140 مليون موقع بأعلى معدل؟ بيانات معدل الحجب في robots.txt من دراستي مع Xibeijia Guan؛ وهي مفيدة لفهم كيفية تحكم مواقع الويب المفتوح في وصول الروبوتات. المصدر
• حد البايت: نحو 2 MB لكل عنوان URL (وPDF حتى 64 MB) — حد جلب Googlebot الموثق لدى Google اعتبارًا من مارس 2026 (انخفاضًا من 15 MB). المصدر

اختبر نفسك: الزحف

خمسة أسئلة سريعة عن كيفية اكتشاف محركات البحث للصفحات وجلبها. اختر إجابة لكل سؤال، ثم تحقق.

سجل التغييرات