زواحف الويب

الخلاصة — زاحف الويب برنامج آلي يزور صفحات الويب وينزلها ويتبع الروابط للعثور على صفحات أخرى. وتعني كلمات “crawler” و”spider” و”bot” الشيء نفسه. تستخدم محركات البحث الزواحف للعثور على صفحاتك كي تتمكن من إظهارها في البحث، لكن يجب زحف الصفحة قبل إمكان فهرستها وترتيبها، ولا يؤدي تكرار زحفها إلى رفع ترتيبها.

ما زاحف الويب؟

زاحف الويب برنامج يتصفح الويب آلياً. يزور الصفحة وينزل محتواها ويستخرج روابطها، ثم ينتقل لزيارة تلك الروابط أيضاً، ويكرر ذلك عبر مليارات الصفحات.

ستسمع ثلاثة أسماء للشيء نفسه: crawler وspider وbot. ويمكن استعمالها بالتبادل. يسمى زاحف Google ‏Googlebot، ويسمى زاحف Bing ‏Bingbot. Evidence for this claim Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Scope: Google crawler terminology. Confidence: high · Verified: 2026-07-14 Google: Googlebot overview

تحتاج محركات البحث إلى الزواحف لأنها لا تستطيع إظهار صفحة في النتائج ما لم تعثر عليها وتنزلها أولاً. يوفر الزاحف المادة الخام، أما فهرس محرك البحث فهو قاعدة البيانات الضخمة التي يبحث فيها المحرك عندما تكتب استعلاماً.

الزاحف ليس هو مستخرج البيانات (scraper). تتمثل مهمة الزاحف في الاكتشاف على نطاق واسع عبر اتباع الروابط في جزء كبير من الويب أو في الويب كله. أما مهمة مستخرج البيانات فهي استخراج عناصر محددة من صفحات وُجّه إليها مسبقاً. وفي الواقع قد يختلط الدوران؛ فكثير من الأدوات تزحف لاكتشاف الصفحات ثم تستخرج البيانات التي تحتاجها من كل صفحة.

كيف يعثر الزاحف على صفحاتك؟

بطريقتين أساسيتين:

• اتباع الروابط. عندما ينزل الزاحف صفحة، يقرأ روابطها ويضيف عناوين URL الجديدة إلى قائمة مهامه. ويساعد الربط الداخلي الجيد على اكتشاف الصفحات الجديدة.
• خرائط الموقع. خريطة موقع XML قائمة بعناوين URL تقدمها مباشرة إلى محركات البحث، ويمكنها مساعدتها على اكتشاف تلك العناوين. Evidence for this claim Google discovers URLs through links from known pages and through submitted sitemaps. Scope: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confidence: high · Verified: 2026-07-14 Google: How Search works

المراحل الثلاث المهمة

يعمل البحث بترتيب محدد:

1. الزحف — يعثر روبوت على عنوان URL وينزل الصفحة.
2. الفهرسة — يعالج المحرك الصفحة ويسجلها في قاعدة بياناته.
3. تقديم النتائج (الترتيب) — عندما يبحث شخص ما، يستخرج المحرك أفضل النتائج المطابقة ويرتبها.

الزحف هو الخطوة الأولى. إذا لم تُزحف الصفحة فلا يمكن فهرستها، وإذا لم تُفهرس فلا يمكن ترتيبها. لذا فالزحف بوابة يجب اجتيازها، لكنه ليس لوحة نقاط؛ وزيادة مرات الزحف لن ترفع الصفحة في النتائج.

الخطأ الشائع

حظر صفحة في robots.txt لا يزيلها من Google. يخبر robots.txt الزاحف فقط بألا يقرأ الصفحة. وقد تظل الصفحة تظهر في النتائج إذا ربطت بها مواقع أخرى. وإذا أردت إزالتها فعلياً، فاسمح بزحفها وأضف وسم noindex بدلاً من ذلك.

هل تريد النسخة التقنية: قائمة انتظار الزحف والجلب والتحليل، ولماذا يمثل التصيير خطوة منفصلة، وكيف تميز الزاحف الحقيقي من المزيف؟ انتقل إلى علامة تبويب متقدم.

الخلاصة — الزاحف أو العنكبوت أو الروبوت برنامج آلي يكتشف عناوين URL ويجلبها ويحللها ويعيد جدولتها في حلقة. ووفق وصف Google، فإنه “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (ترجمة) «ينزّل النصوص والصور ومقاطع الفيديو من الصفحات التي عثر عليها على الإنترنت باستخدام برامج آلية تُسمى الزواحف». تتمثل الآلية في قائمة انتظار لعناوين URL، وجلب لتنزيل HTML، وتحليل لاستخراج الروابط والمحتوى، ومجدول يحدد ما سيُجلب تالياً وبأي سرعة مع مراعاة سلامة خادمك. تصيير JavaScript خطوة منفصلة. الزحف مطلوب للترتيب لكنه ليس إشارة ترتيب، ويختلف عن الفهرسة؛ إذ يمكن فهرسة صفحة محظورة في robots. وفي 2026 لا تزحف محركات البحث وحدها، فروبوتات الذكاء الاصطناعي حصة كبيرة وسريعة النمو من الزيارات.

ما الزاحف فعلياً؟

تعريف Google مباشر: إنه “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (ترجمة) «ينزّل النصوص والصور ومقاطع الفيديو من الصفحات التي عثر عليها على الإنترنت باستخدام برامج آلية تسمى الزواحف» وصياغة مسرد Google أوسع: “a crawler is a generic term for any program that is used to automatically discover and scan websites.” (ترجمة) «الزاحف مصطلح عام لأي برنامج يُستخدم لاكتشاف مواقع الويب وفحصها آلياً» الزاحف والعنكبوت والروبوت وspiderbot مفهوم واحد بأسماء مختلفة. Evidence for this claim Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Scope: Google crawler terminology. Confidence: high · Verified: 2026-07-14 Google: Googlebot overview

تكمن أهمية الزحف في خط المعالجة. تقول Google بوضوح: “Google Search works in three stages, and not all pages make it through each stage” (ترجمة) «يعمل بحث Google في ثلاث مراحل، ولا تجتاز كل الصفحات كل مرحلة». وهذه المراحل هي الزحف والفهرسة وتقديم النتائج. الزحف هو البوابة الأولى؛ فالصفحة التي لا تُزحف لا يمكن فهرستها، والصفحة غير المفهرسة لا يمكن ترتيبها.

كيف يعمل الزاحف تقنياً؟

إذا تجاهلنا أسماء المنتجات، فإن معظم الزواحف التي تتبع الروابط تشغل نسخة من الحلقة نفسها: اكتشاف ← جلب ← تحليل ← جدولة ← تكرار. وهذا نموذج ذهني مفيد لفهم سلوك الزاحف، وليس ضماناً بأن كل زاحف بُني على الإطلاق ينفذ هذه المراحل بالطريقة نفسها تماماً.

جبهة الزحف (قائمة الانتظار). لا يتجول الزاحف عشوائياً. فهو يحتفظ بقائمة لعناوين URL التي يعرفها ولم يزرها بعد، وتسمى جبهة الزحف، ويستخدم مجدولاً لاختيار العنوان التالي. يبدأ بمجموعة من عناوين URL الأولية، ثم تتسع القائمة كلما اكتشف المزيد. وتصف Google الاكتشاف هكذا: “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” (ترجمة) «تُكتشف صفحات أخرى عندما تستخرج Google رابطاً من صفحة معروفة إلى صفحة جديدة… وتُكتشف صفحات أخرى أيضاً عندما ترسل قائمة صفحات، أي خريطة موقع، كي تزحف إليها Google. وتسمى هذه العملية اكتشاف عناوين URL» Evidence for this claim Google discovers URLs through links from known pages and through submitted sitemaps. Scope: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confidence: high · Verified: 2026-07-14 Google: How Search works

الجلب. يرسل الزاحف طلب HTTP ويعيد الخادم الصفحة. في هذه الخطوة ينزل HTML الخام، أما الموارد مثل JavaScript وCSS فتُجلب منفصلة وغالباً لاحقاً. يلخص Fabrice Canel من Bing الهدف: “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (ترجمة) «الزحف هو العملية التي يكتشف بها bingbot المستندات أو المحتوى الجديد والمحدث لإضافته إلى فهرس Bing القابل للبحث»

التحليل. يُحلل HTML المجلوب لاستخراج الروابط والنصوص والعناوين والصور والبيانات الوصفية. وتُوحّد صيغة عناوين URL الجديدة ثم تعاد إلى جبهة الزحف، وهذا ما يبقي الحلقة مستمرة.

الجدولة. تحدد الخوارزميات ما سيُجلب وعدد مرات الجلب وعدد الصفحات في الزيارة الواحدة، وليس أنت. تقول Google: “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (ترجمة) «يستخدم Googlebot عملية خوارزمية لتحديد المواقع التي سيزحف إليها وعدد مرات الزحف وعدد الصفحات التي سيجلبها من كل موقع» تُعاد زيارة الصفحات الشائعة والمتغيرة كثيراً أسرع، بينما تُزار الصفحات الثابتة وغير المعروفة على فترات متباعدة. ولكل من ميزانية الزحف ومعدل الزحف وتكراره شرح مستقل في هذه المجموعة.

«Googlebot» ليس برنامجاً واحداً

هذه نقطة تغفل عنها شروح كثيرة. يبدو اسم Googlebot وكأنه برنامج واحد، لكنه ليس كذلك. أصفه في عرضي كيف يعمل البحث بأنه أكثر من 1 000 نظام يشغل عائلة من الزواحف المتخصصة لسطح المكتب والجوال والصور والأخبار والفيديو والإعلانات، وكلها تسحب من مجموعة ميزانية زحف واحدة. وقد أوضح Gary Illyes النقطة نفسها من داخل Google: فالاسم وصف غير دقيق لمنصة زحف مركزية توجه منتجات Google العديدة، مثل Shopping وAdSense، طلباتها من خلالها بأسماء وكلاء مستخدم مختلفة. لذلك لا ترى في سجلاتك روبوتاً واحداً، بل أسطولاً يشترك في تسمية واحدة. وتوجد التفاصيل الخاصة بكل محرك في الصفحات الشقيقة عن Googlebot وBingbot.

التهذيب: كيف تتجنب الزواحف إسقاط موقعك؟

يحد الزاحف حسن السلوك سرعته عمداً. تقول Google: “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (ترجمة) «تحاول الزواحف ألا تزحف إلى الموقع بسرعة شديدة كي لا تحمّله فوق طاقته، وتعتمد هذه الآلية على استجابات الموقع؛ فمثلاً تعني أخطاء HTTP 500 «أبطئ»» وهذه أيضاً وسيلة إبطاء الزحف مؤقتاً؛ فالاستجابات 5xx أو 429 المستمرة تجعل Googlebot يتراجع ليوم أو يومين، لا إلى الأبد. والتهذيب ليس مجاملة اختيارية؛ فعلى هذا النطاق هو ما يمنع الزواحف من إغراق الخوادم بالطلبات.

robots.txt: المعيار المتعارف عليه للتحكم في الزحف

robots.txt هو عرف التحكم في الوصول بحكم الأمر الواقع. تقول Google: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (ترجمة) «يخبر ملف robots.txt زواحف محركات البحث بعناوين URL التي يمكن للزاحف الوصول إليها على موقعك» وتذكر أمرين:

• يتحكم في الزحف لا الفهرسة. قد تظل الصفحة المحظورة مفهرسة إذا ربطت بها صفحات أخرى، لكن Google لا تستطيع رؤية محتواها أو أي وسم noindex فيها. وكما قلت في Indexed, though blocked by robots.txt: “crawling and indexing are two different things.” (ترجمة) «الزحف والفهرسة شيئان مختلفان» لإزالة صفحة فعلياً، اسمح بالزحف وأضف noindex، ولا تحظرها.
• تطيعه الزواحف الموثوقة، ولا يطيعه أصحاب السلوك السيئ. تحترم Googlebot وBingbot وAhrefsbot وأمثالها robots.txt، بينما يتجاهله كثير من مستخرجي البيانات والروبوتات غير الموثوقة. فهو عرف لا آلية إنفاذ.

اختبرت جانب الحظر مباشرة. في قصة حظر صفحتين مرتفعتي الترتيب باستخدام Robots.txt حظرت صفحتين مرتفعتي الترتيب مدة قاربت خمسة أشهر. فقدتا كل المقتطفات المميزة والعناوين المخصصة، وظهرت في النتائج عبارة “no information is available” (ترجمة) «لا تتوفر معلومات»، وانخفضت النقرات بأكثر مما يفسره تغير الموضع وحده، لكن تقدير الزيارات بالكاد تحرك. وخلاصتي ما زالت: لا تحظر الصفحات التي تريد فهرستها. الحظر يضر. ليس بالسوء الذي قد تتخيله، لكنه يظل ضاراً.

الزحف ≠ الفهرسة ≠ التصيير ≠ الترتيب

هذه الفروق هي الأكثر تسبباً في الالتباس:

• الزحف ≠ الفهرسة. الزحف جلب وتنزيل، أما الفهرسة ففهم وتخزين. يمكن زحف صفحة دون فهرستها إذا قررت Google عدم تضمينها، ويمكن فهرسة صفحة محظورة دون قراءة محتواها. “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (ترجمة) «الفهرسة غير مضمونة؛ فلن تُفهرس كل صفحة تعالجها Google»
• الزحف ≠ التصيير. جلب HTML وتشغيل JavaScript خطوتان مختلفتان. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome,” (ترجمة) «أثناء الزحف، تصيّر Google الصفحة وتشغل أي JavaScript تعثر عليه باستخدام إصدار حديث من Chrome». لكن التصيير يحدث في قائمة انتظار منفصلة قد تتأخر عن الجلب الأولي. وإذا لم يظهر المحتوى إلا بعد تشغيل JavaScript فلن يكون متاحاً في مرور HTML نفسه.
• الزحف ≠ الترتيب. تكرار الزحف ليس إشارة ترتيب. معدل الزحف مسألة كفاءة فقط، ولهذا لا تحتاج معظم المواقع إلى إدارة ميزانية الزحف.

أنواع الزواحف باختصار

لكل نوع صفحة شقيقة أكثر تفصيلاً:

• زواحف محركات البحث — مثل Googlebot وBingbot، وهي تبني الفهارس التي تشغل نتائج البحث.
• زواحف الذكاء الاصطناعي والنماذج اللغوية الكبيرة — مثل GPTBot وClaudeBot وCCBot وغيرها، وتجمع محتوى الويب لتدريب نماذج الذكاء الاصطناعي أو تشغيلها. وهي تنمو بسرعة.
• زواحف تدقيق SEO — مثل Ahrefs Site Audit وScreaming Frog وأدوات مشابهة تحاكي الزحف لكشف المشكلات التقنية.
• أدوات الجلب التي يشغلها المستخدم — أدوات ترسل طلباً واحداً عند الطلب، مثل URL Inspection وRich Results Test من Google. وهذه ليست زواحف مستقلة.

من يزحف إلى الويب الآن؟

لم تعد محركات البحث وحدها. في تحليلي لبيانات Cloudflare Radar، تعرّف إلى زواحف الويب الجديدة، ما زالت روبوتات محركات البحث تنفذ أكبر حجم من الزحف، لكن روبوتات الذكاء الاصطناعي تحتل المركز الثاني بوضوح. يصعب تصور هذا النطاق؛ فمحرك Bing وحده يكتشف عشرات المليارات من عناوين URL الموحّدة الصيغة التي لم يرها من قبل كل يوم، وفق Fabrice Canel، ولذلك تضطر المحركات إلى تحديد أولويات الجلب بشدة.

كيف تتحقق من أن الزاحف هو من يدعي؟

يمكن لأي روبوت كتابة “Googlebot” في سلسلة وكيل المستخدم، فلا تثق بالسلسلة وحدها. الاختبار الحقيقي هو بحث DNS عكسي ثم أمامي، كما في علامة تبويب البرامج النصية: نفذ بحثاً عكسياً لعنوان IP في سجلاتك، وتأكد من أنه يعود إلى اسم مضيف ينتهي بـ googlebot.com أو google.com، ثم ابحث عن اسم المضيف أمامياً وتأكد من أنه يعود إلى عنوان IP نفسه. وتنشر Google أيضاً نطاقات عناوين IP الخاصة بها. وتوجد تفاصيل وكلاء المستخدم لكل محرك في الصفحة الشقيقة عن user-agent.

إلى أين تنتقل بعد ذلك؟

هذه صفحة المفهوم العام، وللتفاصيل:

• Googlebot — زاحف Google: وكلاء المستخدم والزحف المعتمد على الجوال والتصيير وإحصاءات الزحف في Search Console.
• Bingbot — زاحف Bing: التحكم في الزحف وIndexNow.
• زواحف الذكاء الاصطناعي — GPTBot وClaudeBot وCCBot والروبوتات الوكيلة الأحدث.
• وكيل المستخدم — ما سلسلة وكيل المستخدم وكيف تقرؤها.
• مركز الزحف — خط المعالجة كله، إضافة إلى ميزانية الزحف ومعدله وتكراره وعمقه وفخاخ العناكب وتحليل ملفات السجل.

ملخص الذكاء الاصطناعي

خلاصة مكثفة لنسخة «متقدم»:

• الزاحف = العنكبوت = الروبوت. ثلاثة أسماء لبرنامج آلي “automatically discover[s] and scan[s] websites” (ترجمة) «يكتشف مواقع الويب ويفحصها آلياً» وينزل الصفحات كي تتمكن محركات البحث من فهرستها وترتيبها.
• الحلقة التقنية: اكتشاف ← جلب ← تحليل ← جدولة ← تكرار. تغذي جبهة الزحف، وهي قائمة عناوين URL المعروفة وغير المزارة، المجدول؛ وينزل كل جلب HTML، ويستخرج التحليل الروابط والمحتوى، ثم تعاد العناوين الجديدة إلى القائمة. وتسمي Google اكتشاف الروابط وخرائط الموقع «اكتشاف عناوين URL».
• الزحف هو المرحلة الأولى من ثلاث: الزحف ثم الفهرسة ثم تقديم النتائج، و*“not all pages make it through each stage.”* (ترجمة) «لا تجتاز كل الصفحات كل مرحلة». وهو مطلوب للترتيب لكنه ليس إشارة ترتيب.
• الزحف ≠ الفهرسة ≠ التصيير ≠ الترتيب. الفهرسة غير مضمونة، وتصيير JavaScript خطوة مستقلة لاحقة، ويمكن فهرسة صفحة محظورة في robots عبر الروابط.
• Googlebot أسطول لا برنامج واحد؛ إنه منصة زحف مركزية تمرر منتجات Google العديدة طلباتها عبرها باستخدام وكلاء مستخدم مختلفين.
• الزواحف الموثوقة مهذبة وتحترم robots.txt، وتخفف سرعتها عند 5xx و429، بينما لا يفعل ذلك أصحاب السلوك السيئ وكثير من مستخرجي البيانات.
• لم تعد محركات البحث وحدها. روبوتات الذكاء الاصطناعي في المركز الثاني بوضوح من حيث الحجم، ويرى Bing وحده عشرات المليارات من عناوين URL الجديدة يومياً.
• تحقق من الزاحف عبر DNS العكسي ثم الأمامي، لا عبر سلسلة وكيل المستخدم.

الوثائق الرسمية

وثائق المصادر الأولية من محركات البحث.

Google

• دليل متعمق عن طريقة عمل بحث Google — نظرة عامة على الزحف ثم الفهرسة ثم تقديم النتائج، واكتشاف عناوين URL، ومجدول الزحف.
• نظرة عامة على زواحف Google وأدوات الجلب — تعريف الزاحف، وكل وكلاء مستخدم Google، ونطاقات IP المنشورة.
• Googlebot — نسختا Googlebot للهاتف الذكي وسطح المكتب وسلوكهما التقني.
• مقدمة إلى robots.txt — ما الذي يفعله robots.txt وما الذي لا يفعله.
• تحسين ميزانية الزحف — سعة الزحف والطلب عليه ومن يحتاج فعلاً إلى إدارته.

Bing / Microsoft

• سلسلة bingbot: تعظيم كفاءة الزحف — تعريف Bing للزحف وهدفه الأعلى لكفاءة الزحف.

اقتباسات من المصدر

تصريحات مسجلة من Google وBing. ينتقل كل رابط عميق إلى المقطع المقتبس في صفحة المصدر.

Google — ما الزاحف وكيف يعمل؟

• “Google downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (ترجمة) «تنزل Google النصوص والصور ومقاطع الفيديو من الصفحات التي عثرت عليها على الإنترنت باستخدام برامج آلية تسمى الزواحف» — وثائق Google Search Central. الانتقال إلى الاقتباس
• “Google Search works in three stages, and not all pages make it through each stage.” (ترجمة) «يعمل بحث Google في ثلاث مراحل، ولا تجتاز كل الصفحات كل مرحلة» الانتقال إلى الاقتباس
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” (ترجمة) «تُكتشف صفحات أخرى عندما تستخرج Google رابطاً من صفحة معروفة إلى صفحة جديدة… وتُكتشف صفحات أخرى عندما ترسل قائمة صفحات، أي خريطة موقع، كي تزحف إليها Google. وتسمى هذه العملية اكتشاف عناوين URL» الانتقال إلى الاقتباس
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (ترجمة) «يستخدم Googlebot عملية خوارزمية لتحديد المواقع التي سيزحف إليها وعدد مرات الزحف وعدد الصفحات التي سيجلبها من كل موقع» الانتقال إلى الاقتباس
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (ترجمة) «تحاول الزواحف ألا تزحف إلى الموقع بسرعة شديدة كي لا تحمّله فوق طاقته. وتعتمد هذه الآلية على استجابات الموقع؛ فمثلاً تعني أخطاء HTTP 500 «أبطئ»» الانتقال إلى الاقتباس
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (ترجمة) «أثناء الزحف، تعرض Google الصفحة وتشغل أي JavaScript تعثر عليه باستخدام إصدار حديث من Chrome» الانتقال إلى الاقتباس

Google — robots.txt

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (ترجمة) «يخبر ملف robots.txt زواحف محركات البحث بعناوين URL التي يمكن للزاحف الوصول إليها على موقعك» — وثائق Google Search Central. الانتقال إلى الاقتباس

Fabrice Canel من Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (ترجمة) «الزحف هو العملية التي يكتشف بها bingbot المستندات أو المحتوى الجديد والمحدث لإضافته إلى فهرس Bing القابل للبحث» الانتقال إلى الاقتباس
• “Our crawl efficiency north star is to crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (ترجمة) «هدفنا الأعلى لكفاءة الزحف هو زحف عنوان URL فقط عندما يكون المحتوى قد أُضيف، أي لم يُزحف العنوان من قبل، أو حُدث بسياق جديد في الصفحة أو روابط صادرة مفيدة» الانتقال إلى الاقتباس

قائمة تحقق لتمكين الزواحف من أداء عملها

مراجعة سريعة للتأكد من أن الروبوتات تستطيع العثور على المحتوى المهم وجلبه وقراءته:

• ترتبط الصفحات المهمة من موضع قابل للزحف، فلا توجد صفحات يتيمة؛ فالروابط هي وسيلة الزواحف لاكتشاف عناوين URL.
• أُرسلت خريطة موقع XML حتى لا يعتمد الاكتشاف على الروابط وحدها.
• لا يحظر robots.txt أي شيء تريد فهرسته، ويحظر المساحات منخفضة القيمة التي لا تريد زحفها.
• لا تستخدم robots.txt لمحاولة إزالة صفحة من الفهرس؛ فهذه مهمة noindex مع السماح بالزحف.
• يعيد الخادم استجابات سريعة ومستقرة؛ إذ تخفف الروبوتات سرعتها عند 5xx و429.
• يمكن الوصول إلى المحتوى المعتمد على JavaScript عبر روابط <a href> حقيقية لا عبر تنقل يعتمد على النقر فقط، لأن التصيير خطوة منفصلة لاحقة.
• تحققت من أن الروبوتات في سجلاتك أصلية عبر DNS العكسي ثم الأمامي، ولم تثق بسلسلة وكيل المستخدم وحدها.

النماذج الذهنية

1. الحلقة: اكتشاف ← جلب ← تحليل ← جدولة ← تكرار. تشغل معظم الزواحف التي تتبع الروابط نسخة من هذه الحلقة. تحتفظ جبهة الزحف بعناوين URL المعروفة، ويختار المجدول العنوان التالي، وينزله الجلب، ويستخرج التحليل الروابط التي تعود إلى الجبهة. إذا لم تُزحف صفحة، فاسأل أي خطوة تعطلت: هل اكتُشفت أصلاً ودخلت الجبهة؟ أم خفّض المجدول أولويتها؟

2. خط المعالجة: زحف ← فهرسة ← عرض. كل مرحلة مرشح، و«لا تجتاز كل الصفحات كل مرحلة». عندما يكون أداء الصفحة ضعيفاً، حدد أولاً المرحلة التي تفشل فيها قبل تغيير أي شيء.

3. مجموعة «لا يساوي». افصل بين هذه المفاهيم الأربعة، يختفِ معظم الالتباس:

• الزحف ≠ الفهرسة، فقد تُفهرس صفحة محظورة عبر الروابط.
• الزحف ≠ التصيير، إذ يعمل JavaScript في خطوة منفصلة لاحقة.
• الزحف ≠ الترتيب، فمعدل الزحف ليس إشارة ترتيب.
• Googlebot ≠ برنامجاً واحداً، بل أسطول زواحف تمر طلباته عبر منصة واحدة.

4. قاعدة قرار إزالة صفحة. هل تريد إزالتها من البحث؟ اسمح بالزحف وأضف noindex. هل تريد أن تتجاوز الروبوتات مساحة كاملة ولا يهمك فهرستها؟ احظرها في robots.txt. لا تستخدم الحظر لإزالة صفحة من الفهرس.

ورقة مرجعية للزاحف

ثلاثة أسماء لشيء واحد: crawler = spider = bot (spiderbot)، ويمكن استعمالها بالتبادل.

الحلقة: اكتشاف (الجبهة) ← جلب (تنزيل HTML) ← تحليل (استخراج الروابط والمحتوى) ← جدولة (تحديد التالي) ← تكرار.

خط المعالجة: زحف ← فهرسة ← عرض. الزحف هو البوابة الأولى، و«لا تجتاز كل الصفحات كل مرحلة».

مجموعة «لا يساوي»:

التهذيب: تخفف الزواحف سرعتها ذاتياً؛ واستمرار 5xx أو 429 يعني «أبطئ».

التحكم: يتحكم robots.txt في الزحف لا الفهرسة، فلا تستخدمه لإزالة صفحات من الفهرس. تطيعه الزواحف الموثوقة، بينما لا يفعل كثير من مستخرجي البيانات.

التحقق من الزاحف: استخدم DNS العكسي ثم الأمامي، ولا تعتمد على سلسلة وكيل المستخدم وحدها.

المشهد في 2026: تنفذ روبوتات محركات البحث أكبر حجم من الزحف، وتأتي روبوتات الذكاء الاصطناعي في المركز الثاني مع نمو سريع، ويكتشف Bing وحده عشرات المليارات من عناوين URL الجديدة يومياً.

تحقق من أن الروبوت هو الزاحف الذي يدعي أنه هو

يمكن تزوير سلسلة وكيل المستخدم بسهولة، لذا فإن التحقق الموثوق يعتمد على DNS. بالنسبة إلى Googlebot، تأكد من أن بحث DNS العكسي ثم الأمامي يعود إلى نطاق Google ثم إلى عنوان IP نفسه.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

إذا لم ينته البحث العكسي بنطاق Google، أو لم يعد البحث الأمامي إلى عنوان IP الأصلي، فليس الروبوت Googlebot حقيقياً. ويمكن أيضاً مطابقة عنوان IP مع النطاقات التي تنشرها Google في googlebot.json. ويعمل نمط البحث العكسي ثم الأمامي نفسه للتحقق من الزواحف الموثوقة الأخرى باستخدام أسماء المضيف التي تنشرها جهاتها المشغلة.

أدوات فحص وصول الزواحف ونشاطها

• Robots.txt Tester — اختبر ما إذا كان مسموحاً لزاحف مسمى أن يطلب عنوان URL قبل اعتبار فجوة الزحف مشكلة جدولة.
• Log File Analyzer — اعرف أي الزواحف وصل فعلياً إلى الخادم، وعناوين URL التي طلبها، ورموز الحالة التي تلقاها.
• HTTP Header Checker — افحص الاستجابة التي يتلقاها الزاحف، بما فيها عمليات إعادة التوجيه وتوجيهات الزاحف المرسلة في الترويسات.
• Render Gap Analyzer — قارن HTML الخام بالناتج المصيّر عندما يستطيع الزاحف جلب الصفحة لكن المحتوى المهم يعتمد على التصيير من جهة العميل.

اختبر نفسك: زواحف الويب

موارد تستحق وقتك

كتاباتي ذات الصلة

• ما Googlebot وكيف يعمل؟ — شرح مفصل لأسطول زواحف Google.
• مفهرسة رغم حظرها في robots.txt — لماذا تظل الصفحات المحظورة مفهرسة، فالزحف لا يساوي الفهرسة.
• قصة حظر صفحتين مرتفعتي الترتيب باستخدام Robots.txt — تجربتي المباشرة عن الزحف والترتيب.
• متى ينبغي القلق بشأن ميزانية الزحف؟ — متى تكون كفاءة الزحف مهمة فعلاً.
• تعرف إلى زواحف الويب الجديدة: روبوتات الذكاء الاصطناعي تلحق بروبوتات محركات البحث — المشهد المتغير للزواحف.

محاضراتي

• كيف يعمل البحث على SlideShare — شرحي للزحف والتصيير والفهرسة والترتيب. وينطبق التنبيه الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا فهمي للأنظمة، ولن يكون كاملاً أو دقيقاً بنسبة 100 %»

من آخرين

• Search Off the Record — «ما زاحف الويب فعلاً؟» — Gary Illyes وLizzi Sassman عن ماهية الزاحف ولماذا تعد تسمية Googlebot غير دقيقة.
• Search Off the Record — «زحف أذكى لا أشق» (الحلقة 79) — Gary Illyes وJohn Mueller عن ميزانية الزحف والمجدول وسبب عدم حاجة أكثر من 90 % من المواقع إلى القلق بشأنها.
• مدونة Google Search Central — موارد الزحف لشهر ديسمبر 2024 — سلسلة Google المنتقاة للتعمق في أساسيات الزحف.
• Search Engine Journal — أولويات الزحف لدى Google: أفكار من Gary Illyes — يتناول مهمته المعلنة لخفض الزحف دون التضحية بالجودة.
• Search Engine Land — Google تشرح معنى «ميزانية الزحف» لمشرفي المواقع — التغطية الأصلية لعام 2017 عندما عرّفت Google سعة الزحف والطلب عليه.
• Wikipedia — زاحف الويب — مفيد لمصطلحات علوم الحاسوب الرسمية، مثل جبهة الزحف وسياسة التهذيب، وللتاريخ.
• r/TechSEO — مجتمع لتصحيح مشكلات الزحف والفهرسة.

إحصاءات جديرة بالاستشهاد

• روبوتات الذكاء الاصطناعي تلحق بروبوتات البحث. وفق تحليلي لبيانات Cloudflare Radar، ما زالت زواحف محركات البحث تنفذ أكبر حجم من الزحف، لكن روبوتات الذكاء الاصطناعي في المركز الثاني بوضوح. المصدر
• يكتشف Bing كل يوم عشرات المليارات من عناوين URL الموحّدة الصيغة التي لم يرها من قبل، وهذا يوضح حجم مشكلة الاكتشاف التي ترشحها المحركات بقوة، وفق Fabrice Canel من Microsoft Bing عام 2022. التغطية

سجل التغييرات