طلب الزحف

الخلاصة — لميزانية الزحف جانبان: مدى سرعة جلب محرك البحث لصفحاتك (معدل الزحف)، ومقدار ما يريد زحفه منها (طلب الزحف). طلب الزحف هو جانب «الرغبة». تريد Google زحف الصفحة أكثر حين تكون شائعة بكثرة الروابط، وحين تتغير كثيرًا، وحين ترى أن الموقع يستحق وقتها. لا يوجد زر لرفع الطلب؛ بل تكسبه بالروابط والحداثة الحقيقية، وبألا تدفن صفحاتك الجيدة تحت كومة من عناوين URL الرديئة.

ما طلب الزحف؟

عندما يقول الناس «ميزانية الزحف» فهم يجمعون في الواقع شيئين منفصلين. الأول قدرة خادمك على تحمل الزحف: سرعته وعدد الصفحات التي يمكن جلبها معًا. هذا هو معدل الزحف وله صفحة مستقلة. والثاني مقدار ما يريد محرك البحث زحف موقعك أصلًا. وهذا هو طلب الزحف، موضوع هذه الصفحة.

فكر فيه كالعرض والطلب. معدل الزحف هو العرض: مقدار الزحف الذي يستطيع موقعك تحمله. وطلب الزحف هو الطلب: مقدار الزحف الذي تريد Google تنفيذه. Evidence for this claim Google describes crawl demand as one of the two main elements of crawl budget, alongside crawl capacity limit. Scope: Google Search crawling. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

ما الذي يجعل Google تريد زحف صفحة؟

تشير Google إلى مجموعة من العوامل المهمة، لا إلى قائمة حصرية واحدة. وأكثر ثلاثة عوامل تشرحها تفصيلًا هي:

• الشعبية. تُزحف الصفحات التي تشير إليها روابط أكثر بوتيرة أعلى حتى تبقي Google نسختها حديثة.
• التقادم / الحداثة. إذا تغيرت الصفحة كثيرًا أرادت Google فحصها أكثر؛ وإذا لم تتغير تعلمت فحصها أقل.
• عدد عناوين URL التي تعتقد Google أن لديك. إذا امتلأ موقعك بعناوين رديئة أو مكررة أو منخفضة القيمة، أهدرت Google زحفها عليها بدل صفحاتك الحقيقية. وهذا أكثر عامل يمكنك التحكم فيه. Evidence for this claim Google's crawl-demand guidance discusses perceived inventory, popularity, and staleness. Scope: These inputs influence crawling but do not provide a user-controlled demand setting. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

وتذكر Google إلى جانب ذلك عوامل على مستوى الموقع: حجمه، وتواتر تحديثه، وجودة الصفحات، ومقارنته بمواقع تغطي الموضوع نفسه. فلا تعامل «الشعبية والتقادم والمخزون المتصور» كمعادلة مكتملة؛ إنها أكبر الروافع وأكثرها قابلية للتنفيذ، وليست القائمة كلها.

وهناك عامل مؤقت أيضًا: إذا نقلت موقعك إلى نطاق جديد، وجب على Google إعادة زحف كل شيء ومعالجته تحت عناوين URL الجديدة، فيرتفع الطلب فترة من الزمن.

لماذا لا يمكنك ببساطة «زيادة طلب الزحف»؟

لا يوجد قرص لضبطه، كما لا يوجد زر يجعل Google تزحف أسرع. ولن يفيد نشر عشرة مقالات يوميًا إذا لم يربط بها أحد ولم تكن مفيدة فعلًا. وما ينجح فعلًا يتطلب وقتًا وجهدًا حقيقيًا: اكسب الروابط، وحافظ على حداثة حقيقية للمحتوى، ونظف عناوين URL الرديئة حتى يصل زحف Google إلى الصفحات المهمة.

وهنا المفاجأة: زيادة الزحف ليست الهدف أصلًا. كثرة الزحف لا ترفع ترتيبك. ما تريده ليس طلبًا أكبر، بل توجيه الطلب الموجود إلى الصفحات الصحيحة.

هل تريد النسخة الأعمق: كيف يتفاعل الطلب مع سعة خادمك، وكيف تعود إشارات الجودة إلى مجدول الزحف، وكيف تميز مشكلة الطلب من مشكلة السعة؟ انتقل إلى تبويب Advanced.

الخلاصة — طلب الزحف هو جانب الرغبة من ميزانية الزحف، ومعدل الزحف/السعة هو جانب القدرة. تسمي Google الشعبية (الروابط/PageRank) والتقادم (وتيرة تغير الصفحة) والمخزون المتصور (عدد عناوين URL التي تظنها موجودة، بما فيها الرديء — «العامل الذي يمكنك التحكم فيه إيجابيًا أكثر من غيره») عوامل عامة مهمة، لا معادلة مغلقة؛ كما تدخل في الحسابات أحجام المواقع وتواتر التحديث وجودة الصفحات والملاءمة النسبية. وتزيد عمليات نقل المواقع الطلب مؤقتًا. وخلاصتي التي تربط الصورة: الطلب يرتب أولوية عناوين URL، وسعة حمل المضيف تحدد مدى تقدم Googlebot في القائمة؛ لا توثق Google ذلك كخوارزمية حرفية، لكنه نموذج يطابق الأدلة. الخادم السليم لا يصنع الطلب، وقد تقيد السعة طلبًا مرتفعًا. لا تضبط الطلب مباشرة؛ بل تحرك مدخلاته، ويرفعه المجدول حين تتحسن إشارات الجودة القادمة من الفهرسة. وفي الوقت نفسه تسعى Google إلى زحف أقل مع توجيه أدق؛ فالهدف هو ترتيب الأولويات الصحيح لا الحجم. ومعظم المواقع لا تحتاج إلى إدارة ذلك.

طلب الزحف هو «الرغبة»، ومعدل الزحف هو «القدرة»

توضح Google أن لميزانية الزحف نصفين: مقدار الوقت والموارد التي تخصصها لزحف موقع “is determined by two main elements: crawl capacity limit and crawl demand.” (ترجمة) «تحدده عنصران رئيسيان: حد سعة الزحف وطلب الزحف.» وكما أصوغها في دليلي لميزانية الزحف في Ahrefs، فإنها “made up crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” (ترجمة) «تتكون من طلب الزحف، أي عدد الصفحات التي يريد محرك البحث زحفها في موقعك، ومعدل الزحف، أي السرعة التي يستطيع بها ذلك.» فالطلب هو الرغبة، والمعدل هو القدرة. Evidence for this claim Google describes crawl demand as one of the two main elements of crawl budget, alongside crawl capacity limit. Scope: Google Search crawling. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

هذه الصفحة عن الرغبة فقط. أما جانب القدرة — حد سعة الزحف، وشريط GSC الذي أزيل في يناير 2024، وكيف تبطئ استجابات 5xx/429 Googlebot، وشبكة Crawl Control اليدوية في Bing — فموجود في صفحة معدل الزحف. لن أكرر تفاصيله هنا؛ وسأربط إليه حين يتفاعل الجانبان.

مدخلات الطلب الثلاثة

تصف إرشادات Google الحالية المخزون المتصور والشعبية والتقادم بأنها عوامل عامة مهمة تحرك مقدار ما تريد زحفه، ولا تعرضها كصيغة حصرية مغلقة. وتذكر أيضًا حجم الموقع وتواتر تحديثه وجودة الصفحات ومقارنته بالمواقع المشابهة. العوامل الثلاثة التالية هي ما تشرحه Google بأكبر عمق وما يمكنك العمل عليه مباشرة. Evidence for this claim Google's crawl-demand guidance discusses perceived inventory, popularity, and staleness. Scope: These inputs influence crawling but do not provide a user-controlled demand setting. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

الشعبية

“URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (ترجمة) «تميل عناوين URL الأكثر شعبية على الإنترنت إلى أن تُزحف بوتيرة أعلى لإبقائها أحدث في أنظمتنا.» تشير الروابط الأكثر وPageRank الأعلى إلى طلب على العنوان؛ لذلك تُزحف الصفحة الرئيسية باستمرار بينما تكاد الصفحة العميقة غير المرتبط بها ألا تُزحف. وكما قلت في دليلي: “Popular pages, or those with more links and PageRank, will generally receive priority over other pages.” (ترجمة) «تحظى الصفحات الشائعة، أو ذات الروابط وPageRank الأكثر، بالأولوية عادة على غيرها.» وتدخل الروابط الداخلية أيضًا؛ فالصفحة اليتيمة التي لا يرتبط بها شيء لا يكاد يعمل لصالحها أي طلب.

التقادم

“Our systems want to recrawl documents frequently enough to pick up any changes.” (ترجمة) «تريد أنظمتنا إعادة زحف المستندات بوتيرة تكفي لالتقاط أي تغييرات.» تتعلم Google إيقاع كل صفحة: الصفحة دائمة التغير تكسب إعادة زحف متكررة، والثابتة تُفحص أقل فأقل. وفي دليلي وصفت التراجع التدريجي: “if they crawl a page and see no changes after a day, they may wait three days before crawling again, ten days the next time, 30 days, 100 days, etc.” (ترجمة) «إذا زحفوا صفحة ولم يروا تغييرًا بعد يوم، فقد ينتظرون ثلاثة أيام قبل الزحف التالي، ثم عشرة أيام، ثم 30 يومًا، ثم 100 يوم، وهكذا.» هذا الإيقاع لكل عنوان URL هو سؤال تواتر الزحف، لكن القوة الكامنة وراءه هي الطلب، وبالأخص التقادم.

المخزون المتصور (أكثر ما يمكنك التحكم فيه)

هذه هي الرافعة الأبرز. تقول Google: “Without guidance from you, Google tries to crawl all or most of the URLs that it knows about on your site. If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (ترجمة) «من دون إرشاد منك، تحاول Google زحف كل عناوين URL التي تعرفها عن موقعك أو معظمها. وإذا كان كثير منها مكررًا أو لا تريد زحفه لسبب آخر، فهذا يهدر كثيرًا من وقت زحف Google في موقعك. وهذا العامل هو ما يمكنك التحكم فيه إيجابيًا أكثر من غيره.»

الدقة هنا هي تأثير ذلك في الطلب لا السعة فقط. من السهل اعتبار العناوين الرديئة «هدرًا لميزانية الزحف»، أي إنفاق الجلب على النسخ بدل المحتوى الجديد. هذا صحيح، لكن له أثر في جانب الطلب أيضًا: الموقع الذي يغلب على مخزونه القابل للاكتشاف نسخ منخفضة القيمة وانتشار المعاملات يبدو لـGoogle أقل استحقاقًا للزحف. تقليص المخزون المتصور لا يحرر السعة فقط؛ بل يركز الطلب مع الوقت على العناوين المستحقة. والتنقل متعدد الأوجه ومعرّفات الجلسات ومساحات التقويم اللانهائية وغيرها من مصائد الزحف هي مضخمات المخزون وكوابح الطلب الكلاسيكية.

نقل المواقع والارتفاعات الأخرى في الطلب

لا يتعلق أحد محركات الطلب بعنوان واحد: “Additionally, site-wide events like site moves may trigger an increase in crawl demand in order to reprocess the content under the new URLs.” (ترجمة) «إضافة إلى ذلك، قد تؤدي أحداث على مستوى الموقع، مثل نقل الموقع، إلى زيادة طلب الزحف لإعادة معالجة المحتوى تحت عناوين URL الجديدة.» فإذا نقلت نطاقًا أو أعدت بناء المنصة ولاحظت أن Googlebot يزورك بكثافة أكبر لأسابيع، فهذا متوقع؛ إذ يجب إعادة جلب كل شيء ومعالجته تحت العناوين الجديدة. إنها قفزة مؤقتة لا خط أساس جديد، وارتفاع في الطلب تغفله معظم أدلة المنافسين رغم وروده حرفيًا في وثائق Google. Evidence for this claim Google says site-wide events such as site moves may temporarily increase crawl demand so content can be reprocessed under new URLs. Scope: large or rapidly changing websites Confidence: high · Verified: 2026-07-16 Optimize your crawl budget

تفاعل الطلب مع حمل المضيف: ترتيب القائمة مقابل بوابة السعة

إليك نموذجًا ذهنيًا يوضح الموضوع كله، وأصرح بأنه خلاصتي أنا لا خوارزمية حرفية توثقها Google. يستند إلى سؤال وجواب مع Gary Illyes نقلته Search Engine Roundtable: حمل المضيف “sets a bucket of URLs in importance order and GoogleBot will crawl in that order based on the schedule the host load decided. If Google thinks your server can handle it, it will crawl the whole bucket, if not, it will stop.” (ترجمة) «يضع مجموعة من عناوين URL مرتبة حسب الأهمية، ويزحف GoogleBot وفق ذلك الترتيب وبحسب الجدول الذي حدده حمل المضيف. إذا رأت Google أن خادمك يتحمل، زحفت المجموعة كلها؛ وإلا توقفت.» ووفق السؤال نفسه يتتبع حمل المضيف أهمية الصفحات، لا العدد الخام للعناوين ولا عدد ما تريد زحفه. تحجب الصفحة الجلب الآلي، لذلك لم أعد تأكيد الصياغة مباشرة؛ فتعامل معها كإعادة صياغة ثانوية مؤيدة جيدًا، لا اقتباسًا أوليًا حرفيًا.

اقرأ ذلك بعناية فتظهر العلاقة؛ ومرة أخرى هذه طريقتي في وصل الأجزاء، وليست آلية شرحتها Google من البداية إلى النهاية:

• الطلب يحدد الترتيب. «مجموعة عناوين URL المرتبة حسب الأهمية» هي طلب الزحف: الشعبية والتقادم يحددان العناوين في مقدمة القائمة.
• السعة تحدد مدى التقدم. يقرر حمل المضيف/معدل الزحف عمق تقدم Googlebot في المجموعة خلال يوم معين. “If your server can handle it, it crawls the whole bucket; if not, it stops.” (ترجمة) «إذا كان خادمك يتحمل، يزحف المجموعة كلها؛ وإلا يتوقف.»

إذًا لا يُضرب العاملان معًا فحسب؛ بل يؤديان دورين مختلفين. الخادم السليم والسريع لا يصنع الطلب، وإنما يرفع سقف الطلب الذي يمكن تحقيقه، وقد تقيد السعة طلبًا مرتفعًا لأن خادمًا بطيئًا أو كثير الأخطاء يوقف Googlebot في منتصف القائمة. لهذا يشيع الإحباط: «اشتريت خادمًا أسرع وما زالت Google لا تزحف صفحاتي الجديدة»؛ فلم تكن السعة هي القيد أصلًا، بل الطلب.

لا يمكنك ضبط الطلب مباشرة، لكن المجدول يصغي

الإجابة المختصرة: لا تضبط الطلب مباشرة. تكسبه بصورة غير مباشرة عبر روابط حقيقية وتحسينات جودة حقيقية تظهر في إشارات الفهرسة؛ ولا شيء آخر يحركه.

لا يوجد زر «ازحف أكثر» لرفع الطلب أو المعدل مباشرة. لكن الطلب ديناميكي، وقد صرحت Google بكيفية تحركه. قال Gary Illyes: “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (ترجمة) «إذا أردت زيادة مقدار ما نزحفه، فعليك بطريقة ما إقناع البحث بأن موادك تستحق الجلب، وهذا أساسًا ما يصغي إليه المجدول.» وحلقة التغذية شبه فورية: “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (ترجمة) «الجدولة شديدة الديناميكية. وما إن تصلنا إشارات من فهرسة البحث بأن جودة المحتوى ارتفعت عبر هذا العدد من عناوين URL، نبدأ رفع الطلب.» والعكس أيضًا: “If search demand goes down, then that also correlates to the crawl limit going down.” (ترجمة) «إذا انخفض طلب البحث، ارتبط ذلك أيضًا بانخفاض حد الزحف.» أعدت فحص الأسطر الثلاثة في تغطية Search Engine Journal وتطابقت حرفيًا، لكنني لم أعثر على صوت/نص بودكاست Google الأصلي؛ لذا هي اقتباسات ثانوية مؤيدة جيدًا.

يعيد ذلك صياغة سؤال «كيف أزيد طلب الزحف؟» بعيدًا عن الحيل. لن تقنع طوابع lastmod المزيفة أو إشعارات خريطة الموقع أو حجم النشر المجدول. ما ينجح شيئان صعبان: شعبية حقيقية عبر الروابط، وتحسينات جودة حقيقية تظهر في إشارات الفهرسة وتغذي قرارات المجدول من جديد. وما سواهما استعراض.

تحاول Google أن تزحف أقل، لا أكثر

أحدث زاوية هنا، وتغفلها الأدلة القديمة: هدف Google المعلن تقليل إجمالي الزحف، لا زيادته. كتب Illyes في LinkedIn في أبريل 2024: “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire.” (ترجمة) «مهمتي هذا العام معرفة كيف نزحف أقل، وننقل بايتات أقل عبر الشبكة.» ورفض فكرة أن Google خفضت الزحف بشدة: “we’re crawling roughly as much as before, however scheduling got more intelligent” (ترجمة) «نزحف تقريبًا بالمقدار السابق، لكن الجدولة أصبحت أذكى.» وصاغ المكسب المشترك: “Decreasing crawling without sacrificing crawl-quality would benefit everyone.” (ترجمة) «تقليل الزحف دون التضحية بجودته سيفيد الجميع.» والآليات هي تخزين مؤقت أفضل ومشاركته بين وكلاء المستخدم ونقل بايتات أقل، لا «ازحف موقعي أكثر».

الخلاصة: لم يكن طلب الزحف شيئًا ينبغي تعظيمه. تسعى Google إلى زحف إجمالي أقل بجودة مساوية أو أفضل، وتوجه الطلب إلى العناوين الأرجح استحقاقًا. هدفك ليس طلبًا أكبر، بل ترتيبًا صحيحًا للطلب الذي كسبته.

هل لديك أصلًا مشكلة في الطلب؟

معظم المواقع لا تعانيها ولا ينبغي أن تنفق عليها دقيقة. تقول Google: “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يكن لموقعك عدد كبير من الصفحات سريعة التغير، أو كانت الصفحات تُزحف يوم نشرها، فلا تحتاج إلى قراءة هذا الدليل.» وكان John Mueller صريحًا في الحجم أيضًا: وفق تغطية Search Engine Roundtable لتغريدته، لا تكفي 100k صفحة عادة للتأثير في ميزانية الزحف، إذ تعادل أقل كثيرًا من عملية زحف واحدة في الدقيقة خلال ثلاثة أشهر.

إذا كان موقعك كبيرًا بما يكفي، فهذا تشخيص يفرق الطلب من السعة مع تنبيه: ينتج فرضية للاختبار لا تشخيصًا. افتح تقرير Crawl Stats في GSC وسجلات الخادم. إذا كانت حالة المضيف وزمن الاستجابة سليمين لكن مجموعة عناوين نادرًا ما تُزحف وعالقة في «تم الاكتشاف — غير مفهرسة حاليًا»، فهذا دليل يشير إلى الطلب لا إثبات. يعرض Crawl Stats نشاط الزحف من جانب السعة، لا درجة طلب؛ فلا توجد «درجة طلب زحف» عامة لكل موقع، وأنت تستدل من النشاط وحالة الفهرسة ولا تقرأها من لوحة.

قبل اعتماد «مشكلة طلب»، استبعد البدائل التي تُظهر الأعراض نفسها: ربما لم تكتشف Google العناوين، أو أخفى التصيير محتوى يحتاجه Googlebot، أو أشار تحديد العنوان الأساسي canonicalization إلى مكان آخر، أو جعلت مشكلات الجودة الصفحة تُزحف ثم تُستبعد، أو اختارت Google عدم الفهرسة حتى مع سلامة الزحف والجودة. بعد فحصها فقط يصبح «الطلب المنخفض» أفضل فرضية مدعومة، لا سببًا مؤكدًا. لن تصلح العتاد الأسرع مشكلة طلب حقيقية؛ أصلح المدخلات: روابط إلى الصفحات، وأسباب حقيقية لإعادة زحفها، ومخزون رديء أقل يغرقها.

لبيانات زحف صحيحة لكل عنوان URL، تحليل السجلات هو الجواب. وسأشير في تبويب Tools إلى أداة حالية أعرفها مباشرة.

طلب الزحف مقابل المعدل والميزانية والتواتر

ميّز بوضوح بين المصطلحات المتقاربة:

• طلب الزحف — مقدار ما تريد Google زحفه (الشعبية + التقادم + المخزون المتصور). هذه الصفحة.
• معدل الزحف — مدى سرعة الزحف الممكنة (السعة/حمل المضيف). له صفحته.
• ميزانية الزحف — الاثنان معًا: “the number of URLs Googlebot can and wants to crawl.” (ترجمة) «عدد عناوين URL التي يستطيع Googlebot زحفها ويريد زحفها.»
• تواتر الزحف — عدد مرات إعادة زحف عنوان معين، وهو ناتج للطلب، ولا سيما التقادم.

لا تستخدم Bing مصطلح «طلب الزحف»، بل تعيد صياغته كـكفاءة الزحف؛ ويعرفها Fabrice Canel بأنها “how often we crawl and discover new and fresh content per page crawled,” (ترجمة) «عدد مرات زحفنا واكتشافنا محتوى جديدًا وحديثًا لكل صفحة تُزحف.» وتبدأ فلسفة Bing بتقليل المخزون، وهو نظير جانب الطلب في المخزون المتصور. وIndexNow طريقة Bing للإشارة إلى أحداث التغيير بدل انتظار استنتاج المجدول للتقادم؛ لكن Google لا تستخدم IndexNow، لذلك لن يحرك طلبها. Evidence for this claim Google's crawl-demand guidance discusses perceived inventory, popularity, and staleness. Scope: These inputs influence crawling but do not provide a user-controlled demand setting. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

ملخص الذكاء الاصطناعي

خلاصة مركزة من النسخة المتقدمة:

• طلب الزحف هو جانب «الرغبة» من الميزانية؛ والمعدل/السعة جانب «القدرة».
• العوامل المهمة ليست معادلة مغلقة: الشعبية والتقادم والمخزون المتصور، إضافة إلى الحجم والتحديث والجودة والملاءمة النسبية.
• نقل الموقع يرفع الطلب مؤقتًا لإعادة المعالجة.
• نموذج الطلب والسعة، وهو خلاصتي: الطلب يرتب الأولوية، والسعة تحدد عمق تقدم Googlebot؛ الخادم السريع لا يصنع الطلب.
• لا تضبط الطلب مباشرة. يرفعه المجدول حين تتحسن إشارات جودة الفهرسة؛ ولا تفعل ذلك lastmod المزيفة أو الإشعارات أو كثرة النشر.
• تحاول Google الزحف أقل لا أكثر مع توجيه أدق؛ فالهدف ترتيب الأولويات الصحيح.
• التشخيص: مضيف سليم + زحف منخفض + «تم الاكتشاف — غير مفهرسة حاليًا» فرضية طلب لا إثبات؛ استبعد الاكتشاف والعرض وتحديد العنوان الأساسي واختيار الفهرسة أولًا. ولا توجد درجة طلب عامة.
• تعيد Bing صياغته ككفاءة الزحف، وتشير IndexNow إلى التغيير لها لا لـGoogle. ومعظم المواقع لا تحتاج إلى إدارته.

الوثائق الرسمية

وثائق المصدر الأساسي من محركات البحث.

Google

• تحسين ميزانية الزحف — المصدر الذي يعرف الطلب ومدخلاته الثلاثة وارتفاعه عند نقل الموقع.
• إدارة ميزانية الزحف — تقسيم السعة والطلب وآليات السعة.
• ما معنى ميزانية الزحف لـGooglebot (2017) — تعريف Gary Illyes للميزانية بما يستطيع Googlebot ويريد زحفه وفئات العناوين منخفضة القيمة.
• خرافات وحقائق عن الزحف — يؤكد أن المعدل ليس إشارة ترتيب وأن سلامة الخادم تحدد سقف السعة.
• سلسلة الزحف في ديسمبر (2024) — Googlebot والتخزين المؤقت والتنقل متعدد الأوجه وكفاءة الزحف الأقل.

Bing / Microsoft

• bingbot Series: Maximizing Crawl Efficiency — صياغة Bing لـ«كفاءة الزحف» كنظير لجانب الطلب.
• bingbot Series: Optimizing Crawl Frequency — رأي Bing في إيقاع إعادة الزحف المدفوع بتغير المحتوى.
• IndexNow / indexnow.org — الإشارة إلى العناوين المتغيرة لـBing وغيرها، لا Google.

اقتباسات من المصدر

تصريحات مسجلة من Google وBing. يقفز كل رابط عميق إلى المقطع المقتبس في صفحة المصدر.

Google — تعريف الطلب ومدخلاته

• “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (ترجمة) «يسمى مقدار الوقت والموارد التي تخصصها Google لزحف موقع عادة ميزانية زحف الموقع، ويحدده عنصران رئيسيان: حد سعة الزحف وطلب الزحف.» — دليل مالكي المواقع الكبيرة لإدارة ميزانية الزحف. انتقل إلى الاقتباس
• “Each crawler has its own ‘demand’ when it comes to crawling the web.” (ترجمة) «لكل زاحف «طلبه» الخاص عند زحف الويب.» انتقل إلى الاقتباس
• “URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (ترجمة) «تميل عناوين URL الأكثر شعبية إلى أن تُزحف أكثر لإبقائها أحدث في أنظمتنا.» (الشعبية) انتقل إلى الاقتباس
• “Our systems want to recrawl documents frequently enough to pick up any changes.” (ترجمة) «تريد أنظمتنا إعادة زحف المستندات بوتيرة تكفي لالتقاط أي تغييرات.» (التقادم) انتقل إلى الاقتباس

Google — المخزون المتصور ونقل المواقع

• “If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (ترجمة) «إذا كان كثير من هذه العناوين مكررًا أو لا تريد زحفه، فهذا يهدر وقتًا كبيرًا من زحف Google في موقعك. وهذا أكثر عامل يمكنك التحكم فيه إيجابيًا.» انتقل إلى الاقتباس
• “Additionally, site-wide events like site moves may trigger an increase in crawl demand in order to reprocess the content under the new URLs.” (ترجمة) «قد تؤدي أحداث على مستوى الموقع، مثل نقله، إلى زيادة طلب الزحف لإعادة معالجة المحتوى تحت العناوين الجديدة.» انتقل إلى الاقتباس
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يكن لموقعك عدد كبير من الصفحات سريعة التغير، أو بدت صفحاتك وكأنها تُزحف يوم نشرها، فلا تحتاج إلى هذا الدليل.» انتقل إلى الاقتباس

Gary Illyes، Google — كيف يتحرك الطلب (عبر تغطية Search Engine Journal لظهوره في بودكاست)

• “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (ترجمة) «إذا أردت زيادة مقدار ما نزحفه، فعليك إقناع البحث بأن موادك تستحق الجلب، وهذا ما يصغي إليه المجدول.» اقرأ التغطية
• “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (ترجمة) «الجدولة ديناميكية جدًا؛ وما إن تصل إشارات من الفهرسة بتحسن الجودة عبر عناوين URL، نبدأ رفع الطلب.» اقرأ التغطية
• “If search demand goes down, then that also correlates to the crawl limit going down.” (ترجمة) «إذا انخفض طلب البحث، ارتبط ذلك بانخفاض حد الزحف.» اقرأ التغطية

Gary Illyes، Google — مهمة «الزحف الأقل» (LinkedIn، أبريل 2024 — مصدر أولي مؤكد حرفيًا)

• “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire.” (ترجمة) «مهمتي هذا العام معرفة كيف نزحف أقل وننقل بايتات أقل عبر الشبكة.» اقرأ المنشور
• “we’re crawling roughly as much as before, however scheduling got more intelligent” (ترجمة) «نزحف تقريبًا بالمقدار السابق، لكن الجدولة أصبحت أذكى.» و*“Decreasing crawling without sacrificing crawl-quality would benefit everyone.”* (ترجمة) «تقليل الزحف دون التضحية بجودته سيفيد الجميع.» اقرأ المنشور

Bing / Microsoft — كفاءة الزحف (نظير جانب الطلب)

• “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (ترجمة) «كفاءة الزحف هي عدد مرات زحفنا واكتشافنا محتوى جديدًا وحديثًا لكل صفحة تُزحف.» — Fabrice Canel. انتقل إلى الاقتباس

هل هي مشكلة طلب زحف، وهل ينبغي أن تهتم؟

اتبع الشجرة من أعلى. تخرج معظم المواقع مبكرًا بنتيجة «اتركها».

خرافات طلب الزحف وأخطاؤه

الخلط الذي يرسل الناس إلى المسار الخطأ.

«طلب الزحف وميزانية الزحف شيء واحد.» لماذا هو خطأ: الطلب واحد من مكونين؛ الميزانية هي السعة والطلب معًا: «عدد عناوين URL التي يستطيع Googlebot زحفها ويريد زحفها». افعل بدلًا منه: اضبط المفردات؛ الميزانية ناتج، والطلب والسعة مدخلان. مشكلة الميزانية هي طلب أو سعة أو كلاهما.

«الخادم الأسرع يزيد طلب الزحف.» لماذا هو خطأ: السرعة ترفع سقف السعة فقط ولا تجعل Google تريد زحفًا أكثر. الطلب تحدده الشعبية والتقادم والمخزون المتصور، ولا يغير العتاد أيًا منها. افعل بدلًا منه: إذا كان الخادم سليمًا والصفحات لا تُزحف، فاعمل على الروابط والحداثة وتقليل المخزون الرديء.

«النشر بوتيرة أعلى يزيد الطلب.» لماذا هو خطأ: الحجم بلا أهمية أو تغيير حقيقي لا يقنع المجدول؛ عشرة مقالات ضعيفة المحتوى يوميًا بلا روابط لا تحرك شيئًا. افعل بدلًا منه: انشر ما يكسب روابط ويتغير أو يتحسن فعلًا؛ فهذا يغذي إشارات الجودة.

«حجب العناوين الرديئة في robots.txt يعيد توجيه الطلب فورًا إلى الصفحات الجيدة.» لماذا هو خطأ: تقليص المخزون يساعد الطلب على التركيز مع إعادة تقييم Google، لكنه ليس إعادة توزيع فورية. افعل بدلًا منه: قلل المخزون للمنفعة طويلة الأجل واصبر؛ إنه اتجاه لا مفتاح.

«توجد درجة طلب زحف يمكنني فحصها في Search Console.» لماذا هو خطأ: لا توجد درجة عامة. يعرض Crawl Stats النشاط من جانب السعة، لا مقياس الطلب. افعل بدلًا منه: استدل من النشاط وحالة الفهرسة؛ مضيف سليم + حجم منخفض + «تم الاكتشاف — غير مفهرسة حاليًا» إشارة طلب، والسجلات حقيقة كل عنوان.

«IndexNow أو إشعارات خريطة الموقع ترفع طلب Google.» لماذا هو خطأ: لا تستخدم Google IndexNow وتتجاهل changefreq/priority؛ والإشعار لا يجعلها تريد زحفك أكثر. افعل بدلًا منه: استخدم IndexNow لـBing والمحركات المشاركة؛ ولـGoogle تساعد lastmod الدقيقة في الجدولة، بينما تبقى الروابط والحداثة والمخزون روافع الطلب.

«المزيد من الزحف أفضل دائمًا لي ولـGoogle.» لماذا هو خطأ: لا يرفع الزحف الترتيب، وتسعى Google نفسها إلى “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire” (ترجمة) «معرفة كيف تزحف أقل وتنقل بايتات أقل عبر الشبكة.» مع توجيه أدق. افعل بدلًا منه: استهدف ترتيب الأولويات الصحيح لا الحجم الخام؛ المطلوب أن يصل الطلب إلى العناوين الصحيحة.

دليل تشغيل: «Google لا تزحف صفحاتي المهمة وخادمي سليم»

مسار خطي لمالك موقع كبير يشتبه في مشكلة طلب. توقف بمجرد أن تحل خطوة المشكلة.

1. تأكد أن موقعك كبير بما يكفي. إذا كانت الصفحات تُزحف يوم نشرها أو كان الموقع عادي الحجم، فتوقف. هذا الدليل لمواقع تزيد على مليون صفحة أو تتغير سريعًا أو لديها كومة كبيرة من «تم الاكتشاف — غير مفهرسة حاليًا».

2. استبعد السعة أولًا. افتح GSC Crawl Stats وافحص حالة المضيف ومتوسط الاستجابة خلال 90 يومًا. ارتفاعات 5xx/المهلة أو تصاعد الاستجابة تعني مشكلة سعة؛ أصلح الخادم ثم أعد الفحص. وإذا كان سليمًا فتابع.

3. استخرج حقيقة كل عنوان من السجلات. احصل على سجلات الخادم للعناوين المتأثرة. تأكد أن زيارات Googlebot الحقيقية نادرة بينما تستهلك العناوين الرديئة/ذات المعاملات الزيارات. الندرة مع خادم سليم فرضية طلب لا سبب مؤكد؛ استبعد عدم الاكتشاف وفشل العرض وتحديد العنوان الأساسي ومشكلات الجودة/التكرار واختيار Google للفهرسة. استخدم URL Inspection وعرض HTML المعروض لكل صفحة.

4. افحص تضخم المخزون المتصور. احصِ تركيبات التنقل متعدد الأوجه ومعرّفات الجلسات ومعاملات الفرز/التصفية ومساحات التقويم اللانهائية والنسخ. إذا طغت على صفحاتك الحقيقية، فالأرجح أن الطلب موزع على الرديء.

5. اقطع المخزون الرديء. قلل مساحة العناوين منخفضة القيمة من المصدر: معالجة المعاملات، وحجب المساحات اللانهائية في robots.txt، وإصلاح المصائد، وتوحيد النسخ بـcanonical. توقع تركيزًا مع الوقت لا إعادة توزيع فورية.

6. اعمل على الشعبية. أضف روابط داخلية من صفحات قوية إلى الصفحات قليلة الزحف، واقضِ على اليتيمة، واكسب روابط خارجية. الشعبية محرك رئيسي للطلب.

7. اعمل على الجودة/الحداثة. حسّن الصفحات وحدثها فعلًا حتى تخبر إشارات الفهرسة المجدول بأن «يرفع الطلب». تساعد lastmod الصادقة؛ ولا تفعل الحداثة المزيفة.

8. امنحه وقتًا ثم أعد القياس. افحص Crawl Stats والسجلات بعد إعادة التقييم. التحولات تدريجية. إذا بدأ الزحف والفهرسة فقد انتهيت؛ وإلا فاسأل بصدق هل تستحق الصفحات الزحف، فالصفحات ضعيفة المحتوى لا ينبغي إجبارها على الفهرس.

قائمة فحص طلب الزحف

التشخيص: طلب أم سعة؟

• تأكدت أن الموقع كبير/سريع التغير بما يكفي.
• حالة المضيف سليمة وزمن الاستجابة ثابت ولا ارتفاعات 5xx/مهلة.
• راجعت السجلات لزيارات Googlebot الحقيقية لكل عنوان.
• عرفت النمط: خادم سليم + زحف منخفض على صفحات جيدة + «تم الاكتشاف — غير مفهرسة حاليًا» = فرضية طلب لا إثباتًا.
• استبعدت الاكتشاف والعرض وتحديد العنوان الأساسي والجودة/التكرار واختيار الفهرسة.

اعمل على مدخلات الطلب (لا يوجد ضبط مباشر)

• الشعبية: ترتبط الصفحات المهمة داخليًا وليست يتيمة، ويُبنى لها ارتباط خارجي.
• التقادم/الحداثة: التحديثات حقيقية وlastmod دقيقة.
• المخزون المتصور: ضُبط التنقل متعدد الأوجه والمعاملات والجلسات والمساحات اللانهائية، وأُصلحت المصائد ووُحدت النسخ.

فحوص الواقع

• لا أتوقع أن يرفع الخادم الأسرع الطلب؛ فهو يرفع سقف السعة فقط.
• لا أتوقع أن يعيد robots.txt توجيه الطلب فورًا؛ فالتركيز يحدث مع الوقت.
• لا أعتمد على IndexNow/إشعارات الخرائط لطلب Google؛ فهي تتجاهل IndexNow وchangefreq/priority.
• أتعامل مع ارتفاع الزحف بعد النقل كأمر متوقع مؤقتًا.
• أتذكر أن الهدف ترتيب الأولويات الصحيح، وأن حجم الزحف ليس عامل ترتيب.

طلب الزحف — ورقة غش

جانبا ميزانية الزحف

مدخلات الطلب الثلاثة الأكثر قابلية للتنفيذ (وتذكر Google معها حجم الموقع وتواتر التحديث وجودة الصفحة والملاءمة النسبية كعوامل عامة، لا معادلة مغلقة)

حقائق سريعة

• ميزانية الزحف هي “the number of URLs Googlebot can and wants to crawl.” (ترجمة) «عدد عناوين URL التي يستطيع Googlebot زحفها ويريد زحفها.»
• المخزون المتصور هو “the factor you can positively control the most.” (ترجمة) «العامل الذي يمكنك التحكم فيه إيجابيًا أكثر من غيره.»
• يرفع نقل الموقع الطلب مؤقتًا.
• الطلب يرتب الأولوية والسعة تحدد العمق؛ الخادم السليم لا يصنع الطلب.
• يرفع المجدول الطلب حين تتحسن إشارات جودة الفهرسة.
• هدف Google الزحف أقل إجمالًا لا أكثر، وفق Illyes في 2024، وحجمه ليس عامل ترتيب.
• لا توجد درجة طلب عامة؛ يعرض Crawl Stats النشاط من جانب السعة.
• تسميه Bing كفاءة الزحف، وتشير IndexNow إلى Bing لا Google.

أدوات تشخيص طلب الزحف

لا يوجد «مقياس طلب»، لذلك يعني التشخيص قراءة نشاط الزحف ومقارنته بما تعرفه عن الصفحات.

• Google Search Console — Crawl Stats — الطلبات وحالة المضيف والاستجابة والتقسيمات؛ اقرأه كعرض للسعة، فسلامة المضيف مع انخفاض زحف الصفحات الجيدة إشارة طلب.
• GSC — تقرير فهرسة الصفحات — «تم الاكتشاف — غير مفهرسة حاليًا» أثر شائع لنقص الطلب.
• URL Inspection — آخر زحف وحالة الفهرسة لعنوان بعينه.
• تحليل سجلات الخادم — الحقيقة لزيارات Googlebot لكل عنوان والهدر على المخزون الرديء.
• Ahrefs Bot Analytics — كما وصفته عند الإطلاق: “Have y’all checked out Bot Analytics in Ahrefs yet? We released a new tool that shows how bots crawl your website. Bot Analytics collects data server-side via Cloudflare integration.” (ترجمة) «هل جربتم Bot Analytics في Ahrefs؟ أطلقنا أداة تعرض كيف تزحف الروبوتات موقعك، وتجمع البيانات على الخادم عبر تكامل Cloudflare.» تعرض الروبوتات والصفحات عبر 12 فئة. وتصف Ahrefs المشكلة: “uncontrolled bot traffic wastes crawl budget — bots crawling 404 pages or low-value URLs aren’t crawling the pages you need indexed,” (ترجمة) «حركة الروبوتات غير المضبوطة تهدر ميزانية الزحف؛ فالروبوتات التي تزحف صفحات 404 أو منخفضة القيمة لا تزحف الصفحات التي تريد فهرستها.» مع تقدير أن أكثر من نصف حركة الزواحف جهد مهدور.
• Ahrefs Site Audit / Screaming Frog SEO Spider — محاكاة الزحف لكشف المعاملات والنسخ والمصائد التي تضخم المخزون وتكبح الطلب.

إطار الأهمية × التغيير × المخزون

استخدم ثلاثة أسئلة لتفسير تغيرات طلب الزحف:

1. الأهمية: هل جعلت الإشارات الداخلية أو الخارجية العنوان أهم أم أقل أهمية؟
2. التغيير: هل تغيرت الصفحة جوهريًا وهل نقلت إشارات خريطة الموقع الصادقة ذلك؟
3. المخزون: هل توسعت مجموعة النسخ أو المعاملات أو العناوين منخفضة القيمة المعروفة للزاحف؟

سلامة المضيف هي السقف لا مدخل طلب رابعًا. إذا أظهرت السجلات أخطاء أو مهلًا فشخص السعة منفصلة. وإذا كان الخادم سليمًا وفقدت العناوين القيمة حصة الزحف، فافحص الأهمية ثم التغيير ثم المخزون.

مقارنة حصة الزحف حسب المجلد

يلخص مسار shell هذا طلبات الزاحف المتحقق منها حسب أول مجلد في مسار URL داخل سجل وصول شائع:

awk 'BEGIN{IGNORECASE=1} /Googlebot/ {split($7,p,"/"); print "/" p[2] "/"}' access.log | sort | uniq -c | sort -nr

على PowerShell:

Select-String .\access.log -Pattern 'Googlebot' | ForEach-Object { if ($_.Line -match '"(?:GET|HEAD)\s+https?://[^/]+/([^/?\s]*)|"(?:GET|HEAD)\s+/([^/?\s]*)') { '/' + (($Matches[1],$Matches[2] | Where-Object { $_ })[0]) + '/' } } | Group-Object | Sort-Object Count -Descending

قارن نوافذ زمنية متساوية قبل التغيير وبعده. زيادة حصة مجلد قرينة على تخصيص المجدول، لا إثبات جودة أو ترتيب أعلى.

مقاييس طلب الزحف

حصة زحف القوالب القيمة

المقياس: طلبات الزاحف إلى القوالب المهمة مقسومة على الطلبات المتحقق منها. ما يخبرك به: هل يصل الطلب إلى المخزون المهم. طريقة استخراجه: صنف عناوين السجل حسب القالب. المعيار/النطاق: حدد المزيج من مخزونك وإيقاع تحديثك؛ لا نسبة عالمية. الوتيرة: أسبوعيًا للمواقع الكبيرة المتغيرة، وشهريًا لغيرها.

تأخر إعادة الزحف بعد تغييرات ذات معنى

المقياس: الوقت من تحديث حقيقي إلى الجلب التالي المتحقق منه. ما يخبرك به: هل يدرك المجدول أهمية الصفحة ونمط تغيرها. طريقة استخراجه: اربط أوقات النشر/المحتوى بالسجلات. المعيار/النطاق: خط أساس لكل قالب؛ الأخبار والمراجع الثابتة لا تتشارك هدفًا. الوتيرة: شهريًا.

حصة المخزون منخفض القيمة

المقياس: نسبة عناوين المعاملات والنسخ والصفحات الفارغة وصفحات soft-404 المعروفة التي يزحف إليها Googlebot إلى العناوين المفيدة. ما يخبرك به: هل يشتت المخزون المتصور الطلب بعيدًا عن الصفحات المهمة. طريقة استخراجه: اجمع صادرات الزحف والخرائط وقواعد قابلية الفهرسة والسجلات. المعيار/النطاق: اتجاه هابط عن خط أساس الموقع دون حجب موارد مطلوبة. الوتيرة: شهريًا وبعد تغييرات التنقل متعدد الأوجه أو المنصة.

مصادر تستحق وقتك

كتاباتي ذات الصلة

• متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — أصوغ الميزانية كطلب ومعدل، وأشرح الشعبية وتراجع التقادم ومن يحتاج إلى الاهتمام.
• ما Googlebot وكيف يعمل؟ — كيف يقرر Googlebot ماذا يزحف ومقداره.
• دليل المبتدئين إلى SEO التقني — موضع الزحف وميزانيته في الصورة الكبرى.

محاضراتي

• كيف يعمل البحث (SlideShare) — شرحي للزحف، بما في ذلك عوامل الطلب: PageRank والحداثة والوقت منذ آخر زحف والتغييرات الكبرى في الموقع، إضافة إلى شريحة مستقلة للسعة وحمل المضيف. إخلاء المسؤولية الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا فهمي للأنظمة، ولن يكون مكتملًا أو دقيقًا بنسبة 100%.»

من أنحاء المجال

• أولويات زحف Google: رؤى من Gary Illyes (Search Engine Journal) — اقتباسات «إقناع البحث بأن موادك تستحق الجلب» و«رفع الطلب» و«انخفاض طلب البحث» التي تشرح كيف يتغير الطلب فعليًا.
• Gary Illyes عن الزحف الأقل (LinkedIn، أبريل 2024) — المصدر الأولي للزحف الأقل والجدولة الأذكى.
• لدى Google نوعان من الزحف: الاكتشاف والتحديث (Search Engine Journal) — شرح John Mueller لزحف الاكتشاف مقابل زحف التحديث؛ فمعدل تكرار التحديث ناتج خالص عن الطلب.
• Gary Illyes عن ميزانية الزحف والجدولة وحمل المضيف (Search Engine Roundtable) — إطار «مجموعة عناوين URL مرتبة حسب الأهمية» مع حمل المضيف، وقد أُعيدت صياغته في هذا المقال؛ تحجب الصفحة الجلب الآلي، لذا أكده من الصفحة الحية.
• Google: لن تؤثر 100k من عناوين URL في ميزانية الزحف (Search Engine Roundtable) — فحص John Mueller التقريبي للحجم، وقد أُعيدت صياغته هنا؛ أكده من الصفحة الحية.
• ما ميزانية الزحف؟ كيف تعمل ونصائح تحسينها (Search Engine Land) — دليل شامل متين عن ميزانية الزحف، ومادة خلفية مفيدة عن عوامل الطلب الثلاثة.
• Ahrefs Bot Analytics — صفحة المنتج التي تعرض إطار «حركة الروبوتات غير المنضبطة تهدر ميزانية الزحف» و«أكثر من النصف… جهد مهدور» لتشخيص الطلب في مقابل السعة من بيانات الروبوتات الفعلية.

اختبر نفسك: طلب الزحف

خمسة أسئلة سريعة عن جانب «الرغبة» من ميزانية الزحف. اختر إجابة لكل سؤال ثم تحقق.

سجل التغييرات