ميزانية الزحف

الخلاصة — ميزانية الزحف هي المقدار الذي يكون محرك البحث مستعدًا لزحفه من موقعك. وهي حاصل ضرب أمرين: مقدار ما يستطيع خادمك تحمله ومقدار ما ترغب Google في زحفه. زيادة الزحف لا تحسن ترتيبك — وبالنسبة إلى معظم المواقع، ليست هذه مشكلة أصلًا. إذا كانت صفحاتك تُزحف في اليوم نفسه الذي تنشرها فيه، فليست لديك مشكلة في ميزانية الزحف.

ما هي ميزانية الزحف

عندما يزحف محرك بحث إلى موقعك، فإنه لا يواصل الزحف بلا نهاية. بل يزحف إلى عدد معين من عناوين URL خلال نافذة زمنية محددة، ثم ينتقل إلى غيرها. هذا المقدار هو ما يسميه مختصو SEO ميزانية الزحف.

يتلخص الأمر في سؤالين يجيب عنهما محرك البحث باستمرار:

• ما المقدار الذي أستطيع زحفه؟ لا يستطيع خادمك تحمل أكثر من حد معين قبل أن يتباطأ أو يبدأ في إرجاع أخطاء. تراقب Google ذلك وتتراجع عند الحاجة. هذه هي سعة الزحف (كانت المستندات الأقدم تسميها حد معدل الزحف).
• ما المقدار الذي أرغب في زحفه؟ تُزحف الصفحات الشائعة والصفحات التي تتغير كثيرًا بوتيرة أكبر. أما الصفحات التي لا يربط بها أحد أو التي لا تتغير أبدًا فتُزحف نادرًا. هذا هو طلب الزحف.

اضرب العاملين لتحصل على ميزانية الزحف: أي تقريبًا عدد عناوين URL التي تستطيع Google زحفها وترغب في زحفها. Evidence for this claim Google defines crawl budget using crawl capacity limit and crawl demand. Scope: Google Search crawling for larger sites. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

ثمة تمييز يستحق التوضيح مبكرًا: تتعلق ميزانية الزحف بما إذا كانت Google تجلب عنوان URL أصلًا. أما قرار فهرسة ما تجده فهو قرار منفصل ولاحق. قد تُزحف صفحة من دون أن تُفهرس — فالزحف لا يضمن الفهرسة، بل هو مجرد البوابة التي يجب عبورها أولًا.

ما يجب فهمه أولًا: ربما لا تحتاج إلى القلق بشأن هذا

هذا هو الجزء الذي تدفنه معظم المقالات. لا تعاني معظم المواقع مشكلة في ميزانية الزحف. تقول Google ذلك مباشرةً — إذا كانت صفحاتك تُزحف في يوم نشرها نفسه، أو لم يكن موقعك ضخمًا وسريع التغير، فيمكنك تجاوز الموضوع كله. Evidence for this claim Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Scope: Google's rough applicability guidance, not a guarantee for every site. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

اختبار حدسي بسيط: ابحث عن بضعة عناوين URL من موقعك في Google، أو استخدم أداة فحص عنوان URL في Search Console. إذا ظهرت صفحاتك الجديدة خلال يوم أو يومين، فميزانية زحفك بخير. أنفق وقتك على المحتوى والروابط بدلًا من ذلك.

تبدأ ميزانية الزحف في اكتساب أهمية حين يضم الموقع مئات الآلاف أو ملايين الصفحات، ولا سيما إذا كان كثير منها يتغير باستمرار (مثل متجر تجارة إلكترونية كبير أو موقع أخبار ضخم).

زيادة الزحف لا تعني ترتيبًا أفضل

إليك خرافة يجدر القضاء عليها مبكرًا: زحف الصفحة بوتيرة أكبر لا يدفعها إلى أعلى النتائج. الزحف هو مجرد الطريقة التي يعثر بها المحرك على صفحتك ويجلبها. إنه بوابة يجب عبورها كي تتمكن من الترتيب أصلًا — لكن بعد عبورها، لا تكون وتيرة إعادة زحفك عامل ترتيب.

إذًا فالهدف ليس «الحصول على مزيد من الزحف». الهدف هو ضمان زحف الصفحات التي تهمك، وألا يهدر المحرك وقته على عناوين URL رديئة.

ما الذي يهدر ميزانية الزحف

إذا كان لديك موقع كبير فعلًا، فإن الميزانية تُستنزف بسبب:

• عناوين URL للتصفية والترتيب (التنقل متعدد الأوجه) — يمكن لكل توليفة تصفية في متجر إلكتروني أن تنشئ آلاف عناوين URL شبه المتطابقة.
• الصفحات المكررة — المحتوى نفسه متاح عبر عناوين URL متعددة (مع www وبدونه، أو مع إضافة معاملات، وما إلى ذلك).
• صفحات الخطأ الزائف — صفحات «غير موجودة» تعيد الحالة 200 OK، فيواصل المحرك زحفها.
• سلاسل إعادة التوجيه المعطلة والصفحات البطيئة — تجعل كل عملية زحف أعلى تكلفة.

يكون الحل في معظم الحالات إزالة الهدر كي تُنفق الميزانية على صفحات حقيقية — لا محاولة إقناع Google بأن تزحف «أكثر».

إذا أردت النموذج الكامل — سعة الزحف مقابل الطلب، وحدود الحجم الدقيقة، وما ينبغي فعله بشأن التنقل متعدد الأوجه، وكيف يتعامل Bing مع الأمر بصورة مختلفة، وكيفية قياسه — فانتقل إلى علامة التبويب المتقدم.

الخلاصة — ميزانية الزحف = حد سعة الزحف (ما يستطيع خادمك تحمله) × طلب الزحف (الشعبية + التقادم + المخزون المتصور). إنها مسألة كفاءة، وليست إشارة ترتيب. داخليًا، هي جدولة بحسب الأهمية يقيّدها حمل المضيف، لا حصة ثابتة لكل موقع. يمكن لمعظم المواقع تجاهلها — يضع Mueller عدد 100k عنوان URL ضمن «usually not enough» (ترجمة) «غير كافٍ عادةً»، وتطلب Google من المواقع التي تُزحف صفحاتها في يوم نشرها تجاوز الدليل. تظهر المشكلة عند ~1M+ صفحة (تغير أسبوعي)، أو 10k+ صفحة (تغير يومي)، أو حين يتضخم عدد “Discovered – currently not indexed”. وأعلى خطوة أثرًا هي تقليص الهدر — التنقل متعدد الأوجه، والتكرارات، وصفحات الخطأ الزائف، ومساحات عناوين URL اللانهائية — كي تتركز الميزانية على عناوين URL المهمة.

نموذج العاملين

تعرّفها Google بوضوح: “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (ترجمة) «يُسمى مقدار الوقت والموارد التي تخصصها Google لزحف موقع عادةً ميزانية زحف الموقع، ويحدده عنصران رئيسيان: حد سعة الزحف وطلب الزحف.» أما صياغة Gary Illyes لعام 2017 فهي العبارة الموجزة التي ما زلت أرجع إليها: ميزانية الزحف هي “the number of URLs Googlebot can and wants to crawl.” (ترجمة) «عدد عناوين URL التي يستطيع Googlebot زحفها ويرغب في زحفها.» Evidence for this claim Google defines crawl budget using crawl capacity limit and crawl demand. Scope: Google Search crawling for larger sites. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide أبقِ النطاق محددًا: تتحكم ميزانية الزحف في الجلب، لا الفهرسة. يظل عنوان URL الذي زُحف خاضعًا لقرار فهرسة منفصل — ودمج الاثنين يبالغ في نطاق ما تتحكم فيه ميزانية الزحف.

حد سعة الزحف (جانب العرض). هو “the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (ترجمة) «الحد الأقصى لعدد الاتصالات المتوازية المتزامنة التي يمكن أن تستخدمها Google لزحف موقع، إلى جانب الفاصل الزمني بين عمليات الجلب.» ويتحرك تبعًا لصحة خادمك. استجب بسرعة ونظافة فيرتفع الحد؛ أما الاستجابات البطيئة أو أخطاء 5xx أو 429 فتجعل Googlebot يتراجع. في عرضي كيف يعمل البحث أورد محفزات حد المعدل نفسها: استقرار الخادم، والاستجابات البطيئة، وأخطاء الخادم 5xx، و429 (طلبات كثيرة جدًا). هذا هو جانب «الاستطاعة».

طلب الزحف (جانب الطلب). تحركه الشعبية (مدى كثرة الروابط إلى عنوان URL / أهميته) والتقادم (المدة منذ آخر زحف، ومدى تكرار تغيره). يقسم العرض نفسه الطلب إلى PageRank، ومدى تكرار تغير الصفحة، والوقت منذ آخر زحف، والتغييرات الكبرى في الموقع. والأهم أن Google تشير إلى المخزون المتصور بوصفه الرافعة الأكثر خضوعًا لتحكمك: “Without guidance from you, Google tries to crawl all or most of the URLs that it knows about on your site. If many of these URLs are duplicates, or you don’t want them crawled for some other reason… this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (ترجمة) «من دون إرشاد منك، تحاول Google زحف كل عناوين URL التي تعرفها في موقعك أو معظمها. وإذا كان كثير منها مكررًا، أو كنت لا تريد زحفه لسبب آخر… فإن ذلك يهدر كثيرًا من وقت زحف Google في موقعك. وهذا هو العامل الذي يمكنك التحكم فيه إيجابيًا أكثر من غيره.»

بعض الحقائق البنيوية التي تفاجئ الناس:

• الميزانية لكل اسم مضيف. “https://www.example.com/ and https://code.example.com/ are two different hostnames, and therefore have separate crawl budgets.” (ترجمة) «https://www.example.com/ وhttps://code.example.com/ اسما مضيف مختلفان، ولذلك لكل منهما ميزانية زحف مستقلة.» لا تتشارك النطاقات الفرعية الميزانية.
• يرجح أن أنواع Googlebot المختلفة تستمد من مجموعة واحدة. وفق تقاريري الشخصية، يبدو أن الصور والأخبار والفيديو والإعلانات وسائر الأنواع تستمد من ميزانية الموقع نفسها — وليس لدي مصدر أولي حالي من Google يحسم ذلك بدقة، لذا تعامل معه بوصفه ملاحظة ممارس لا سياسة موثقة. وفي كل الأحوال، يجدر فحص التقسيم حسب نوع الزاحف في تقرير إحصاءات الزحف إذا اشتبهت في أن نوعًا يزاحم الأنواع الأخرى.

ما هي داخليًا فعلًا: الجدولة بحسب الأهمية

«ميزانية الزحف» مصطلح جامع صاغه مختصو SEO. وهي داخليًا أقرب إلى جدولة يقيّدها حمل المضيف. وكما وصفها Illyes، فإن مجدول Google “sets a bucket of URLs in importance order and GoogleBot will crawl in that order based on the schedule the host load decided. If Google thinks your server can handle it, it will crawl the whole bucket, if not, it will stop.” (ترجمة) «يرتب مجموعة من عناوين URL بحسب الأهمية، ويزحف GoogleBot بهذا الترتيب وفق الجدول الذي يحدده حمل المضيف. فإذا رأت Google أن خادمك يستطيع التحمل زحفت المجموعة كلها، وإلا توقفت.»

يعيد ذلك تأطير الموضوع كله. فهي ليست حصة ثابتة تقول «لديك N صفحة يوميًا» — بل قائمة انتظار مرتبة حسب الأولوية، ويتبع الزحف طلب البحث. يقول Illyes أيضًا: “If search demand goes down, then that also correlates to the crawl limit going down,” (ترجمة) «إذا انخفض طلب البحث، ارتبط ذلك أيضًا بانخفاض حد الزحف»، و*“if you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.”* (ترجمة) «إذا أردت زيادة ما نزحفه، فعليك بطريقة ما إقناع البحث بأن موادك تستحق الجلب، وهذه هي الإشارة التي يستجيب لها المجدول في الأساس.» وقد وصف فريق Search Relations صراحةً فكرة «حصة الصفحات اليومية الثابتة» بأنها تصور خاطئ.

هل يعاني موقعك فعلًا مشكلة في ميزانية الزحف؟

هذا هو القسم الأعلى قيمة، لذا سأكون صريحًا: لا تحتاج معظم المواقع إلى القلق بشأن ميزانية الزحف. يبدأ دليل Google نفسه بتهدئة الأمر: “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide. For Google Search specifically, merely keeping your sitemap up to date and checking your index coverage regularly is adequate.” (ترجمة) «إذا لم يكن موقعك يضم عددًا كبيرًا من الصفحات التي تتغير بسرعة، أو بدا أن صفحاتك تُزحف في يوم نشرها نفسه، فلا تحتاج إلى قراءة هذا الدليل. وبالنسبة إلى Google Search تحديدًا، يكفي إبقاء خريطة موقعك محدثة وفحص تغطية الفهرسة بانتظام.» Evidence for this claim Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Scope: Google's rough applicability guidance, not a guarantee for every site. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

قدّم John Mueller الرقم الملموس: “100k URLs is usually not enough to affect crawl budget (it’s <1/minute over 3 months).” (ترجمة) «عادةً لا يكفي 100k عنوان URL للتأثير في ميزانية الزحف (فهو أقل من 1/دقيقة على مدى 3 أشهر).» إذا كان عدد عناوين URL لديك أقل من ستة أرقام وكانت الصفحات تُزحف سريعًا، فانتقل إلى غير ذلك.

أما حين تهم، فحدود Google التقريبية هي:

• المواقع الكبيرة — 1 مليون+ صفحة فريدة ذات محتوى يتغير بوتيرة معتدلة (نحو أسبوعيًا).
• المواقع المتوسطة أو الأكبر — 10٬000+ صفحة فريدة ذات محتوى سريع التغير جدًا (يوميًا).
• المواقع التي تُصنف نسبة كبيرة من عناوين URL فيها ضمن “Discovered – currently not indexed” في Search Console — وهذه إشارة التحذير إلى أن Google تعرف عناوين URL لا تصل إلى زحفها.

تضيف Google تنبيهًا بأن “the numbers given here are a rough estimate… not exact thresholds.” (ترجمة) «الأرقام الواردة هنا تقديرات تقريبية… وليست حدودًا دقيقة.» وحتى في المواقع الكبيرة، تظل الخلاصة الدقيقة من عملي الشخصي قائمة: عادةً ما تتأخر الصفحات الجديدة أو ضعيفة الروابط أو الثابتة — لا الصفحات الشائعة.

هل تؤثر ميزانية الزحف في الترتيب؟ لا.

الزحف ضروري للترتيب، لكنه ليس إشارة ترتيب. قالت Google في 2017: “An increased crawl rate will not necessarily lead to better positions in Search results. Google uses hundreds of signals to rank the results, and while crawling is necessary for being in the results, it’s not a ranking signal.” (ترجمة) «لن تؤدي زيادة معدل الزحف بالضرورة إلى مراكز أفضل في نتائج البحث. تستخدم Google مئات الإشارات لترتيب النتائج، ومع أن الزحف ضروري للظهور فيها، فإنه ليس إشارة ترتيب.» وأصوغها بالطريقة نفسها في دليلي لدى Ahrefs: “More crawling doesn’t mean you’ll rank better, but if your pages aren’t crawled and indexed they aren’t going to rank at all.” (ترجمة) «زيادة الزحف لا تعني أنك ستحصل على ترتيب أفضل، لكن إذا لم تُزحف صفحاتك وتُفهرس فلن تحصل على ترتيب أصلًا.» تعامل مع ميزانية الزحف بوصفها مشكلة كفاءة، وانتهى.

ما الذي يهدر ميزانية الزحف

نشر Illyes القائمة المعتمدة لعناوين URL منخفضة القيمة المضافة “in order of significance” (ترجمة) «بحسب ترتيب الأهمية»:

1. التنقل متعدد الأوجه ومعرّفات الجلسات — المتهم الأول، ولا سيما توليفات تصفية/ترتيب التجارة الإلكترونية التي تضاعف أعداد عناوين URL بسبب كثرة تركيباتها.
2. المحتوى المكرر داخل الموقع — المتغيرات التقنية التقليدية: HTTP مقابل HTTPS، وnon-www مقابل www، والشرطة المائلة الختامية مقابل غيابها، والأحرف الكبيرة مقابل الصغيرة، وصفحات default/index، ومعاملات URL. (نحو 60% من الويب محتوى مكرر وفق تقدير Google الداخلي.)
3. صفحات الخطأ الزائف — فالصفحات التي تعرض «غير موجودة» مع إعادة 200 يستمر زحفها.
4. الصفحات المخترقة.
5. مساحات عناوين URL اللانهائية وخوادم الوكيل — التقويمات، وترقيم الصفحات بالتمرير اللانهائي الذي يكرر المحتوى، والتوليفات متعددة الأوجه؛ وهي أنماط مصائد العناكب التقليدية.
6. المحتوى منخفض الجودة والمزعج.

التكلفة ملموسة: “Wasting server resources on pages like these will drain crawl activity from pages that do actually have value, which may cause a significant delay in discovering great content on a site.” (ترجمة) «إهدار موارد الخادم على صفحات كهذه يحوّل نشاط الزحف بعيدًا عن الصفحات ذات القيمة الفعلية، وقد يسبب تأخيرًا كبيرًا في اكتشاف محتوى ممتاز على الموقع.» وإضافة إلى القائمة، فإن سلاسل إعادة التوجيه الطويلة “have a negative effect on crawling,” (ترجمة) «لها أثر سلبي في الزحف»، كما تجعل الصفحات البطيئة والثقيلة كل عملية جلب أعلى تكلفة.

كيفية تحسينها

تتمثل اللعبة كلها في تركيز الميزانية على عناوين URL المهمة:

• وحّد التكرارات. تقول Google: “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (ترجمة) «وحّد المحتوى المكرر لتركيز الزحف على المحتوى الفريد بدلًا من عناوين URL الفريدة.» اختر مضيفًا واحدًا وبروتوكولًا واحدًا ونمطًا واحدًا للشرطة المائلة الختامية؛ واستخدم وسوم canonical؛ وتعامل مع المعاملات.
• احظر المسارات عديمة القيمة فعلًا باستخدام robots.txt — ولكن فقط المسارات التي لا تريد أبدًا زحفها. بالنسبة إلى التنقل متعدد الأوجه، تتمثل الخيارات المعتادة في حظر مسارات المعاملات في robots.txt أو استخدام # بدلًا من ? كي لا تكون عناوين URL قابلة للزحف أصلًا.
• لا تستخدم noindex لتوفير الميزانية. تقول Google: “Don’t use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.” (ترجمة) «لا تستخدم noindex، لأن Google ستظل تطلب الصفحة ثم تستبعدها عندما ترى وسم noindex الوصفي أو الترويسة في استجابة HTTP، مما يهدر وقت الزحف.» فالطلب يظل مكلفًا لك. احظر عبر robots.txt إذا كنت لا تريد جلبه أبدًا.
• لا تتوقع أن يعيد robots.txt تخصيص الميزانية. “Google won’t shift this newly available crawl budget to other pages unless Google is already hitting your site’s serving limit.” (ترجمة) «لن تنقل Google ميزانية الزحف المتاحة حديثًا هذه إلى صفحات أخرى ما لم تكن قد بلغت بالفعل حد قدرة موقعك على الاستجابة.» حظر المحتوى الرديء ممارسة سليمة، لكنه لا يوجّه طلبات الزحف التي وفرتها إلى صفحاتك الجيدة إلا إذا كنت مقيدًا بالسعة.
• أصلح صفحات الخطأ الزائف؛ وأعد 404/410 حقيقية للصفحات المحذوفة. “A 404 status code is a strong signal not to crawl that URL again.” (ترجمة) «رمز الحالة 404 إشارة قوية إلى عدم زحف عنوان URL ذلك مجددًا.»
• قصّر سلاسل إعادة التوجيه، وأبق خرائط المواقع محدثة (lastmod صادقًا)، وحسّن سرعة الخادم.
• قوِّ الروابط الداخلية إلى الصفحات المهمة والجديدة — وهذا أسهل من أي شيء آخر لأنك تتحكم فيه بالكامل.

والطريقتان — فقط طريقتان — اللتان تقول Google إنهما تزيدان الميزانية فعلًا: “Add more server resources… [and] optimize your content’s quality.” (ترجمة) «أضف مزيدًا من موارد الخادم… [و] حسّن جودة محتواك.» لاحظ الفخ هنا: يرفع الخادم الأسرع سقف السعة، لكن إذا كان الطلب منخفضًا فستظل Google تزحف أقل. تحتاج إلى الاثنين.

كيفية قياسها

• GSC > Settings > Crawl Stats report — إجمالي طلبات الزحف بمرور الوقت، ومتوسط زمن الاستجابة، وحالة المضيف، والتقسيم حسب رمز الاستجابة ونوع الملف ونوع Googlebot. هذه هي رؤية Google نفسها لكيفية زحفها إلى موقعك.
• تحليل ملفات سجل الخادم — المصدر الأدق للواقع. يعرض زيارات Googlebot الحقيقية حسب نمط عنوان URL، فتستطيع رؤية هدر الزحف والصفحات المهمة التي لم تُزحف. تحقق من أن الروبوت هو Googlebot فعلًا عبر DNS العكسي + الأمامي أو نطاقات IP التي نشرتها Google (فكثير من الروبوتات المزيفة تنتحل وكيل المستخدم).
• “Discovered – currently not indexed” في GSC — تعامل مع تزايد عدد هذه الحالات بوصفه إشارة تحذير لميزانية الزحف: تعرف Google عناوين URL لكنها لا تصل إلى زحفها.

Bing والمحركات الأخرى: «كفاءة الزحف»

يعيد Bing تأطير الموضوع بوصفه كفاءة الزحف لا ميزانيته. تعريف Fabrice Canel: “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (ترجمة) «كفاءة الزحف هي مدى تكرار زحفنا واكتشافنا لمحتوى جديد وحديث لكل صفحة جرى زحفها.» والهدف هو “crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (ترجمة) «لا نزحف إلى عنوان URL إلا عندما يكون المحتوى قد أُضيف (عنوان لم يُزحف من قبل) أو حُدّث (سياق حديث داخل الصفحة أو روابط صادرة مفيدة).» وتقول فلسفة Bing الصريحة: “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (ترجمة) «الأقل هو الأكثر في SEO. لا تنس ذلك أبدًا. كلما قل عدد عناوين URL المطلوب زحفها كان ذلك أفضل لـSEO.»

الحل المفضل لدى Bing هو IndexNow — أرسل عناوين URL المتغيرة كي لا يحتاج bingbot إلى عمليات زحف استكشافية — وCrawl Control في Bing Webmaster Tools، التي تتيح لك جدولة وقت زحف bingbot بحسب الساعة لحماية الخادم من الحمل الزائد. وهذا اختلاف حقيقي بين Google وBing يستحق الملاحظة: فقد أوقفت Google محدد معدل الزحف القديم في Search Console، بينما ما زال Bing يتيح لك ضبط جدول الزحف بنشاط.

تصحيح خرافات ميزانية الزحف

• «ينبغي لكل موقع تحسين ميزانية الزحف.» لا — ينبغي لمعظم المواقع ألا تفعل. الزحف في يوم النشر ووجود أقل من 100k عنوان URL يعنيان أن وضعك جيد.
• «مزيد من الزحف = ترتيب أفضل.» لا. الزحف ضروري لكنه ليس إشارة ترتيب.
• «إنها حصة يومية ثابتة من الصفحات.» لا — إنها جدولة مدفوعة بالأهمية ويقيّدها حمل المضيف.
• «استخدم noindex لتوفير الميزانية.» لا — ما زالت Google تطلب الصفحة أولًا.
• «احظر الصفحات في robots.txt لمنح الصفحات الأخرى ميزانية أكبر.» لا عمومًا، إلا إذا كنت قد بلغت حد الخدمة بالفعل.
• «الخادم الأسرع وحده يرفع ميزانيتك.» إنه يرفع سقف السعة فقط؛ ويظل الطلب المنخفض يعني عمليات زحف أقل.

للاطلاع على سير العمل الأوسع الذي تندرج فيه ميزانية الزحف — الاكتشاف، ومجدول الزحف، والعرض، وكيف يختلف الزحف عن الفهرسة — راجع مركز الزحف. وتتعمق الموضوعات الشقيقة (معدل الزحف، وتكرار الزحف، ومصائد العناكب، وتحليل ملفات السجل) كل منها في جزء من هذا.

ملخص الذكاء الاصطناعي

خلاصة مكثفة للنسخة المتقدمة:

• ميزانية الزحف = حد سعة الزحف × طلب الزحف. السعة هي ما يستطيع خادمك تحمله (ترتفع مع الاستجابات السريعة/النظيفة، وتنخفض مع 5xx/429)؛ والطلب هو الشعبية + التقادم + المخزون المتصور. عبارة Google الموجزة: “the number of URLs Googlebot can and wants to crawl.” (ترجمة) «عدد عناوين URL التي يستطيع Googlebot زحفها ويرغب في زحفها.»
• ليست عامل ترتيب. الزحف ضروري للترتيب، لكن زيادته لا ترفع المراكز — إنها مسألة كفاءة بحتة.
• داخليًا، هي جدولة بحسب الأهمية يقيّدها حمل المضيف — قائمة انتظار ذات أولوية، لا حصة يومية ثابتة من الصفحات. ويتبع الزحف طلب البحث.
• لا تحتاج معظم المواقع إلى إدارتها. يقول Mueller إن 100k عنوان URL لا تكفي عادةً لتكون مؤثرة. وتقول Google: إذا كانت الصفحات تُزحف في اليوم نفسه فتجاوز الدليل. تظهر المشكلة عند ~1M+ صفحة (تغير أسبوعي)، أو 10k+ (تغير يومي)، أو رصيد كبير من “Discovered – currently not indexed”.
• ما يهدرها (بترتيب Google): التنقل متعدد الأوجه / معرّفات الجلسات، والمحتوى المكرر، وصفحات الخطأ الزائف، والصفحات المخترقة، ومساحات عناوين URL اللانهائية، والمحتوى منخفض الجودة — إضافة إلى سلاسل إعادة التوجيه والصفحات البطيئة.
• حسّنها بإزالة الهدر: وحّد التكرارات، واحظر المسارات عديمة القيمة في robots.txt (لا noindex — فما زالت Google تطلبها أولًا)، وأصلح صفحات الخطأ الزائف، وقصّر إعادة التوجيه، ونظّف خرائط المواقع، وقوِّ الروابط الداخلية. والطريقتان الوحيدتان لزيادة الميزانية حقًا: زيادة سعة الخادم ورفع جودة المحتوى.
• قِس باستخدام GSC Crawl Stats، وتحليل سجلات الخادم، وتقرير “Discovered – currently not indexed”.
• يسميها Bing كفاءة الزحف (“less is more” (ترجمة) «الأقل هو الأكثر»)، ويدفع نحو IndexNow + Crawl Control بدلًا من نهج Google قليل التدخل.

الوثائق الرسمية

وثائق المصادر الأولية من محركات البحث.

Google

• تحسين ميزانية الزحف — المستند الأساسي (نُقل من عنوان «دليل مالك الموقع الكبير» القديم ضمن مستندات بنية الزحف في Google، وآخر تحديث في ديسمبر 2025): سعة الزحف + الطلب، ومن يحتاج إليه، وقائمة الهدر، وكيفية التحسين. ابدأ هنا.
• ما تعنيه ميزانية الزحف لـGooglebot (Gary Illyes، 2017) — الصياغة الأصلية: حد معدل الزحف + طلب الزحف، وفئات عناوين URL منخفضة القيمة المضافة.
• الزحف والفهرسة — مركز robots وخرائط المواقع وتحديد العنوان الأساسي وضوابط الزحف.
• سلسلة ديسمبر للزحف (2024) — Googlebot، والتخزين المؤقت لـHTTP، والتنقل متعدد الأوجه، وشبكات CDN.

Bing / Microsoft

• سلسلة bingbot: تعظيم كفاءة الزحف — إعادة تأطير Bing للمفهوم بوصفه «كفاءة الزحف» وهدفه الأعلى.
• سلسلة bingbot: تحسين تكرار الزحف — كيف يقرر Bing وتيرة إعادة الزحف.
• Bing Webmaster Tools — Crawl Control — جدولة وقت زحف bingbot بحسب الساعة.
• IndexNow / indexnow.org — إرسال عناوين URL المتغيرة كي لا تحتاج المحركات إلى عمليات زحف استكشافية.

اقتباسات من المصدر

تصريحات مسجلة من Google وBing. كل رابط عميق ينتقل إلى المقطع المقتبس في صفحة المصدر.

Google — التعريف

• “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (ترجمة) «يُسمى مقدار الوقت والموارد التي تخصصها Google لزحف موقع عادةً ميزانية زحف الموقع، ويحدده عنصران رئيسيان: حد سعة الزحف وطلب الزحف.» — مستندات Google Search Central. انتقل إلى الاقتباس
• “Google’s crawlers calculate a crawl capacity limit, which is the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (ترجمة) «تحسب زواحف Google حدًا لسعة الزحف، وهو الحد الأقصى لعدد الاتصالات المتوازية المتزامنة التي يمكن أن تستخدمها Google لزحف موقع، إلى جانب الفاصل الزمني بين عمليات الجلب.» انتقل إلى الاقتباس
• “Taking crawl rate and crawl demand together we define crawl budget as the number of URLs Googlebot can and wants to crawl.” (ترجمة) «بجمع معدل الزحف وطلب الزحف، نعرّف ميزانية الزحف بأنها عدد عناوين URL التي يستطيع Googlebot زحفها ويرغب في زحفها.» — Gary Illyes، Google (2017). انتقل إلى الاقتباس

Google — متى لا تحتاج إلى الاهتمام

• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يكن موقعك يضم عددًا كبيرًا من الصفحات التي تتغير بسرعة، أو بدا أن صفحاتك تُزحف في يوم نشرها نفسه، فلا تحتاج إلى قراءة هذا الدليل.» انتقل إلى الاقتباس
• “100k URLs is usually not enough to affect crawl budget (it’s <1/minute over 3 months).” (ترجمة) «عادةً لا يكفي 100k عنوان URL للتأثير في ميزانية الزحف (فهو أقل من 1/دقيقة على مدى 3 أشهر).» — John Mueller، Google (2021). اقرأ التغطية

Google — ما تتحكم فيه، والزحف مقابل الترتيب

• “If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (ترجمة) «إذا كان كثير من عناوين URL هذه مكررًا، أو كنت لا تريد زحفها لسبب آخر (محذوفة أو غير مهمة وما إلى ذلك)، فإن ذلك يهدر كثيرًا من وقت زحف Google في موقعك. وهذا هو العامل الذي يمكنك التحكم فيه إيجابيًا أكثر من غيره.» انتقل إلى الاقتباس
• “An increased crawl rate will not necessarily lead to better positions in Search results. Google uses hundreds of signals to rank the results, and while crawling is necessary for being in the results, it’s not a ranking signal.” (ترجمة) «لا تعني زيادة وتيرة الزحف بالضرورة تحسن المواقع في نتائج البحث. تعتمد Google على مئات الإشارات لترتيب النتائج؛ والزحف لازم للظهور فيها، لكنه ليس إشارة ترتيب.» — Gary Illyes، Google (2017). انتقل إلى الاقتباس

Google — قائمة الهدر وما يجب عدم فعله

• “Faceted navigation and session identifiers / On-site duplicate content / Soft error pages / Hacked pages / Infinite spaces and proxies / Low quality and spam content” (ترجمة) «التنقل متعدد الأوجه ومعرّفات الجلسات / المحتوى المكرر داخل الموقع / صفحات الأخطاء الزائفة / الصفحات المخترقة / مساحات عناوين URL اللانهائية وخوادم الوكيل / المحتوى منخفض الجودة والمزعج» — فئات القيمة المضافة المنخفضة، مرتبة بحسب الأهمية. — Gary Illyes، Google (2017). انتقل إلى الاقتباس
• “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (ترجمة) «وحّد المحتوى المكرر لتركيز الزحف على المحتوى الفريد بدلًا من عناوين URL الفريدة.» انتقل إلى الاقتباس
• “Don’t use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.” (ترجمة) «لا تستخدم noindex، لأن Google ستظل تطلب الصفحة ثم تستبعدها عندما ترى وسم noindex الوصفي أو الترويسة في استجابة HTTP، مما يهدر وقت الزحف.» انتقل إلى الاقتباس
• “Google won’t shift this newly available crawl budget to other pages unless Google is already hitting your site’s serving limit.” (ترجمة) «لن تنقل Google ميزانية الزحف المتاحة حديثًا هذه إلى صفحات أخرى ما لم تكن قد بلغت بالفعل حد قدرة موقعك على الاستجابة.» انتقل إلى الاقتباس

Gary Illyes، Google — الجدولة وحمل المضيف (عبر تغطية Search Engine Roundtable لجلسة أسئلة وأجوبة من Stone Temple)

• “Host load kind of sets a bucket of URLs in importance order and GoogleBot will crawl in that order based on the schedule the host load decided. If Google thinks your server can handle it, it will crawl the whole bucket, if not, it will stop.” (ترجمة) «يحدد حمل المضيف إلى حد ما مجموعة من عناوين URL مرتبة بحسب الأهمية، ويزحف GoogleBot بهذا الترتيب وفق الجدول الذي يحدده حمل المضيف. فإذا رأت Google أن خادمك يستطيع التحمل زحفت المجموعة كلها، وإلا توقفت.» انتقل إلى الاقتباس

Fabrice Canel، Microsoft Bing

• “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (ترجمة) «كفاءة الزحف هي مدى تكرار زحفنا واكتشافنا لمحتوى جديد وحديث لكل صفحة جرى زحفها.» انتقل إلى الاقتباس
• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (ترجمة) «في SEO، القليل أفضل. تذكّر ذلك دائمًا: تقليل عناوين URL المطلوب زحفها أفضل لـSEO.» انتقل إلى الاقتباس

قائمة تحقق لتحسين ميزانية الزحف

لا تستحق المتابعة إلا إذا تأكدت من وجود مشكلة فعلية في الميزانية (موقع كبير، أو بطء الزحف في يوم النشر، أو تضخم رصيد “Discovered – currently not indexed”). عندئذ:

• تأكدت من أن المشكلة حقيقية — فحصت GSC Crawl Stats و”Discovered – currently not indexed” قبل تحسين أي شيء.
• اخترت معيارًا أساسيًا واحدًا (المضيف، والبروتوكول، والشرطة المائلة الختامية، وحالة الأحرف)، وحّدت التكرارات عليه.
• تعاملت مع معاملات URL — استخدمت وسم canonical، أو حظرت ما لا ينشئ إلا متغيرات مكررة/منخفضة القيمة.
• روّضت التنقل متعدد الأوجه — حظرت توليفات التصفية/الترتيب عديمة القيمة في robots.txt، أو نقلتها خلف # كي لا تكون قابلة للزحف.
• أصلحت صفحات الخطأ الزائف؛ وأعدت 404/410 حقيقية للصفحات المحذوفة نهائيًا.
• أزلت سلاسل إعادة التوجيه أو قصّرتها.
• لا تسرد خرائط المواقع إلا عناوين URL أساسية قابلة للفهرسة ذات lastmod دقيق.
• لم تستخدم noindex «لتوفير» الميزانية (تطلبها Google على أي حال)، ولم تتوقع أن تعيد عمليات الحظر في robots.txt تخصيص الميزانية لصفحات أخرى.
• قوّيت الروابط الداخلية إلى الصفحات المهمة والمنشورة حديثًا.
• حسّنت زمن استجابة الخادم وكفاءة تحميل الصفحات.
• (Bing) اعتمدت IndexNow لإرسال التغييرات؛ واستخدمت Crawl Control إذا كان حمل الخادم هو القيد.

النماذج الذهنية

1. الميزانية = السعة × الطلب. سعة الزحف هي ما يستطيع خادمك تحمله؛ وطلب الزحف هو الشعبية + التقادم + المخزون المتصور. يجب وجود الاثنين: يظل الخادم السريع ذو الطلب المنخفض أقل زحفًا، ويحد الخادم المتعثر من تلبية الطلب المرتفع. لرفع الميزانية الفعلية، تزيل الهدر في الغالب بدلًا من «طلب المزيد».

2. بوابة «هل لدي مشكلة أصلًا؟». نفذ هذا قبل لمس أي شيء:

• هل تُزحف الصفحات في يوم نشرها نفسه؟ → لا مشكلة. توقف هنا.
• هل لديك أقل من ~100k عنوان URL (قاعدة Mueller التقريبية)؟ → يكاد يكون مؤكدًا أنه لا توجد مشكلة.
• هل لديك 1M+ صفحة تتغير أسبوعيًا، أو 10k+ تتغير يوميًا، أو رصيد كبير من “Discovered – currently not indexed”؟ → الآن يستحق الأمر وقتك.

3. أزل الهدر قبل أن تطلب من Google زيادة الزحف. هذه الفكرة الوحيدة الأعلى أثرًا في الصفحة. تحاول Google زحف كل ما تعرفه؛ فإذا كان نصفه تكرارات وأوجهًا وصفحات خطأ ظاهري، فهي تنفق ميزانيتك على الرديء. أزل الرديء فتتركز الميزانية على الصفحات المهمة — فهذا «العامل الذي يمكنك التحكم فيه إيجابيًا أكثر من غيره».

4. الزحف ≠ الترتيب. الزحف بوابة لا لوحة نتائج. زيادة الزحف لن ترفع المراكز. لذا فالهدف هو تغطية عناوين URL الصحيحة، لا حجم الزحف الخام أبدًا.

5. إنها قائمة انتظار ذات أولوية، لا حصة. داخليًا، هي جدولة بحسب الأهمية يقيّدها حمل المضيف — مجموعة من عناوين URL مرتبة حسب الأولوية، لا «N صفحة يوميًا» ثابتة. تصعد في قائمة الانتظار بأن تكون أكثر أهمية (الروابط، والطلب) وألا تهدر عمليات الجلب.

ميزانية الزحف — ورقة مرجعية

ما يهدرها (بحسب ترتيب الأهمية لدى Google)

إضافة إلى ذلك: تجعل سلاسل إعادة التوجيه الطويلة والصفحات البطيئة/الثقيلة كل عملية جلب أعلى تكلفة.

هل تحتاج إلى الاهتمام أصلًا؟

• الزحف في يوم النشر → لا.
• < ~100k عنوان URL (Mueller) → يكاد يكون مؤكدًا لا.
• 1M+ صفحة تتغير أسبوعيًا، أو 10k+ تتغير يوميًا، أو رصيد كبير من “Discovered – currently not indexed” → نعم.

إصلاحات فعالة

• وحّد التكرارات / استخدم وسوم canonical.
• احظر المسارات عديمة القيمة في robots.txt (الأوجه، والمعاملات) — لا تستخدم noindex أبدًا «لتوفير» الميزانية.
• أصلح صفحات الخطأ الزائف؛ وأعد 404/410 حقيقية.
• قصّر سلاسل إعادة التوجيه؛ وسرّع الخادم.
• نظّف خرائط المواقع؛ وقوِّ الروابط الداخلية.

طريقتان فقط لزيادة الميزانية (Google): مزيد من سعة الخادم و جودة محتوى أعلى. لن تكفي إحداهما من دون الأخرى.

Bing: يسميها «كفاءة الزحف» — أرسل عناوين URL عبر IndexNow، وجدول عبر Crawl Control.

أدوات قياس ميزانية الزحف وإدارتها

• Google Search Console — تقرير Crawl Stats (Settings → Crawl Stats) — رؤية Google نفسها: إجمالي الطلبات بمرور الوقت، ومتوسط زمن الاستجابة، وحالة المضيف، والتقسيم حسب رمز الاستجابة ونوع الملف ونوع Googlebot. ابدأ هنا.
• GSC «تم الاكتشاف — غير مفهرسة حاليًا» (تقرير Pages) — إشارة التحذير إلى عناوين URL التي تعرفها Google لكنها لا تزحفها.
• تحليل ملفات سجل الخادم — المصدر الأدق لمعرفة عناوين URL التي تزورها الروبوتات حقًا ومدى تكرار ذلك. الأدوات: Screaming Frog Log File Analyser، أو مرر السجلات إلى BigQuery / منصة سجلات. (راجع تحليل ملفات السجل.)
• Ahrefs Site Audit / Screaming Frog SEO Spider — محاكاة زحف لإظهار عناوين URL المكررة، وسلاسل إعادة التوجيه، وصفحات الخطأ الزائف، والعناوين المحظورة، ومساحات عناوين URL المتشعبة الناتجة من التنقل متعدد الأوجه.
• Ahrefs Webmaster Tools — زحف + تدقيق مجانيان للمواقع التي تتحقق منها.
• URL Inspection (GSC) — اختبار حدسي سريع للزحف في اليوم نفسه لعنوان URL واحد.
• Bing Webmaster Tools — Crawl Control — جدولة زحف bingbot بحسب الساعة إذا كان حمل الخادم هو القيد.

هل لديك مشكلة في ميزانية الزحف؟

فحص شهري لصحة ميزانية الزحف

1. صدّر طلبات زواحف البحث من سجلات الخادم لنافذة التقارير نفسها كل شهر.
2. قسّم الطلبات حسب رمز الحالة والدليل ونوع الصفحة وما إذا كان عنوان URL قابلًا للفهرسة.
3. راجع أنماط المعاملات مرتفعة الحجم، والمسارات المكررة، وإعادة التوجيه، وصفحات الخطأ الزائف، وأخطاء الخادم.
4. قارن حصة الزحف للقوالب القيّمة بالفترة السابقة، وأضف ملاحظات عن عمليات الإطلاق أو الترحيل.
5. عيّن لكل نمط هدر جديد مسؤولًا وآلية تحكم: الروابط، أو المعاملات، أو إعادة التوجيه، أو تحديد العنوان الأساسي، أو الإزالة، أو إصلاح الخادم.
6. أعد فحص النمط المتأثر في نافذة السجل التالية؛ يكتمل إجراء التشغيل القياسي عندما تحتفظ عناوين URL القيّمة بإمكانية الوصول وينخفض الهدر عن خط الأساس الخاص بالموقع.

أخطاء ميزانية الزحف

• السعي وراء عدد طلبات أكبر. زيادة الزحف لا تحسن الترتيب. تتبع بدلًا من ذلك ما إذا كانت عناوين URL المهمة تُزحف عند الحاجة.
• حظر الهدر في robots.txt فقط. قد يوقف ذلك الجلب من دون إزالة عناوين URL المكتشفة أو إصلاح الروابط التي تنشئها. أزل مسارات الزحف ووحّد المخزون حيثما يلزم.
• تحديث lastmod لكل خريطة موقع في كل عملية بناء. الحداثة الزائفة تدفع الزواحف إلى عدم الثقة بالإشارة. لا تغيرها إلا عند تحديثات الصفحة المهمة.
• تجاهل أخطاء الخادم أثناء ضبط أنماط عناوين URL. تحد مشكلة السعة من الزحف المفيد. أصلح حالات انتهاء المهلة واستجابات 5xx أولًا.

موجه: تصنيف هدر سجل الزحف

الصق ملف CSV مشتقًا من السجل يتضمن عنوان URL والقالب والحالة والروبوت والزيارات والبايتات وقابلية الفهرسة. أزل قيم الاستعلام أو بيانات المستخدم أولًا.

Act as a technical SEO analyst. Classify each URL pattern as valuable crawling, necessary support crawling, redirect/error waste, duplicate/parameter waste, or unclear. Do not infer intent from the URL alone: list the evidence needed for every unclear row. Rank patterns by crawler requests and bytes, propose the safest control, and state what could break if that control is wrong. Return a table plus a short validation plan.

موجه: تحدي تشخيص لميزانية الزحف

Review the crawl-budget diagnosis below. Separate evidence of capacity, demand, discovery, and URL-inventory problems. Flag claims that confuse crawling with indexing or rankings. Then give the three smallest tests that would confirm or reject the diagnosis. Do not invent thresholds; use changes against the site's own baseline.

[PASTE DIAGNOSIS AND OBSERVATIONS]

تلخيص رموز حالة الزواحف من سجل وصول

شغّل هذا على سجل بنمط nginx/Apache بعد تعديل نمط الروبوت ليتوافق مع زيارات الزاحف التي تحققت منها:

awk 'BEGIN{IGNORECASE=1} /Googlebot|bingbot/ {print $9}' access.log | sort | uniq -c | sort -nr

على PowerShell:

Select-String -Path .\access.log -Pattern 'Googlebot|bingbot' | ForEach-Object { if ($_.Line -match '"\s(\d{3})\s') { $Matches[1] } } | Group-Object | Sort-Object Count -Descending

استخراج عائلات معاملات الاستعلام

استخدم هذا التعبير النمطي في تصدير زاحف أو محرر نصوص لالتقاط اسم معامل الاستعلام الأول:

\?([^=&]+)(?:=[^&]*)?

المجموعة 1 هي اسم المعامل. تحدد أعداد الطلبات المرتفعة أنماطًا تستحق التحقيق، لا عناوين URL يجب حظرها تلقائيًا.

اختبر نفسك: ميزانية الزحف

موارد تستحق وقتك

كتاباتي ذات الصلة

• متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — دليلي الكامل لدى Ahrefs عن هذا الموضوع، مع تفاصيل التحسين وقرارات التنقل متعدد الأوجه.
• كيفية إصلاح “Discovered – currently not indexed” — إشارة GSC التي تعمل أيضًا بوصفها ضوء تحذير لميزانية الزحف.
• دليل المبتدئين إلى SEO التقني — موضع ميزانية الزحف ضمن الصورة الأكبر.
• استراتيجيات SEO للمؤسسات — لأقلية المواقع الكبيرة التي تحتاج إلى هذا فعلًا.

محاضراتي

• كيف يعمل البحث (SlideShare) — شرحي لنموذج طلب الزحف مقابل حد معدل الزحف. (ينطبق التنبيه الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا هو فهمي للأنظمة… ولن يكون كاملًا أو دقيقًا بنسبة 100%.»)

من أنحاء المجال

• سلسلة Google ديسمبر للزحف (رسمية، لكنها أفضل مجموعة مركزة من شروحات الزحف، بما فيها التنقل متعدد الأوجه).
• Google تشرح ما تعنيه «ميزانية الزحف» لمشرفي المواقع (Barry Schwartz، Search Engine Land، 2017) — ملخص بلغة بسيطة لمنشور Google الأصلي عن ميزانية الزحف؛ مفيد لسياق “most sites don’t need to worry” (ترجمة) «لا تحتاج معظم المواقع إلى القلق».
• Gary Illyes يشرح الفرق بين ميزانية الزحف والجدولة وحمل المضيف (Search Engine Roundtable) — مصدر صياغة «المجموعة المرتبة بحسب الأهمية» / حمل المضيف التي توضح أنها قائمة انتظار ذات أولوية، لا حصة ثابتة.
• Google: 100,000 عنوان URL لا تؤثر عادةً في ميزانية الزحف (Search Engine Roundtable، 2021) — الرقم المرجعي الواضح من Mueller عند 100k وسياق <1/دقيقة على مدى 3 أشهر.
• أولويات الزحف لدى Google: رؤى من المحلل Gary Illyes (Search Engine Journal) — يتناول دحض «حصة الصفحات اليومية الثابتة» وزاوية «إقناع البحث بأن موادك تستحق الجلب».
• بوابات البنية التحتية الخمس وراء الزحف والعرض والفهرسة (Search Engine Land) — مصدر اقتباس Fabrice Canel «الأقل هو الأكثر في SEO» وفلسفة كفاءة الزحف لدى Bing.
• سلسلة bingbot: تحسين تكرار الزحف (Bing Webmaster Blog، Fabrice Canel) — كيف يقرر Bing وتيرة إعادة الزحف؛ وهو المقال المرافق لمنشور تعظيم كفاءة الزحف.
• r/TechSEO — مجتمع تصحيح مشكلات الزحف/الفهرسة.

إحصاءات تستحق الاستشهاد

• 100k عنوان URL لا تكفي عادةً لتكون مؤثرة. الرقم المرجعي الواضح من John Mueller: “100k URLs is usually not enough to affect crawl budget (it’s <1/minute over 3 months).” (ترجمة) «عادةً لا يكفي 100k عنوان URL للتأثير في ميزانية الزحف (فهو أقل من 1/دقيقة على مدى 3 أشهر).» الرقم الوحيد الأكثر فائدة لتهدئة القلق بشأن ميزانية الزحف. المصدر
• الحدود التي تبدأ عندها الأهمية: 1 مليون+ صفحة تتغير تقريبًا أسبوعيًا، أو 10٬000+ صفحة تتغير يوميًا (تقديرات Google التقريبية، لا حدودًا دقيقة). المصدر
• ~60% من الويب محتوى مكرر — تقدير Google الداخلي، وهو ما يجعل عناوين URL المكررة مصدرًا موثوقًا لاستنزاف ميزانية الزحف. المصدر

مؤشر الأداء الرئيسي الدائم لكفاءة الزحف

ميزانية الزحف ليست رقمًا تسلمه Google لك — بل تستدل عليها من الوجهات التي يوجّه إليها Googlebot طلباته فعلًا. مؤشر الأداء الرئيسي هو التقسيم: مقدار الزحف الذي يصل إلى الصفحات التي تريد فهرستها مقابل الصفحات التي تمثل هدرًا خالصًا. (أولًا، اختبار واقعي: لا يهم هذا إلا على نطاق واسع — تقول Google إن ميزانية الزحف تهم أساسًا المواقع التي تضم نحو 1M+ صفحة، أو المواقع المتوسطة التي تولد كثيرًا من عناوين URL المنشأة آليًا. ويمكن لموقع ثابت صغير تجاهل هذا المقياس تمامًا.)

تخصيص الزحف — الطلبات القيّمة مقابل المهدرة

• المقياس — حصة طلبات Googlebot المتحقق منها التي تصل إلى عناوين URL مهمة وقابلة للفهرسة مقابل العناوين المهدرة (التكرارات، وعناوين المعاملات/الأوجه، والمتغيرات غير الأساسية، وخطوات إعادة التوجيه، و4xx/5xx).
• ما يخبرك به — ما إذا كانت سعة الزحف تُنفق على صفحات تستطيع الترتيب. وتمثل زيادة حصة الهدر مؤشرًا مبكرًا لتأخر الاكتشاف/الفهرسة قبل ظهوره كمشكلة ترتيب.
• كيفية استخراجه — مرر سجلات الخادم عبر محلل ملفات السجل وقسّم زيارات Googlebot المتحقق منها حسب فئة عنوان URL؛ وأكّد النتائج بتقرير Crawl Stats في GSC (إجمالي الطلبات، وحسب الاستجابة، وحسب غرض الملف، وحالة المضيف).
• المعيار / النطاق الواقعي — يعتمد على الحالة — لا توجد «نسبة هدر» عامة وصادقة، لأنها تعتمد على بنية عناوين URL لديك. أنشئ خط أساس خاصًا بك وخفّض حصة الهدر بمرور الوقت؛ الاتجاه هو الإشارة، لا رقم مطلق مختلق.
• الوتيرة — شهريًا، وبمعدل أكبر مباشرةً بعد تغيير بنيوي (أوجه جديدة، أو ترحيل) أو حين يعرض Crawl Stats قفزة مفاجئة في الطلبات أو استجابات 4xx/5xx. يمثل هدر الزحف مقياسًا استباقيًا؛ وتتأخر عنه أعداد الصفحات المفهرسة.

سجل التغييرات