تكرار الزحف
عدد مرات إعادة محركات البحث جلب صفحة تعرفها بالفعل — ما الذي يحفز ذلك (الشعبية، والتقادم، وlastmod الصادق)، وما الذي لا يحفزه (changefreq وpriority والنشر اليومي)، ولماذا لا يمكنك فرضه.
اللغات
تكرار الزحف هو عدد مرات إعادة محرك البحث جلب صفحة يعرفها بالفعل. ويتحدد أساسًا بأهمية الصفحة (الشعبية وPageRank والروابط) وبمدى تغيرها فعليًا (التقادم)، مع أن Google تسمي مدخلات طلب أخرى أيضًا — إذ تتعلم Google نمط تحديث كل صفحة وتعدله. يمكنك التأثير فيه بصورة غير مباشرة عبر الأهمية والتغييرات الحقيقية وlastmod الدقيق والخادم السليم، لكن لا يمكنك ضبطه. تتجاهل Google changefreq وpriority؛ وقد يرتد تغيير lastmod تجميليًا؛ كما أن الزحف بوتيرة أعلى لا يحسن الترتيب.
الخلاصة — تكرار الزحف هو عدد مرات عودة محرك البحث لإعادة فحص صفحة يعرفها بالفعل. تُفحص الصفحات الشائعة كثيرة التغيير باستمرار؛ أما الصفحات التي لا تتغير قط فتُفحص نادرًا — وهذان أكبر عاملين، وإن لم يكونا العاملين الوحيدين. لا يمكنك ضبطه؛ لكن يمكنك التأثير فيه بصورة غير مباشرة بجعل الصفحة أكثر أهمية وتحديثها فعلًا.
ما معنى تكرار الزحف
عندما تعثر Google أو Bing على صفحة لأول مرة، يكون ذلك زحف اكتشاف. لكن الويب يتغير، فتعود محركات البحث لاحقًا لترى هل اختلفت الصفحة — وهذا زحف تحديث. تكرار الزحف هو عدد مرات حدوث إعادة الفحص هذه. Evidence for this claim Google's crawl-demand guidance says popular URLs tend to be crawled more often and systems seek to recrawl often enough to detect changes. Scope: Adaptive Google recrawling; no fixed per-page cadence is promised. Confidence: high · Verified: Google: Large site crawl budget guide
لا يكون المعدل واحدًا لكل الصفحات. قد تُعاد زيارة الصفحة الرئيسية لموقع أخبار نشط كل ساعتين تقريبًا. وقد تمر أشهر بين زيارات صفحة «About» لمؤسسة صغيرة لم تتغير منذ عامين. هذه أمثلة توضيحية وليست جدولًا منشورًا — فلا تنشر Google فواصل ثابتة بالساعات أو الأيام أو الأسابيع حسب نوع الصفحة. يقرر محرك البحث ذلك لكل صفحة وبصورة ديناميكية.
ما الذي يجعل الصفحة تُزحف بوتيرة أعلى
هناك أمران أهم من غيرهما:
- مدى أهمية الصفحة. تُعاد زيارة الصفحات الشائعة — التي تشير إليها روابط كثيرة — بوتيرة أعلى كي تحافظ Google على حداثتها.
- مدى تغير الصفحة فعلًا. تتعلم محركات البحث نمطك. فإذا حدّثت صفحة كل يوم، ستبدأ بفحصها يوميًا. وإذا لم تتغير قط، فستتراجع الزيارات إليها تدريجيًا.
هذان أكبر رافعتين، لكن القائمة لا تنتهي عندهما. تذكر وثائق Google نفسها أمورًا مثل عدد عناوين URL التي تظن أن لديك (المخزون المتصوَّر) والأحداث على مستوى الموقع — مثل نقل الموقع — كمدخلات يمكن أن ترفع طلب الزحف أو تخفضه.
ما الذي لا يجعل Google تزحف أكثر
هنا يختلط الأمر على الناس:
- النشر كل يوم لا يفرض زحفًا أسرع وحده. تزحف Google أكثر عندما تكون صفحاتك مهمة وتتغير فعلًا، لا لمجرد أنك تضغط زر النشر كثيرًا.
- الوسوم في ملف Sitemap لا تتحكم في ذلك. توجد إعدادات قديمة اسمها
changefreqوpriority— وتتجاهلهما Google تمامًا. Evidence for this claim Google ignores sitemap priority and changefreq values and may use accurate lastmod values. Scope: Google sitemap processing. Confidence: high · Verified: Google: Build and submit a sitemap - الزحف بوتيرة أعلى لا يساعد ترتيبك. يجب أن تُزحف الصفحة لكي تترتب أصلًا، لكن الزحف إليها أكثر لن يرفعها.
الإجابة الصادقة عن «كيف أجعل الزحف أكثر؟»
لا يوجد زر لذلك. ما يساعد فعلًا هو: اربط الصفحة من صفحاتك المهمة، وحافظ على سرعة موقعك وخلوه من الأخطاء، وأجرِ تحديثات حقيقية ذات معنى (لا مجرد تغيير السنة في تذييل الصفحة). وإذا غيّرت شيئًا مهمًا وأردت من Google إلقاء نظرة جديدة على صفحة واحدة، يمكنك طلب ذلك من أداة URL Inspection في Google Search Console.
هل تريد النسخة التي تتضمن اقتباسات Google وBing وتفاصيل lastmod والفرق عن crawl budget وcrawl rate؟ انتقل إلى تبويب Advanced.
الخلاصة — تكرار الزحف هو وتيرة إعادة الزحف إلى عنوان URL معروف، ويحددها المجدول أساسًا من مدخلين: الأهمية (الشعبية / PageRank / الروابط) والتقادم (مدى تغير الصفحة فعليًا) — وتذكر وثائق Google مدخلات طلب أخرى أيضًا، مثل المخزون المتصوَّر والأحداث على مستوى الموقع. تتعلم Google نمط تحديث كل صفحة وتتكيف معه — بل تتراجع عن الصفحات المستقرة (3 → 10 → 30 → 100 يوم). تُتجاهل
changefreqوpriority؛ ولا يُعتد إلا بـlastmodقابل للتحقق مرتبط بتغيير مهم. لا يمكنك ضبط التكرار مباشرة؛ بل تحسن المدخلات (الأهمية والتغيير الحقيقي وlastmodالدقيق وسلامة الخادم) وتطلب إعادة زحف لعنوان URL واحد عند الحاجة. الزحف الأكثر لا يحسن الترتيب. وهو مختلف عن rate الزحف (السرعة) وعن budget الزحف (الطلب + السعة).
ما هو تكرار الزحف فعلًا
تكرار الزحف هو عدد مرات إعادة محرك البحث جلب عنوان URL يعرفه بالفعل ليتحقق من تغيره. إنه وتيرة إعادة الزحف التي يقررها مجدول الزحف لكل عنوان URL. والمدخلان الكبيران هما أهمية الصفحة ومدى تغيرها فعليًا — وتسمي وثائق Google هذين الشعبية والتقادم. Evidence for this claim Google's crawl-demand guidance says popular URLs tend to be crawled more often and systems seek to recrawl often enough to detect changes. Scope: Adaptive Google recrawling; no fixed per-page cadence is promised. Confidence: high · Verified: Google: Large site crawl budget guide
هذه أكثر نقطة يسهل خلطها بالمفاهيم القريبة منها في موضوع الزحف، لذا سأرسم الحدود بوضوح.
تكرار الزحف مقابل ميزانية الزحف مقابل معدل الزحف
تُستعمل هذه المصطلحات الثلاثة بالتبادل، ولا ينبغي أن تُستعمل كذلك:
| المصطلح | ما الذي يقيسه | من يحدده |
|---|---|---|
| تكرار الزحف | عدد مرات إعادة جلب عنوان URL معروف (الوتيرة) | المجدول — الشعبية + التقادم |
| معدل الزحف (السعة) | السرعة / عدد الاتصالات المتوازية | سلامة خادمك (السريع = أكثر، والأخطاء = أقل) |
| ميزانية الزحف | الطلب + السعة — «مجموعة عناوين URL التي تستطيع Google وترغب في زحفها» | كلا العاملين السابقين مجتمعين |
يجمع تعريف Google نفسه بين الأمرين: “Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (ترجمة) «تعرّف Google ميزانية زحف الموقع بأنها مجموعة عناوين URL التي تستطيع Google وترغب في زحفها». تندرج وتيرة الزحف إلى كل عنوان URL ضمن تلك الميزانية، بينما يعمل المعدل كصمام للتحكم في التدفق. وكما أقول في دليلي عن ميزانية الزحف: “Crawl budget is the amount of time and resources a search engine allows for crawling a website. It is made up [of] crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” (ترجمة) «ميزانية الزحف هي مقدار الوقت والموارد التي يتيحها محرك البحث لزحف موقع؛ وتتكون من طلب الزحف، أي عدد الصفحات التي يريد محرك البحث زحفها في موقعك، ومعدل الزحف، أي مدى سرعة زحفه».
زحف الاكتشاف مقابل زحف التحديث
يتعلق التكرار في الحقيقة بزحف التحديث. وقد أوضح John Mueller الفرق بجلاء: “One is a discovery crawl where we try to discover new pages on your website. And the other is a refresh crawl where we update existing pages that we know about.” (ترجمة) «أحدهما زحف اكتشاف نحاول فيه اكتشاف صفحات جديدة في موقعك، والآخر زحف تحديث نحدّث فيه الصفحات الموجودة التي نعرفها».
تختلف وتيرة التحديث بشدة حسب الصفحة. ويقول Mueller مرة أخرى: “We would refresh crawl the homepage, I don’t know, once a day, or every couple of hours, or something like that.” (ترجمة) «قد نعيد زحف الصفحة الرئيسية، لا أدري، مرة في اليوم أو كل ساعتين تقريبًا أو شيئًا من هذا القبيل». وعلى الطرف الآخر: “If we recognize that individual pages change very rarely, then we realize we don’t have to crawl them all the time.” (ترجمة) «إذا أدركنا أن صفحات بعينها تتغير نادرًا جدًا، ندرك أننا لا نحتاج إلى زحفها طوال الوقت».
والفكرة الأساسية أن Google تتعلم نمطك لكل صفحة: “If you have a news website and you update it hourly, then we should learn that we need to crawl it hourly. Whereas if it’s a news website that updates once a month, then we should learn that we don’t need to crawl every hour.” (ترجمة) «إذا كان لديك موقع أخبار وتحدّثه كل ساعة، فعلينا أن نتعلم أننا نحتاج إلى زحفه كل ساعة؛ أما إذا كان موقع أخبار يُحدّث مرة في الشهر، فعلينا أن نتعلم أننا لا نحتاج إلى زحفه كل ساعة».
ما الذي يحدد عدد مرات إعادة Google زحف الصفحة
في عرضي كيف يعمل البحث أعدد عوامل طلب الزحف التي تدفع إلى إعادة الزحف: PageRank، وعدد مرات تغير الصفحة، والوقت منذ آخر زحف، والتغييرات الكبرى في الموقع. وهذا نموذج الشعبية + التقادم نفسه الذي توثقه Google، لكنه تأطيري الخاص وليس قائمة شاملة. وتسمي وثائق Google أيضًا المخزون المتصوَّر (عدد عناوين URL التي تظن أن موقعك يملكها) والأحداث على مستوى الموقع، مثل نقل النطاق أو بنية عناوين URL، كأمور قد ترفع طلب الزحف أو تخفضه. الشعبية والتقادم هما ما يمكنك التأثير فيه مباشرة، ولذلك يستحقان أكبر قدر من الاهتمام. لنفككهما:
الشعبية وPageRank والروابط
“URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (ترجمة) «تميل عناوين URL الأكثر شعبية على الإنترنت إلى الزحف بوتيرة أعلى كي تبقى أحدث في أنظمتنا». مزيد من الروابط الداخلية والخارجية إلى الصفحة → أهمية متصوَّرة أكبر → إعادة زحف أكثر تكرارًا. وأقول الشيء نفسه في مقال ميزانية الزحف: “Popular pages, or those with more links and PageRank, will generally receive priority over other pages.” (ترجمة) «تحظى الصفحات الشائعة، أو التي لها روابط وPageRank أكثر، عمومًا بأولوية على الصفحات الأخرى».
التقادم — والتراجع التدريجي
تقول Google إن أنظمتها “want to recrawl documents frequently enough to pick up any changes.” (ترجمة) «تريد إعادة زحف المستندات بوتيرة تكفي لالتقاط أي تغييرات». والوجه الآخر أن الصفحات التي لا تتغير تُزحف بوتيرة أقل فأقل. ومن دليلي عن ميزانية الزحف: “If Google sees that a page isn’t changing, they will crawl the page less frequently.” (ترجمة) «إذا رأت Google أن الصفحة لا تتغير، فستزحف إليها بوتيرة أقل». لا توجد فترة ثابتة؛ بل تراجع تدريجي: “if they crawl a page and see no changes after a day, they may wait three days before crawling again, ten days the next time, 30 days, 100 days, etc.” (ترجمة) «إذا زحفوا إلى صفحة ولم يروا تغييرات بعد يوم، فقد ينتظرون ثلاثة أيام قبل الزحف مرة أخرى، ثم عشرة أيام في المرة التالية، ثم 30 يومًا و100 يوم وهكذا».
الجودة وطلب البحث
يصف Gary Illyes المجدول بأنه يستجيب لما يثبت أن المحتوى جدير بالجلب: “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (ترجمة) «إذا أردت زيادة مقدار زحفنا، فعليك بطريقة ما إقناع البحث بأن ما لديك يستحق الجلب؛ فهذا أساسًا ما يصغي إليه المجدول». وهو ديناميكي: “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (ترجمة) «الجدولة ديناميكية جدًا. وبمجرد أن تصلنا إشارات من فهرسة البحث بأن جودة المحتوى ارتفعت عبر هذا العدد من عناوين URL، نبدأ ببساطة في رفع الطلب». ويعمل الأمر في الاتجاهين — “If search demand goes down, then that also correlates to the crawl limit going down.” (ترجمة) «إذا انخفض طلب البحث، فإن ذلك يرتبط أيضًا بانخفاض حد الزحف».
من المفيد أن تعرف أن Google تحاول بنشاط زحف الصفحات المستقرة بقدر أقل لأسباب تتعلق بالكفاءة. وقد وصف Illyes علنًا الرغبة في «crawl even less» وتقليل البايتات المنقولة. لذلك لا تتوقع أن يميل المجدول إلى الإفراط في زحف صفحاتك التي لا تتغير.
سلامة الخادم (المعدل يتيح التكرار)
لا يمكن للتكرار أن يتجاوز ما يسمح به معدلك. فحد سعة الزحف هو تقريبًا أقصى عدد من الاتصالات المتوازية التي تستخدمها Google؛ ويرفع الخادم السريع الخالي من الأخطاء هذا السقف، بينما يؤدي الموقع البطيء أو الذي يعيد 5xx/429 إلى زحف أقل. لا تزيد سلامة الخادم التكرار؛ إنها تمنع الخادم من أن يكون عنق زجاجة فحسب.
دور ملفات Sitemap وlastmod
هذه أكبر خرافة ينبغي هدمها. يظن الناس أن إعدادات Sitemap تتحكم في الوتيرة. وهي في معظمها لا تفعل ذلك.
يتم تجاهل changefreq وpriority
من وثائق Sitemap لدى Google مباشرة: “Google ignores <priority> and <changefreq> values.” (ترجمة) «تتجاهل Google قيم <priority> و<changefreq>». إن ضبطت <changefreq>hourly</changefreq> فلن يحدث شيء. Evidence for this claim Google ignores sitemap priority and changefreq values and may use accurate lastmod values. Scope: Google sitemap processing. Confidence: high · Verified: Google: Build and submit a sitemap
توقف عن تحسين هذين الحقلين.
lastmod هو الإشارة الوحيدة — إذا كان صادقًا
إشارة الحداثة الوحيدة التي تعتد بها Google من Sitemap هي lastmod، وبشروط فقط: “Google uses the <lastmod> value if it’s consistently and verifiably (for example by comparing to the last modification of the page) accurate.” (ترجمة) «تستخدم Google قيمة <lastmod> إذا كانت دقيقة باستمرار وقابلة للتحقق (مثلًا بمقارنتها بآخر تعديل للصفحة)». وإذا كانت غير صادقة، تلاحظ Google ذلك وتتوقف عن الثقة بها.
ويجب أن تعكس تغييرًا حقيقيًا: “The <lastmod> value should reflect the date and time of the last significant update to the page. For example, an update to the main content, the structured data, or links on the page is generally considered significant, however an update to the copyright date is not.” (ترجمة) «ينبغي أن تعكس قيمة <lastmod> تاريخ ووقت آخر تحديث مهم للصفحة. فعلى سبيل المثال، يُعد تحديث المحتوى الرئيسي أو البيانات المنظّمة أو الروابط في الصفحة مهمًا عمومًا، بينما لا يُعد تحديث تاريخ حقوق النشر كذلك». لن يساعد رفع lastmod لأنك غيرت سنة التذييل؛ بل يقوض الثقة التي تجعل lastmod مفيدًا.
هل يمكنك فرض الزحف أو تسريعه؟
الإجابة الصادقة: لا يوجد إعداد مباشر لضبط التكرار. ما لديك فعلًا:
- حسّن المدخلات — الأهمية (الروابط والربط الداخلي)، وتغييرات المحتوى الحقيقية، و
lastmodالدقيق، والخادم السريع السليم. - اطلب عنوان URL واحدًا — تحتوي URL Inspection في Google Search Console على إجراء «Request indexing» لصفحة واحدة كل مرة. إنه طلب لا ضمان، ولا يغير الوتيرة المستمرة. وتوضح Google أن النقر المتكرر لا يفيد: طلب العنوان نفسه مرارًا لن يجعله يُزحف إليه أسرع.
- أرسل إشعارًا بالتغيير (إلى Bing وغيرها) — انظر أدناه.
ما لا يمكنك فعله: ضبط وتيرة، أو فرض زحف يومي بالنشر اليومي، أو استخدام شريط معدل الزحف القديم في GSC (فقد أُحيل إلى التقاعد). لدى Bing أداة Crawl Control، لكنها تتحكم في المعدل لا التكرار.
Bing: زحف تكيفي وIndexNow
تتعامل Bing مع تكرار الزحف بوصفه مشكلة تكلفة. ففي منشورهم عن تكرار الزحف، «depends on the frequency of which the content is edited and updated,» (ترجمة) «يعتمد على تكرار تحرير المحتوى وتحديثه»، و«Defining when to fetch the web page next is the hard problem we are looking to optimize.» (ترجمة) «تحديد موعد جلب صفحة الويب التالية هو المشكلة الصعبة التي نسعى إلى تحسينها». وكان جوابهم التكيفي: “What we learned was that we could optimize our system to avoid fetching the same content over and over, and instead check periodically for major changes” (ترجمة) «تعلمنا أننا نستطيع تحسين نظامنا لتجنب جلب المحتوى نفسه مرارًا، والتحقق بدلًا من ذلك دوريًا من التغييرات الكبرى» — وقد أدى ذلك في حالة إلى “about 40% crawl saving on this site!” (ترجمة) «توفير في الزحف بنحو 40% على هذا الموقع».
الآلية التي تتيح لك الإشارة مباشرة إلى Bing هي IndexNow: فبدل انتظار المجدول، تُبلغه بحدوث تغيير. “Whether you’re adding, updating, or deleting content, IndexNow notifies multiple search engines of your content changes as soon as they happen,” (ترجمة) «سواء أكنت تضيف محتوى أو تحدّثه أو تحذفه، يُخطر IndexNow محركات بحث متعددة بتغييرات المحتوى فور حدوثها»، وذلك من أجل “limiting the need for costly exploratory crawls.” (ترجمة) «تقليل الحاجة إلى عمليات زحف استكشافية مكلفة». لكن الفرق المهم هو أن Google لا تستخدم IndexNow لإعادة الزحف العامة.
كيف تتحقق من تكرار الزحف
- GSC → Crawl Stats — إجمالي الطلبات بمرور الوقت، مقسّمًا حسب رمز الاستجابة ونوع الملف ونوع Googlebot. هذه طريقة ملاحظة الوتيرة على مستوى الموقع؛ وليست تقرير آخر زحف لكل عنوان URL.
- GSC → URL Inspection — تاريخ «آخر زحف» لعنوان URL واحد. هنا، لا في Crawl Stats، تتحقق من آخر جلب لصفحة محددة.
- Bing Webmaster Tools — Crawl Control (المعدل) وIndexNow Insights.
- تحليل سجلات الخادم — مصدر الحقيقة: عناوين URL التي زارتها الروبوتات بالضبط وعدد مرات الزيارة.
خرافات شائعة عن تكرار الزحف
- «النشر يوميًا يفرض زحفًا أسرع». لا — تتعلم Google نمطك وتزحف أكثر من أجل الأهمية والتغيير الحقيقي، لا من أجل حجم النشر.
- «تتحكم
changefreq/priorityفي الوتيرة». لا — كلاهما متجاهل. - «ارفع
lastmodفحسب لتحصل على إعادة زحف». لا يعمل ذلك إلا إذا كان قابلًا للتحقق ومرتبطًا بتغيير مهم؛ والتلاعب به يجعل Google لا تثق بك. - «الزحف الأكثر يعني ترتيبًا أفضل». لا. وكما كتبت في دليلي عن ميزانية الزحف، “The rate of crawling isn’t going to impact your rankings.” (ترجمة) «لن يؤثر معدل الزحف في ترتيبك». الزحف شرط مسبق، لا عامل دفع للترتيب — “More crawling doesn’t mean you’ll rank better, but if your pages aren’t crawled and indexed they aren’t going to rank at all.” (ترجمة) «الزحف الأكثر لا يعني أنك ستترتب أفضل، لكن إذا لم تُزحف صفحاتك وتُفهرس فلن تترتب أصلًا».
- «هناك جدول ثابت». لا — الوتيرة ديناميكية ولكل عنوان URL وتكيفية.
- «يمكنني ضبط تكرار الزحف في Search Console». لا — شريط المعدل اختفى ولا يوجد تحكم بالتكرار.
ملخص الذكاء الاصطناعي
عرض موجز للنسخة المتقدمة:
- تكرار الزحف = وتيرة إعادة الزحف إلى عنوان URL تعرفه Google بالفعل. ويتحدد أساسًا بـالشعبية (الروابط / PageRank) والتقادم (مدى تغير الصفحة فعليًا) — وتذكر وثائق Google أيضًا المخزون المتصوَّر والأحداث على مستوى الموقع كمدخلات للطلب.
- تتعلم Google نمط كل صفحة وتتكيف معه — فتزحف إلى الصفحة الرئيسية النشطة كل ساعة، وإلى الصفحة الثابتة نادرًا، وتتراجع (3 → 10 → 30 → 100 يوم) للصفحات التي لا تتغير.
- وهو مختلف عن مفهومين قريبين: المعدل = مدى السرعة (يتحكم فيه الخادم)، والميزانية = الطلب + السعة («عناوين URL التي تستطيع Google وترغب في زحفها»). تندرج وتيرة الزحف ضمن الميزانية.
- حقيقة Sitemap: يتم تجاهل
changefreqوpriority؛ ولا يُعتد إلا بـlastmodقابل للتحقق مرتبط بتغيير مهم. - لا يمكنك ضبط التكرار. حسّن المدخلات (الأهمية والتغيير الحقيقي و
lastmodالصادق وسلامة الخادم)، واطلب عنوان URL واحدًا عبر URL Inspection في GSC، وادفع التغييرات عبر IndexNow على Bing (لا Google). - الزحف الأكثر ≠ ترتيب أفضل. الزحف مطلوب للترتيب، لكنه ليس إشارة ترتيب.
- راقبه في Crawl Stats في GSC (طلبات الموقع بمرور الوقت — لا سجلًا لكل عنوان URL)، أو تاريخ آخر زحف في URL Inspection، أو Bing Webmaster Tools، أو سجلات الخادم.
الوثائق الرسمية
وثائق المصادر الأولية عن وتيرة إعادة الزحف.
- تحسين ميزانية الزحف — طلب الزحف (المخزون المتصوَّر والشعبية والتقادم) وسعة الزحف؛ النموذج الذي يقف وراء تكرار إعادة الزحف.
- إنشاء Sitemap وإرساله — لماذا تُتجاهل
changefreq/priorityوكيف تُستخدمlastmodفعليًا. - دليل متعمق لكيفية عمل بحث Google — مجدول الزحف الخوارزمي («أي المواقع نزحف إليها، وكم مرة، وكم صفحة»).
Bing / Microsoft
- سلسلة bingbot: تحسين تكرار الزحف — تصور Bing لوتيرة تحددها تغييرات المحتوى.
- Bing Webmaster Tools — Crawl Control — ضبط معدل Bingbot بالساعة (معدل لا تكرار).
- IndexNow — بروتوكول الدفع للإشارة إلى عناوين URL المتغيرة بدل انتظار إعادة الزحف.
اقتباسات من المصدر
تصريحات مسجلة من Google وBing. كل رابط عميق يقفز إلى المقطع المقتبس في صفحة المصدر.
Google — ما الذي يحرك وتيرة إعادة الزحف
- “URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (ترجمة) «تميل عناوين URL الأكثر شعبية على الإنترنت إلى الزحف أكثر كي تبقى أحدث في أنظمتنا». — وثائق Google Search Central. انتقل إلى الاقتباس
- “Our systems want to recrawl documents frequently enough to pick up any changes.” (ترجمة) «تريد أنظمتنا إعادة زحف المستندات بوتيرة تكفي لالتقاط أي تغييرات». انتقل إلى الاقتباس
- “Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (ترجمة) «تعرّف Google ميزانية زحف الموقع بأنها مجموعة عناوين URL التي تستطيع Google وترغب في زحفها». انتقل إلى الاقتباس
Google — ملفات Sitemap وchangefreq وlastmod
- “Google ignores
<priority>and<changefreq>values.” (ترجمة) «تتجاهل Google قيم<priority>و<changefreq>». انتقل إلى الاقتباس - “Google uses the
<lastmod>value if it’s consistently and verifiably (for example by comparing to the last modification of the page) accurate.” (ترجمة) «تستخدم Google قيمة<lastmod>إذا كانت دقيقة باستمرار وقابلة للتحقق». انتقل إلى الاقتباس - “The
<lastmod>value should reflect the date and time of the last significant update to the page. For example, an update to the main content, the structured data, or links on the page is generally considered significant, however an update to the copyright date is not.” (ترجمة) «ينبغي أن تعكس قيمة<lastmod>تاريخ ووقت آخر تحديث مهم للصفحة؛ فتحديث المحتوى الرئيسي أو البيانات المنظّمة أو الروابط مهم عمومًا، أما تحديث تاريخ حقوق النشر فليس كذلك». انتقل إلى الاقتباس
John Mueller، Google (ساعات العمل الخاصة بـSEO، يناير 2022)
- “One is a discovery crawl where we try to discover new pages on your website. And the other is a refresh crawl where we update existing pages that we know about.” (ترجمة) «الأول زحف اكتشاف نبحث فيه عن صفحات جديدة على موقعك، والثاني زحف تحديث نراجع به الصفحات الموجودة المعروفة لدينا». انتقل إلى الاقتباس
- “We would refresh crawl the homepage, I don’t know, once a day, or every couple of hours, or something like that.” (ترجمة) «قد نعيد زحف الصفحة الرئيسية مرة في اليوم أو كل ساعتين تقريبًا». انتقل إلى الاقتباس
- “If you have a news website and you update it hourly, then we should learn that we need to crawl it hourly. Whereas if it’s a news website that updates once a month, then we should learn that we don’t need to crawl every hour.” (ترجمة) «إذا حدّثت موقع أخبار كل ساعة فعلينا أن نتعلم زحفه كل ساعة، أما إذا حدّثته مرة في الشهر فعلينا أن نتعلم أننا لا نحتاج إلى زحفه كل ساعة». انتقل إلى الاقتباس
Gary Illyes، Google (أولويات الزحف)
- “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (ترجمة) «إذا أردت زيادة مقدار زحفنا فعليك إقناع البحث بأن ما لديك يستحق الجلب؛ فهذا ما يصغي إليه المجدول». انتقل إلى الاقتباس
- “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (ترجمة) «الجدولة ديناميكية جدًا؛ وبمجرد وصول إشارات بأن جودة المحتوى ارتفعت عبر هذا العدد من عناوين URL نبدأ في رفع الطلب». انتقل إلى الاقتباس
Microsoft Bing — تحسين تكرار الزحف
- “The answer depends on the frequency of which the content is edited and updated.” (ترجمة) «تعتمد الإجابة على تكرار تحرير المحتوى وتحديثه». انتقل إلى الاقتباس
- “Defining when to fetch the web page next is the hard problem we are looking to optimize with your help.” (ترجمة) «تحديد موعد جلب صفحة الويب التالية هو المشكلة الصعبة التي نسعى إلى تحسينها بمساعدتك». انتقل إلى الاقتباس
- “Whether you’re adding, updating, or deleting content, IndexNow notifies multiple search engines of your content changes as soon as they happen.” (ترجمة) «سواء أكنت تضيف المحتوى أو تحدّثه أو تحذفه، يخطر IndexNow محركات بحث متعددة بتغييراتك فور حدوثها». — IndexNow. انتقل إلى الاقتباس
النماذج الذهنية
1. التكرار = الشعبية × التقادم. مدخلان يحددان عدد مرات تحديث عنوان URL معروف: مدى أهميته (الشعبية / PageRank / الروابط) ومدى تغيره فعليًا (التقادم). تُزحف الصفحة المهمة كثيرة التغيير أكثر من غيرها؛ وتُزحف الصفحة التي لا تتمتع بأي منهما أقل. وكل ما عدا ذلك رافعة تابعة لهذين العاملين.
2. زحف الاكتشاف مقابل زحف التحديث. يعثر زحف الاكتشاف على عنوان URL جديد مرة واحدة. ويعيد زحف التحديث فحص عنوان URL معروف — والتكرار متعلق بالتحديث كله. إذا لم تُعد زحف صفحة، فاسأل هل المشكلة في الأهمية أم في أن «Google تظن أن لا شيء يتغير هنا»؛ فالإصلاح مختلف في كل حالة.
3. التكرار ≠ المعدل ≠ الميزانية. التكرار هو الوتيرة (عدد المرات). والمعدل هو السرعة (مدى السرعة، ويحده الخادم). والميزانية هي الطلب + السعة (مجموعة عناوين URL التي تستطيع Google وترغب في زحفها). تندرج وتيرة الزحف ضمن الميزانية؛ ويضع المعدل سقفًا لما يمكن تحقيقه منها.
4. يتعلم المجدول نمطك. تتكيف Google لكل صفحة مع وتيرة تحديثك الحقيقية وتتراجع عن الصفحات المستقرة (3 → 10 → 30 → 100 يوم). لا تهزم المجدول بزيادة النشر؛ بل تغير ما يتعلمه بأن تكون الصفحة مهمة فعلًا وتتغير فعلًا.
5. إشارة Sitemap الصادقة الوحيدة.
لا تفعل changefreq وpriority شيئًا. أما lastmod القابل للتحقق المرتبط بتغيير مهم فهو إشارة الحداثة الوحيدة التي يعتد بها — وفقط ما دمت تحافظ على دقته.
ما الذي يزيد تكرار إعادة الزحف فعليًا
مرور على الروافع التي تحرك الوتيرة — والفخاخ التي لا تحركها:
- اجعل الصفحة أكثر أهمية. أضف روابط داخلية من صفحات قوية واكسب روابط خارجية. فالشعبية أكبر رافعة للتكرار.
- أجرِ تغييرات حقيقية. حدّث المحتوى الرئيسي أو البيانات المنظّمة أو الروابط، لا تعديلات تجميلية. تتعلم Google هل تتغير الصفحة فعلًا.
- حافظ على دقة
lastmodوقابليته للتحقق. يجب أن يعكس آخر تحديث مهم؛ ولا يُحتسب رفع سنة حقوق النشر ويقوض الثقة. - لا تشغل بالك بـ
changefreq/priority— Google تتجاهلهما. - حافظ على سرعة الخادم وخلوه من الأخطاء. تخفض
5xx/429/المهل سعة الزحف، فتضع سقفًا للتكرار. - اطلب عنوان URL واحدًا عندما يهم الأمر — GSC URL Inspection → Request indexing لصفحة واحدة بعد تحديث ذي معنى.
- على Bing/Yandex استخدم IndexNow لدفع إشعارات التغيير بدل انتظار المجدول (لا تستخدمه Google).
- لا تتوقع أن يساعد حجم النشر وحده — يتبع التكرار الأهمية والتغيير الحقيقي، لا عدد مرات ضغط زر النشر.
- افحص Crawl Stats لتواريخ آخر زحف وانقسام الاكتشاف/التحديث قبل افتراض وجود مشكلة في التكرار.
أدوات لرؤية تكرار الزحف
- Google Search Console — تقرير Crawl Stats — الطلبات بمرور الوقت حسب رمز الاستجابة ونوع الملف ونوع Googlebot. أوضح عرض على مستوى الموقع لعدد مرات عودة Google عمومًا، لا سجلًا لكل عنوان URL.
- URL Inspection (GSC) — تاريخ «آخر زحف» لعنوان URL واحد، وإجراء Request indexing بعد تغيير ذي معنى. لا تسرّع الطلبات المتكررة للعنوان نفسه الزحف.
- Bing Webmaster Tools — Crawl Control (ضبط معدل Bingbot بالساعة) وIndexNow Insights للدفع.
- تحليل ملف سجل الخادم — مصدر الحقيقة حول عناوين URL التي زارتها الروبوتات وعدد مرات الزيارة. الأدوات: Screaming Frog Log File Analyser، أو إدخال السجلات إلى BigQuery / منصة سجلات. (انظر تحليل ملفات السجل.)
- Ahrefs Site Audit / Webmaster Tools — محاكاة زحف وإظهار إشارات الأهمية (الروابط الداخلية والعمق) التي تدخل في التكرار.
أخطاء تكرار الزحف
- تغيير
lastmodفي Sitemap من دون تغيير الصفحة. تجعل التواريخ الكاذبة الإشارة أقل فائدة. حدّثlastmodفقط لتغييرات محتوى ذات معنى. - الاعتماد على
changefreqأوpriority. تتجاهل Google تلميحات Sitemap هذه. استخدم اكتشافًا قويًا وإشارات أهمية وتعديل صادقة بدلًا منها. - طلب الفهرسة مرارًا لصفحة لم تتغير. لا ينشئ الجلب الآخر قيمة ولا يفرض الفهرسة. حسّن الصفحة أو إشاراتها أولًا.
- اعتبار الزحف المتكرر مكسبًا في الترتيب. يصف تكرار الزحف الجلب، لا الجودة أو الموضع. قِس هل تُلتقط التغييرات المهمة في الوقت المناسب.
- فرض تعديلات تجميلية وفق جدول. تتعلم محركات البحث أنماط التغيير الحقيقية. أجرِ تحديثات مفيدة بدل تغيير التواريخ أو المسافات البيضاء.
ورقة غش لإشارات تكرار الزحف
| الإشارة أو الإجراء | الدور المحتمل |
|---|---|
| روابط داخلية/خارجية قوية | توصل الأهمية وتدعم إعادة زحف أكثر تكرارًا |
| تغييرات محتوى ذات معنى | تمنح الزاحف سببًا للعودة |
Sitemap lastmod دقيق | يساعد على توصيل أن عنوان URL تغير ماديًا |
| استجابات صحية وسريعة | تتيح الزحف لكنها لا تنشئ طلبًا وحدها |
Sitemap changefreq / priority | تتجاهلها Google |
| طلبات URL Inspection المتكررة | طلب موضعي لا وسيلة مستدامة لضبط التكرار |
| IndexNow | إشعار تغيير للمحركات المشاركة، لا زحفًا أو فهرسة مضمونة |
مقاييس تكرار الزحف
وسيط فترة إعادة الزحف حسب القالب
المقياس: الوسيط الزمني بين عمليات جلب الزاحف المتحقق منها للعنوان نفسه. ما الذي يخبرك به: وتيرة العودة التي تعلمها النظام. طريقة السحب: رتّب طلبات سجل الوصول حسب عنوان URL المطبع والطابع الزمني، ثم قسّمها حسب القالب. المعيار / النطاق الواقعي: قارن بمدى تغير كل قالب فعليًا؛ فلا يوجد هدف واحد للموقع يناسب صفحات الأخبار والصفحات الدائمة معًا. الوتيرة: شهريًا.
زمن التأخر من التغيير إلى إعادة الزحف
المقياس: الزمن بين حدث نشر/تحديث ذي معنى والجلب التالي. ما الذي يخبرك به: هل تُكتشف التغييرات المهمة بسرعة. طريقة السحب: اضمم طوابع CMS أو النشر إلى سجلات الوصول. المعيار / النطاق الواقعي: أنشئ خط أساس لكل قالب وابحث في التراجعات. الوتيرة: شهريًا وبعد تغييرات Sitemap/الربط الداخلي.
معدل lastmod الصادق
المقياس: تغييرات Sitemap lastmod التي تقابل تغييرات صفحة ذات معنى. ما الذي يخبرك به: هل تبقى إشارة الحداثة موثوقة. طريقة السحب: قارن تاريخ Sitemap بتجزئات المحتوى أو سجلات الإصدار. المعيار / النطاق الواقعي: ينبغي تفسير كل تاريخ متغير بتحديث ذي معنى. الوتيرة: مع كل إصدار Sitemap أو بعينة أسبوعية.
اختبر نفسك: تكرار الزحف
موارد تستحق وقتك
كتاباتي ذات الصلة
- متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — المقال الأقرب: الطلب والمعدل والتراجع بسبب التقادم ولماذا لا يمثل التكرار عامل ترتيب.
- ما Googlebot وكيف يعمل؟ — آليات الزاحف خلف المجدول.
- Crawl Me Maybe? How Website Crawlers Work — مقدمة عامة عن الزواحف.
- دليل المبتدئ إلى SEO التقني — موضع الزحف في الصورة الأكبر.
كلامي وعروضي
- كيف يعمل البحث (SlideShare) — شرحي لعوامل طلب الزحف (PageRank وتكرار التغيير والوقت منذ آخر زحف والتغييرات الكبرى في الموقع). (ينطبق إخلاء المسؤولية الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا فهمي للأنظمة… ولن يكون كاملًا أو دقيقًا بنسبة 100%».)
من الآخرين
- سلسلة Google Crawling December — أفضل مجموعة مركزة من شروحات الزحف الرسمية.
- لدى Google نوعان من الزحف — الاكتشاف والتحديث (Search Engine Journal) — اقتباسات John Mueller الحرفية عن زحفي الاكتشاف والتحديث وكيف تتعلم Google نمط كل صفحة.
- أولويات زحف Google: رؤى من المحلل Gary Illyes (Search Engine Journal) — Gary Illyes عن المجدول الديناميكي وإشارات الجودة التي تحرك طلب الزحف وإقناع Google بأن المحتوى يستحق الجلب.
- Google تدرس خفض معدل زحف صفحات الويب (Search Engine Journal) — تغطية لهدف Google المعلن زحف الصفحات المستقرة أقل، بما يؤيد نمط التراجع.
- سلسلة bingbot: تعظيم كفاءة الزحف (Bing Webmaster Blog) — المقال المصاحب لـOptimizing Crawl Frequency عن كفاءة Bing في الزحف.
- r/TechSEO — مجتمع تشخيص الفهرسة والزحف.
سجل التغييرات
تم التحديث في 22 أغسطس 2026.
ملخص تحريري وتفاصيل التغيير المسجلة.تفاصيل التغيير
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
المقارنة الكاملة غير متاحة — لم تُؤرشف لقطة سابقة لهذه المراجعة.
تم التحديث في 22 أغسطس 2026.
ملخص تحريري وتفاصيل التغيير المسجلة.تفاصيل التغيير
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
المقارنة الكاملة غير متاحة — لم تُؤرشف لقطة سابقة لهذه المراجعة.
تم التحديث في 14 أغسطس 2026.
ملخص تحريري وتفاصيل التغيير المسجلة.تفاصيل التغيير
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
المقارنة الكاملة غير متاحة — لم تُؤرشف لقطة سابقة لهذه المراجعة.
تم التحديث في 11 أغسطس 2026.
ملخص تحريري وتفاصيل التغيير المسجلة.تفاصيل التغيير
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
المقارنة الكاملة غير متاحة — لم تُؤرشف لقطة سابقة لهذه المراجعة.
تم التحديث في 17 يوليو 2026.
ملخص تحريري وتفاصيل التغيير المسجلة.تفاصيل التغيير
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
-
تفاصيل التغيير متاحة حاليًا باللغة الإنجليزية.
المقارنة الكاملة غير متاحة — لم تُؤرشف لقطة سابقة لهذه المراجعة.