الفهرسة على نطاق واسع

الخلاصة — تعني الفهرسة على نطاق واسع إدخال عدد هائل من الصفحات إلى Google؛ أي آلافًا إلى ملايين الصفحات التي تُنشأ عادةً من قالب واحد، مثل صفحات المنتجات والمواقع الجغرافية والقوائم. في المواقع الصغيرة تحدث الفهرسة غالبًا بصورة طبيعية. أما على النطاق الواسع فلا يحدث ذلك، ويعود السبب في معظم الحالات إلى واحد من أمرين: إما أن Google لم تزحف الصفحة، أو زحفتها وقررت أنها لا تستحق البقاء في الفهرس.

ما معنى «الفهرسة على نطاق واسع»؟

عندما يضم موقعك بضع مئات من الصفحات، لا تكاد الفهرسة تمثل موضوعًا قائمًا بذاته. تنشر الصفحة، فتعثر عليها Google عبر روابطك وخريطة الموقع، ثم تزحفها وتفهرسها. وانتهى الأمر.

لكن عندما يضم موقعك بضع مئات الآلاف من الصفحات، وكلها منشأة من القالب نفسه مع بيانات مختلفة، يتعطل ذلك المسار السهل. تنشر قسمًا كبيرًا جديدًا، وتراقب Google Search Console، فترى عدد الصفحات المفهرسة يرتفع ببطء إلى جزء مما نشرته ثم يتوقف تمامًا. هذه الفجوة هي المشكلة التي يتناولها المقال.

الفرق الوحيد الذي يفسر كل شيء

هناك مصطلحان مختلفان يخلط الناس بينهما، ويزيل الفصل بينهما نصف الالتباس:

• مزحوفة (Crawled) تعني أن Googlebot زار الصفحة ونزّلها.
• مفهرسة (Indexed) تعني أن Google عالجت الصفحة وأدخلتها إلى الفهرس، فأصبحت مؤهلة للظهور في البحث. Evidence for this claim Google Search uses crawling, indexing, and serving stages, and not every page makes it through each stage. Scope: Google's public Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works

قد تُزحف الصفحة من دون أن تُفهرس. يكون ذلك مجرد حالة لافتة في موقع صغير، لكنه محور المشكلة على النطاق الواسع؛ بل إن تقارير Google توضح أي المرحلتين حدثت:

• “Discovered — currently not indexed” (ترجمة) «مكتشفة — غير مفهرسة حاليًا» تعني أن Google تعرف وجود الرابط، من خريطة الموقع أو رابط آخر، لكنها لم تزحفه بعد. وتقول Google إن ذلك يحدث كثيرًا عندما يُتوقع أن يحمّل الزحف الموقع فوق طاقته، لكن الحالة وحدها لا تثبت سببًا جذريًا بعينه. Evidence for this claim Google defines Discovered - currently not indexed as found but not yet crawled, often because crawling was expected to overload the site. Scope: Page Indexing report status; the label alone does not prove every contributing cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report
• “Crawled — currently not indexed” (ترجمة) «مزحوفة — غير مفهرسة حاليًا» تعني أن Google جلبت الصفحة لكنها اختارت عدم الاحتفاظ بها. وغالبًا ما تكون هذه مشكلة جودة؛ فالصفحة لم تستحق موضعًا في الفهرس.

تحتاج الحالتان إلى علاجين مختلفين تمامًا. علاج الأولى هو «ساعد Google على زحف مزيد من موقعي»، وعلاج الثانية هو «أعط Google سببًا للاحتفاظ بما تعثر عليه». واختيار العلاج الخطأ أكثر الأخطاء شيوعًا عند هذا النطاق.

العوامل الثلاثة التي تحدث فرقًا فعليًا

1. ميزانية الزحف. لن تزحف Google كل شيء باستمرار في موقع كبير، بل توزع قدرتها. ويستهلك الهدر، مثل الروابط المكررة وتركيبات عوامل التصفية غير المحدودة ومعرّفات الجلسات، هذه الحصة على صفحات عديمة الفائدة بدل صفحاتك المهمة. يحرر تقليل الهدر الزحف للصفحات التي تهمك. وهذا موضوع كبير مستقل؛ راجع مقال ميزانية الزحف.
2. خرائط موقع يمكنك قراءتها فعلًا. بدل خريطة ضخمة واحدة، قسّمها بحسب القسم، مثل المنتجات والتصنيفات والمواقع، كي تفحص كل قسم منفصلًا في Search Console. وعندما تتوقف الفهرسة ستعرف أي قسم يفشل بدل الاكتفاء برقم إجمالي لا يفيد.
3. الجودة على مستوى القالب. إذا كانت دفعة كاملة من الصفحات المنشأة بالقوالب ضحلة أو شبه متطابقة، فقد تقرر Google أن القالب لا يستحق الفهرسة، وقد تقلل أيضًا مقدار ما تزحفه من الموقع كله. وهذا أكثر جزء يقلل الناس من شأنه.

الخطأ الذي يقع فيه معظم الناس

زيادة معدل زحف الصفحة لا تجعلها ترتب، وإعادة إرسالها مرارًا لا تجبر Google على الاحتفاظ بها. إذا زحفت Google صفحاتك البرمجية واستبعدتها، فنادرًا ما يكون العلاج تقنيًا؛ بل يتعلق بالمحتوى. قالت Google بوضوح مرارًا إن الجودة أكبر محرك لما يُفهرس. لن يحل إرسال الإشعارات وإعادة الإرسال والإفراط في الضغط على زر “Request indexing” (ترجمة) «طلب الفهرسة» في URL Inspection مشكلة قالب ضحل.

هل تريد النسخة التشغيلية: كيف تعمل ميزانية الزحف فعلًا على نطاق واسع، وكيف تقسّم خرائط الموقع لأغراض التشخيص، وكيف تقرأ ملفات السجل، وكيف قد يضر قالب واحد سيئ نطاقًا كاملًا؟ انتقل إلى تبويب Advanced.

الخلاصة — الفهرسة على نطاق واسع هي تمرير آلاف إلى ملايين الروابط بصورة موثوقة عبر الاكتشاف ← الزحف ← الفهرسة، بدل استكشاف مشكلة صفحة واحدة في كل مرة. تمثل ميزانية الزحف القيد الملزم، لكنها ضرورية وغير كافية؛ فالزحف لا يضمن الاحتفاظ بالصفحة. افصل “Discovered — currently not indexed” (ترجمة) «مكتشفة — غير مفهرسة حاليًا» المرتبطة بالسعة أو الأولوية عن “Crawled — currently not indexed” (ترجمة) «مزحوفة — غير مفهرسة حاليًا» المرتبطة بالجودة أو التكرار، إذ يحتاج كل منهما إلى علاج مختلف. قسّم خرائط الموقع بحسب القسم أو القالب أو الحالة، وأرسلها عبر فهرس خرائط موقع كي تصفّي تقرير Page Indexing لكل قسم وترى النمط الفاشل. ملفات السجل هي الحقيقة التشغيلية التي لا تمنحك إياها أرقام GSC المبنية على العينات. والمشكلة التي تميز هذا النطاق أن قالبًا واحدًا ضحلًا أو شبه مكرر قد يخفض طلب الزحف واستعداد Google للفهرسة في النطاق كله، بينما تظل الجودة رافعتها الأساسية المعلنة. لا تطارد معدل فهرسة معياريًا؛ راقب اتجاه القسم بعد إصلاح سببه.

لماذا تمثل الفهرسة «على نطاق واسع» مشكلة مختلفة؟

يكون استكشاف مشكلات الفهرسة المعتاد تحقيقًا على مستوى الصفحة: رابط واحد غير مفهرس، فتحدد السبب وتصلحه. لا يصمد هذا الأسلوب في موقع برمجي. فعندما تنشئ 500 000 رابط من قوالب تستمد بياناتها من قاعدة بيانات، لا تمثل نتيجة «غير مفهرس» 500 000 مشكلة منفصلة؛ بل تكون غالبًا مشكلة واحدة، هي القالب، تكررت 500 000 مرة. تنتقل وحدة العمل من الرابط إلى نمط الروابط.

يغير هذا الانتقال كل ما يليه. تتوقف عن سؤال «لماذا لم تُفهرس هذه الصفحة؟» وتبدأ بسؤال «أي قالب يفشل، وهل المشكلة في الزحف أم الجودة؟». ويقدم بقية المقال طريقة للإجابة على ذلك على نطاق واسع.

ليست العبارة الحرفية “indexing at scale” (ترجمة) «الفهرسة على نطاق واسع» ملكًا لشرح واحد في SEO؛ إذ تتناول معظم النتائج الأولى قواعد البيانات وهندسة البحث. لكن حاجة الممارسين حقيقية ومثبتة: توجد منتجات مراقبة مثل Indexing Insight مخصصة للمواقع التي تضم من 100k إلى أكثر من 1M صفحة، وتتبع أسباب إخفاق فهرسة الروابط. يقدم هذا المقال التوليف التشغيلي الذي تفترض تلك الأدوات أنك تفهمه مسبقًا.

المزحوفة مقابل المفهرسة: الفرق الذي يعتمد عليه كل شيء

توضح Google أن البحث يمر بمراحل وأن “not all pages make it through each stage.” (ترجمة) «لا تجتاز كل الصفحات كل مرحلة». Evidence for this claim Google Search uses crawling, indexing, and serving stages, and not every page makes it through each stage. Scope: Google's public Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works ويمكن تبسيط خط الأنابيب إلى:

مكتشفة ← مزحوفة ← مفهرسة.

• مكتشفة — تعرف Google وجود الرابط، من خريطة موقع أو رابط آخر، لكنها لم تجلبه بعد.
• مزحوفة — جلب Googlebot الرابط وتلقى استجابة.
• مفهرسة — قررت Google إضافة نسخة من المحتوى إلى فهرسها، فأصبح مؤهلًا للظهور في النتائج.

ترتبط أهم حالتي إخفاق على النطاق الواسع مباشرة بخط الأنابيب هذا، وهما أكثر فئتين يثور حولهما الجدل في تقرير Page Indexing:

• “Discovered — currently not indexed” (ترجمة) «مكتشفة — غير مفهرسة حاليًا» — لم يتجاوز الرابط مرحلة الاكتشاف إلى الزحف. Evidence for this claim Google defines Discovered - currently not indexed as found but not yet crawled, often because crawling was expected to overload the site. Scope: Page Indexing report status; the label alone does not prove every contributing cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report وقد يعكس ذلك مشكلة سعة زحف أو أولوية، مثل ضغط الخادم أو انخفاض القيمة المدركة أو ضعف الروابط الداخلية إلى القسم أو استنزاف الهدر للزحف في موضع آخر. يقع العلاج في جانب الزحف: الروابط الداخلية، والإدراج في خريطة الموقع، وأداء الخادم، وإزالة الهدر.
• “Crawled — currently not indexed” (ترجمة) «مزحوفة — غير مفهرسة حاليًا» — جُلب الرابط ولم يُحتفظ به. وهذا في الغالب حكم متعلق بالجودة أو التكرار. شرح غاري إيليس الأسباب بصراحة، كما في تبويب الاقتباسات: إزالة النسخة المكررة لصالح نسخة موجودة في الفهرس ذات إشارات أفضل، وجودة الموقع العامة، وأخطاء الموقع التي تقدم الصفحة نفسها عبر روابط كثيرة. يقع العلاج في جانب المحتوى: حسّن أو ادمج؛ فلن يغير وسم أقوى أو إعادة إرسال أخرى النتيجة.

الخلط بين الحالتين أكثر الأخطاء تكلفة على النطاق الواسع. فإذا نفذت تحسينًا للمحتوى بينما المشكلة الحقيقية ضعف الروابط الداخلية أهدرت دورة عمل كاملة؛ وإذا كررت إرسال IndexNow بينما المشكلة قالب مكرر لم تحقق شيئًا. وُجد تقرير Page Indexing ليخبرك بأي فئة تواجه، ومهارة استخدامه هي قراءته بصورة صحيحة، ويشرحها بالتفصيل مقال تقرير Page Indexing ‏(Index Coverage).

ميزانية الزحف هي القيد الملزم، لكنها غير كافية

لا يمكنك فهرسة صفحة لم تُزحف، لذلك تمثل ميزانية الزحف الحد الأدنى. تعرّفها Google بأنها “the set of URLs that Google can and wants to crawl” (ترجمة) «مجموعة الروابط التي تستطيع Google زحفها وتريد زحفها»؛ أي سعة الزحف، وهي ما يستطيع خادمك تحمله، مضروبة في طلب الزحف، أي مقدار رغبة Google المتأثرة بالشعبية والحداثة. شرحت الآليات كاملة في دليل Ahrefs لميزانية الزحف، كما يشرح مقال ميزانية الزحف في الموقع السعة مقابل الطلب للمبتدئين؛ وسأفترض هذه الخلفية وأنتقل مباشرة إلى آثارها على النطاق الواسع.

ينبغي توضيح أمرين منذ البداية:

ليست رافعة ترتيب. كما قلت في دليل Ahrefs: “The rate of crawling isn’t going to impact your rankings.” (ترجمة) «لن يؤثر معدل الزحف في ترتيبك». يساعد العمل على ميزانية الزحف في فهرسة الصفحات، لا تحسين مراكزها. لا تقدمه داخل مؤسستك بوصفه حيلة ترتيب؛ فسيكون ذلك خطأ ويفقدك المصداقية.

لا تحتاج معظم المواقع فعلًا إلى التفكير فيها. يقصر دليل Google لميزانية زحف المواقع الكبيرة نطاقه على “Large sites (1 million+ unique pages) with content that changes moderately often (once a week)” (ترجمة) «المواقع الكبيرة التي تضم أكثر من مليون صفحة فريدة ويتغير محتواها بوتيرة متوسطة، مرة أسبوعيًا»، وعلى “Medium or larger sites (10 000+ unique pages) with very rapidly changing content (daily).” (ترجمة) «المواقع المتوسطة أو الأكبر التي تضم أكثر من 10 000 صفحة فريدة ويتغير محتواها بسرعة كبيرة، يوميًا». ويقول صراحة: “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يكن موقعك يضم عددًا كبيرًا من الصفحات سريعة التغير، أو بدت صفحاته مزحوفة في يوم نشرها نفسه، فلا تحتاج إلى قراءة هذا الدليل». تعامل مع هذه الأرقام بوصفها مؤشرات تقريبية من Google على من ينبغي أن يهتم، لا حدودًا صارمة؛ فلا تنشر «مليون صفحة» كحد قاطع.

ما الذي يهدر ميزانية الزحف في المواقع البرمجية؟

ينشأ الهدر على النطاق الواسع غالبًا من تضاعف الروابط الذي يصنعه الموقع بنفسه: تنقل واجهي يولد كل تركيبة ممكنة لعوامل التصفية، ومعلمات التتبع والفرز، ومعرّفات الجلسات، ونسخ HTTP/HTTPS وwww/non-www، والمساحات غير المحدودة مثل التقويمات وانفجارات الروابط النسبية؛ راجع مصائد العناكب. يقارب المحتوى المكرر 60% من الويب، وكثير منه هذه المتغيرات التقنية المملة، وكل رابط مكرر عملية جلب أنفقتها Google على نسخة بدل صفحة تريد فهرستها. ادمج النسخ المكررة باستخدام canonical، واحجب المساحات منخفضة القيمة فعلًا في robots.txt، وأعد 404 أو 410 حقيقيًا للصفحات المحذوفة، واجعل سلاسل التحويل قصيرة. في المواقع الكبيرة يعني تحرير ميزانية الزحف غالبًا إزالة الهدر لا مطالبة Google بمزيد من الزحف.

تقسيم خرائط الموقع استراتيجية مراقبة، لا مجرد علاج للحجم

تقدم وثائق Google تقسيم خرائط الموقع بوصفه مسألة حد للحجم: “If you have a sitemap that exceeds the size limits, you’ll need to split up your large sitemap into multiple sitemaps such that each new sitemap is below the size limit.” (ترجمة) «إذا تجاوزت خريطة موقعك حدود الحجم، فعليك تقسيمها إلى عدة خرائط بحيث تبقى كل خريطة جديدة دون الحد». تستوعب كل خريطة 50 000 رابط كحد أقصى، كما أن “the referenced sitemaps must be hosted on the same site as your sitemap index file” (ترجمة) «يجب استضافة خرائط الموقع المشار إليها في الموقع نفسه الذي يستضيف ملف فهرس الخرائط»، و*“must be in the same directory as the sitemap index file, or lower in the site hierarchy.”* (ترجمة) «يجب أن تكون في الدليل نفسه لملف فهرس الخرائط أو في مستوى أدنى من بنية الموقع».

هذا صحيح، لكن الاستخدام الأعلى قيمة للتقسيم هو التشخيص. وفيما يلي الاستنتاج الذي لا تجمعه Google في موضع واحد: يتضمن تقرير Page Indexing عامل تصفية لخريطة الموقع؛ فيمكنك عرض كل الصفحات المعروفة أو كل الصفحات المرسلة أو الصفحات غير المرسلة فقط أو خريطة موقع محددة مرسلة. وعند جمع الميزتين يتحول رقم إجمالي واحد من نوع «X% مفهرس» إلى تفصيل لكل قسم.

عمليًا، بدل خريطة sitemap.xml واحدة، أنشئ فهرس خرائط يشير إلى sitemap-products.xml وsitemap-categories.xml وsitemap-locations.xml وsitemap-blog.xml وغيرها، ثم أرسل كل واحدة. يمكنك الآن تصفية تقرير Page Indexing بكل خريطة على حدة ورؤية نسبة المفهرس إلى غير المفهرس لكل قسم. فبدل «فُهرس 68% من الموقع»، وهو رقم غير مفيد لأنك لا تعرف أي 32% مفقودة، تحصل على «فُهرس 91% من المنتجات و12% من صفحات المواقع»، وعندها تعرف القالب الذي ينبغي التحقيق فيه.

يمكن تقسيم خرائط الموقع بثلاث طرائق مفيدة، تكشف كل واحدة منها شيئًا مختلفًا:

• بحسب القسم أو القالب، مثل products وcategories وlocations: يعزل نمط الروابط الفاشل، وهو التقسيم الأكثر شيوعًا وفائدة.
• بحسب التاريخ أو الدفعة، مثل sitemap-products-2026-07.xml: يوضح سرعة التقاط دفعة منشورة حديثًا بمرور الوقت بعيدًا عن المخزون الراسخ.
• بحسب الحالة، مثل sitemap-priority.xml الذي يضم أهم روابطك فقط: حيلة تحقق واردة مباشرة في مساعدة Search Console؛ أرسل خريطة للصفحات الأهم وحدها وصفِّ التقرير بها لفحص الإصلاح بسرعة أكبر من انتظار الموقع كله.

تنبيه مهم: يُعامل الرابط على أنه مُرسل عبر خريطة موقع حتى إذا عثرت عليه Google بطريقة أخرى، ولذلك تتداخل هذه الأقسام مع الاكتشاف عبر الروابط. يتعلق عامل التصفية بنسبة الرابط إلى خريطة موقع، لا بحصرية طريقة اكتشافه.

ملفات السجل: الحقيقة التشغيلية التي لا تمنحك إياها GSC

يعتمد تقرير Page Indexing على العينات والتجميع؛ فأرقامه مقربة ولا يعرض كل طلب. أما سجلات الخادم الخام فتفعل. وفي موقع كبير بما يكفي ليحتاج إلى هذا المقال، يكون تحليل ملفات السجل غالبًا الطريقة الوحيدة لمعرفة ما جلبه Googlebot وBingbot فعليًا: أي أنماط الروابط تستهلك ميزانية الزحف، وأي أقسام مهمة نادرًا ما تصل إليها الروبوتات، وأين تستوعب مساحة معلمات غير محدودة آلاف عمليات الجلب في هدوء من دون أن تظهر كسطر مرتب في GSC. إذا أخبرك تقرير Page Indexing بما قررته Google، تخبرك السجلات بما فعلته Google؛ وعلى النطاق الواسع تحتاج إلى كليهما. يرد الشرح الكامل في دليل تحليل ملفات السجل.

بوابة الجودة: لماذا لا يكفي «اجعلها مزحوفة فحسب»؟

هذا أكثر ما يميز النطاق الواسع عن أعمال الفهرسة العادية، وهو سبب عدم كفاية هندسة ميزانية الزحف وحدها لإصلاح توقف الفهرسة.

الرافعة الأساسية التي تعلنها Google ليست تقنية، بل الجودة. قال غاري إيليس في بودكاست Search Off the Record التابع للشركة: “The most important is quality. It’s always quality. And I think externally, people don’t necessarily want to believe it, but the quality, that’s the biggest driver for most of the indexing and crawling decisions that we make.” (ترجمة) «الأهم هو الجودة؛ إنها الجودة دائمًا. وأظن أن الناس خارج Google لا يريدون بالضرورة تصديق ذلك، لكن الجودة هي أكبر محرك لمعظم قرارات الفهرسة والزحف التي نتخذها». تقوض هذه العبارة وحدها عقلية أن «مشكلات الفهرسة ليست إلا مشكلات robots.txt وخرائط الموقع».

يتضاعف الأثر على نطاق واسع بصورة لا تحدث في موقع صغير. لا تقيّم Google كل صفحة برمجية منخفضة القيمة بمعزل عن غيرها. فقد تخفض مجموعة كبيرة من الصفحات الضحلة أو شبه المكررة المنشأة بالقوالب تصور Google العام لجودة الموقع، وتقلل استعدادها للزحف والفهرسة على نطاق واسع، لا للروابط المخالفة وحدها بل للنطاق كله. لذلك لا يكون القالب السيئ مشكلة محلية، بل عبئًا على كل شيء. وهذا هو النمط الذي تشرحه مقالات المحتوى الضحل وإساءة استخدام المحتوى واسع النطاق: ليس الحجم هو سبب المشكلة، فالمواقع البرمجية الكبيرة والمفيدة فعلًا سليمة، بل انخفاض القيمة على نطاق واسع. لا تُقمع استراتيجية SEO البرمجي لمجرد كونها برمجية؛ بل عندما لا تقدم الصفحة الهامشية شيئًا مفيدًا.

تنسجم موجة تقارير الإزالة الجماعية من الفهرس في ربيع 2026 مع هذا الإطار. فقد وصف جون مولر من Google، ردًا على Bluesky، انتقال الصفحات إلى حالة غير مفهرسة بأنه أمر عادي لا حدث استثنائي، وفق تغطية Search Engine Journal. وسواء طمأن ذلك الناس أم لا، فهو ينسجم مع الخيط العام: تؤطر Google تشديد الفهرسة من منظور الجودة، وغالبًا ما تكون حالة «غير مفهرسة» على نطاق واسع حكمًا لا خللًا.

سير عمل عملي للفهرسة على نطاق واسع

رتب العناصر تشغيليًا؛ فالغاية هي العمل على مستوى القالب، لا الرابط:

1. قسّم خرائط الموقع بحسب القسم أو القالب، وأضف خرائط الدفعات الزمنية ومجموعة الأولوية، ثم أرسلها عبر فهرس خرائط موقع.
2. راقب كل قسم في تقرير Page Indexing، وتتبع حصة المفهرس لكل خريطة بدل رقم واحد للموقع كله.
3. صنّف بحسب السبب. في القسم الفاشل، افصل الروابط غير المفهرسة: كثرة “Discovered — currently not indexed” (ترجمة) «مكتشفة — غير مفهرسة حاليًا» تشير إلى السعة أو الأولوية، بينما كثرة “Crawled — currently not indexed” (ترجمة) «مزحوفة — غير مفهرسة حاليًا» تشير إلى الجودة أو التكرار.
4. أصلح الجانب الملائم. مشكلة السعة ← أضف روابط داخلية إلى القسم وأدرجه في خريطة الموقع وحسن أداء الخادم وأزل هدر الزحف في مواضع أخرى. مشكلة الجودة ← حسّن القالب أو ادمجه، أو أبقِ المتغيرات منخفضة القيمة فعلًا خارج الفهرس عمدًا باستخدام noindex أو canonical أو robots حتى تتوقف عن إثقال المجموعة.
5. أكد النتيجة بالسجلات. تحقق من وصول الروبوتات فعلًا إلى القسم ومن عدم إنفاق الميزانية على معلمات عديمة الفائدة.
6. راقب الاتجاه لا رقمًا ثابتًا. بعد الإصلاح اسأل هل ترتفع حصة القسم المفهرسة، لا هل بلغت هدفًا عامًا غير موجود.

لا تخترع معيارًا لمعدل الفهرسة

لا يوجد رقم من نوع «ينبغي فهرسة X%»، وترديد أرقام جهات خارجية كأنها أهداف أقرتها Google فخ. تعتمد نسبة كل موقع على تميز صفحاته وقيمتها والطلب عليها. الإشارة القابلة للتنفيذ هي اتجاه قسم محدد بعد تغيير شيء، ولا شيء غير ذلك. وإذا أعطاك أحدهم نسبة مستهدفة فاسأله عن مصدرها؛ فمن شبه المؤكد أنها رقم توضيحي يخص موقعًا آخر، لا معدلًا تعد به Google.

IndexNow والفهرسة بالدفع: مكمل لا استراتيجية

للإشعارات الفورية موضعها. تتيح IndexNow، التي تدعمها Bing/Microsoft وتتبناها Yandex وNaver وغيرها بينما لا تستخدمها Google للصفحات العامة، إبلاغ المحركات بالتغييرات بدل انتظار إعادة الزحف. تقول Bing: “Whether you’re adding, updating, or deleting content, IndexNow notifies multiple search engines of your content changes as soon as they happen.” (ترجمة) «سواء كنت تضيف المحتوى أو تحدثه أو تحذفه، تُبلغ IndexNow عدة محركات بحث بتغييرات محتواك فور حدوثها».

لكن وضح ما تحله وما لا تحله. تسرّع IndexNow جانب الحداثة، أي رؤية الروابط الجديدة أو المتغيرة أو المحذوفة بسرعة أكبر. ولا تفعل شيئًا لجانب ميزانية الزحف وبوابة الجودة، وهو الجزء الأكبر من المشكلة لدى معظم قراء هذا المقال في Google. كما تخضع لحصة يومية من الروابط لكل نطاق، يُشار إليها عادة بنحو 10 000، وهي أقل كثيرًا من أن تبلغ محركات البحث بدفعة واحدة عن كتالوج يضم ملايين الروابط؛ فلا يمكنها أن تحل محل الاكتشاف عبر خرائط الموقع على نطاق حقيقي. اجمع الطلبات وضعها في طابور بدل إرسال كل شيء دفعة واحدة عند إعادة نشر واسعة. تعامل مع IndexNow بوصفها خطوة إضافية، لا خطة. راجع مقالي IndexNow وGoogle Indexing API لمعرفة الاستخدام الفعلي لكل منهما.

خرافات شائعة عن الفهرسة على نطاق واسع

• «زحف مزيد من الصفحات يحسن الترتيب». لا. الزحف شرط للفهرسة، والفهرسة شرط للترتيب، لكن زيادة الزحف لا تساوي ترتيبًا أعلى. “The rate of crawling isn’t going to impact your rankings.” (ترجمة) «لا يغيّر معدل الزحف ترتيب صفحاتك».
• «إذا لم تُفهرس صفحة فهناك خلل تقني». ليس هذا هو الغالب على النطاق الواسع. غالبًا ما تكون “Crawled — currently not indexed” حكمًا متعلقًا بالجودة أو التكرار، ولن تساعد إعادة الإرسال أو الإشعار.
• «ميزانية الزحف مهمة لكل موقع». لا؛ فهي شأن المواقع الكبيرة أو سريعة التغير وفق نطاق Google نفسه، ولا تحتاج معظم المواقع إلى إدارتها.
• «زيادة الصفحات المفهرسة تعني SEO أفضل». لا؛ فهذه خرافة تضخم الفهرس معكوسة. الهدف فهرسة مزيد من الصفحات القيمة، وقد يتطلب ذلك إبقاء المتغيرات منخفضة القيمة خارج الفهرس عمدًا.
• «إرسال خريطة موقع يفرض الفهرسة». لا؛ فهي إشارة للاكتشاف والأولوية، وتظل Google تقيّم كل رابط مستقلًا.
• «تعاقَب استراتيجيات SEO البرمجي بطبيعتها». لا؛ فالحجم ليس السبب، بل انخفاض القيمة على نطاق واسع مع قصد تلاعبي، كما يشرح مقال إساءة استخدام المحتوى واسع النطاق.
• «ارتفاع عدد Discovered — not indexed يعني دائمًا مشكلة جودة». لا؛ تميل هذه الفئة إلى أولوية الزحف أو سعته، بينما تظهر إشارة الجودة في Crawled — not indexed. وإصلاح الفئة الخطأ يهدر دورة العمل.

موضع هذا الموضوع

الفهرسة على نطاق واسع هي النظير التشغيلي لعدة موضوعات مجاورة: ميزانية الزحف هي الآلية التي تقف وراءها، وتقرير Page Indexing وتحليل ملفات السجل هما طريقتا رؤيتها، والمحتوى الضحل وإساءة استخدام المحتوى واسع النطاق هما نتيجة إخفاق بوابة الجودة. وهي أيضًا الصورة المعكوسة من تضخم الفهرس؛ فذاك يعني «دخل عدد كبير من الصفحات منخفضة القيمة»، بينما تعني هذه «لا يدخل ما يكفي من الصفحات القيمة»، وتتداخل الحلول لأن كليهما يتعلق بتركيز الإدراج في الفهرس على الصفحات التي تستحقه. وللانضباط الأوسع في بناء صفحات قوالب تستحق الترتيب راجع ركيزة SEO البرمجي، وللجانب التنظيمي من تنفيذ ذلك في موقع ضخم راجع SEO للمؤسسات.

ملخص الذكاء الاصطناعي

خلاصة مكثفة للنسخة المتقدمة:

• الفهرسة على نطاق واسع هي تمرير آلاف إلى ملايين الروابط عبر الاكتشاف ← الزحف ← الفهرسة بموثوقية على مستوى القالب بدل صفحة واحدة في كل مرة. في الموقع البرمجي تكون «غير مفهرسة» عادة مشكلة قالب واحدة متكررة، لا آلاف المشكلات المنفصلة.
• المزحوفة لا تساوي المفهرسة. تعني “Discovered — currently not indexed” (ترجمة) «مكتشفة — غير مفهرسة حاليًا» مشكلة سعة زحف أو أولوية، وعلاجها الروابط الداخلية وخريطة الموقع وسرعة الخادم وإزالة الهدر. وتعني “Crawled — currently not indexed” (ترجمة) «مزحوفة — غير مفهرسة حاليًا» حكم جودة أو تكرار، وعلاجها تحسين المحتوى أو دمجه. اختيار العلاج الخطأ أكثر الأخطاء تكلفة.
• ميزانية الزحف قيد ملزم لكنها ضرورية وغير كافية. تعرفها Google بأنها “the set of URLs that Google can and wants to crawl” (ترجمة) «مجموعة الروابط التي تستطيع Google زحفها وتريد زحفها». وليست رافعة ترتيب؛ إذ “the rate of crawling isn’t going to impact your rankings” (ترجمة) «لن يؤثر معدل الزحف في ترتيبك». ولا تحتاج معظم المواقع إلى إدارتها؛ تقصر Google نطاقها التقريبي على أكثر من مليون صفحة تتغير أسبوعيًا أو أكثر من 10 آلاف تتغير يوميًا. حرر الميزانية بإزالة النسخ المكررة والمعلمات والتنقل الواجهي ومصائد العناكب.
• قسّم خرائط الموقع للمراقبة، لا لمجرد علاج الحجم. قسّم بحسب القسم أو القالب أو التاريخ أو الحالة، وأرسلها عبر فهرس خرائط، ثم صفِّ تقرير Page Indexing بكل خريطة لمعرفة النمط الفاشل وتحويل الإجمالي غير المفيد إلى تفصيل لكل قسم.
• ملفات السجل هي الحقيقة التشغيلية التي لا يمنحك إياها تقرير Page Indexing المبني على العينات؛ فهي تبين ما زحف فعليًا وأين تتسرب الميزانية.
• الجودة هي رافعة Google الأساسية المعلنة. قال إيليس: “The most important is quality. It’s always quality… the biggest driver for most of the indexing and crawling decisions.” (ترجمة) «تظل الجودة العامل الأهم والمحرك الأكبر لقرارات الفهرسة والزحف». وعلى نطاق واسع قد يخفض قالب واحد ضحل أو شبه مكرر طلب الزحف واستعداد الفهرسة في النطاق كله، وهو نمط إخفاق المحتوى الضحل وإساءة استخدام المحتوى واسع النطاق.
• لا تطارد معدل فهرسة معياريًا؛ راقب اتجاه القسم بعد إصلاح السبب.
• IndexNow مكمل للحداثة لا استراتيجية للنطاق الواسع؛ فحصتها اليومية لكل نطاق، التي تقارب 10 آلاف، لا تبلغ عن كتالوجات ضخمة دفعة واحدة، ولا تستخدمها Google للصفحات العامة.

الوثائق الرسمية

وثائق المصادر الأولية المتعلقة بفهرسة مجموعات الروابط الكبيرة.

Google

• تحسين ميزانية الزحف (Google Search Central؛ وكان عنوانه سابقًا “Large site owner’s guide to managing crawl budget” (ترجمة) «دليل مالك الموقع الكبير لإدارة ميزانية الزحف») — الصفحة الرسمية المخصصة للنطاق الواسع: سعة الزحف وطلبه، ومن ينبغي أن يهتم، وإجراءات نظافة الروابط التي تحمي الميزانية.
• إدارة خرائط الموقع باستخدام ملفات فهرس خرائط الموقع — تقسيم الخرائط الكبيرة، وحد 50 000 رابط، وقواعد الاستضافة في الموقع والدليل نفسيهما لفهرس الخرائط.
• تقرير Page indexing ‏(مساعدة Search Console) — تصنيف أسباب عدم الفهرسة وعامل تصفية خريطة الموقع الذي يتيح مراقبة كل قسم.
• دليل معمق إلى طريقة عمل بحث Google — خط أنابيب الزحف ← الفهرسة ← العرض، وأن «لا تجتاز كل الصفحات كل مرحلة».
• سياسات المحتوى غير المرغوب فيه لبحث Google — سياسة إساءة استخدام المحتوى واسع النطاق التي تحدد خط الجودة عند إنشاء صفحات برمجية كثيرة.

Bing / Microsoft

• IndexNow / indexnow.org — بروتوكول دفع الإشارات عن الروابط الجديدة أو المتغيرة أو المحذوفة؛ وهو مكمل للحداثة إلى جانب خرائط الموقع، لا بديل اكتشاف بالجملة.
• إبقاء المحتوى قابلًا للاكتشاف باستخدام خرائط الموقع في البحث المدعوم بالذكاء الاصطناعي (مدونة Bing Webmaster، يوليو 2025) — موقف Bing من خرائط الموقع وIndexNow على نطاق واسع.

اقتباسات من المصادر

تصريحات مسجلة من Google وBing. يقود كل رابط إلى المقطع المقتبس في صفحة المصدر عندما يدعم المصدر رابطًا عميقًا.

Google: الجودة هي المحرك الأساسي للفهرسة

• “The most important is quality. It’s always quality. And I think externally, people don’t necessarily want to believe it, but the quality, that’s the biggest driver for most of the indexing and crawling decisions that we make.” (ترجمة) «العامل الأهم هو الجودة، وتبقى كذلك دائمًا. قد لا يرغب من هم خارج Google في تصديق هذا، لكنها المحرك الأكبر لمعظم قراراتنا في الفهرسة والزحف». — غاري إيليس، Google، بودكاست Search Off the Record، نقلًا عن Search Engine Journal. قراءة التغطية

Google: ميزانية الزحف ومن يحتاج إليها

• “Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (ترجمة) «تعرّف Google ميزانية زحف الموقع بأنها مجموعة الروابط التي تستطيع Google زحفها وتريد زحفها». الانتقال إلى الاقتباس
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يكن موقعك يضم عددًا كبيرًا من الصفحات سريعة التغير، أو بدت صفحاته مزحوفة في يوم نشرها نفسه، فلا تحتاج إلى قراءة هذا الدليل». الانتقال إلى الاقتباس

Google: تقسيم خرائط الموقع على نطاق واسع

• “If you have a sitemap that exceeds the size limits, you’ll need to split up your large sitemap into multiple sitemaps such that each new sitemap is below the size limit.” (ترجمة) «إذا تجاوزت خريطة موقعك حدود الحجم، فعليك تقسيمها إلى عدة خرائط بحيث تبقى كل خريطة جديدة دون الحد». الانتقال إلى الاقتباس
• “The referenced sitemaps must be hosted on the same site as your sitemap index file.” (ترجمة) «يجب استضافة خرائط الموقع المشار إليها في الموقع نفسه الذي يستضيف ملف فهرس الخرائط». الانتقال إلى الاقتباس
• “Sitemaps that are referenced in the sitemap index file must be in the same directory as the sitemap index file, or lower in the site hierarchy.” (ترجمة) «يجب أن تكون خرائط الموقع المشار إليها في ملف الفهرس في الدليل نفسه أو في مستوى أدنى من بنية الموقع». الانتقال إلى الاقتباس

Bing / Microsoft: ‏IndexNow

• “Whether you’re adding, updating, or deleting content, IndexNow notifies multiple search engines of your content changes as soon as they happen.” (ترجمة) «سواء كنت تضيف المحتوى أو تحدثه أو تحذفه، تُبلغ IndexNow عدة محركات بحث بتغييرات محتواك فور حدوثها». — Microsoft Bing. القراءة على bing.com/indexnow

Patrick Stox: الزحف ليس رافعة ترتيب

• “The rate of crawling isn’t going to impact your rankings.” (ترجمة) «لن يؤثر معدل الزحف في ترتيبك». — قلت ذلك في دليل Ahrefs لميزانية الزحف. قراءة الدليل

أي مسار ينبغي أن أسلك؟

هناك قسم لا يُفهرس. اتبع الفروع؛ فالهدف هو تحديد هل السبب السعة أم الجودة قبل بذل أي جهد، لأن علاجيهما لا يتداخلان.

البداية: هل القسم موجود أصلًا في خريطة موقع مرسلة يمكنك التصفية بها؟

• لا ← قسّمه أولًا. أنشئ sitemap-<section>.xml عبر فهرس خرائط الموقع وأرسله. لا يمكنك تشخيص كل قسم حتى تستطيع تصفية تقرير Page Indexing به. عد بعد أسبوعين تقريبًا ومعك بيانات.
• نعم ← صفِّ تقرير Page Indexing بهذه الخريطة وانظر إلى سبب عدم الفهرسة السائد. ↓

ما السبب السائد في القسم الفاشل؟

• الغالب “Discovered — currently not indexed” (ترجمة) «مكتشفة — غير مفهرسة حاليًا» ← مشكلة سعة أو أولوية. تعرف Google الروابط لكنها لا تزحفها.

  • هل تهدر ميزانية الزحف في موضع آخر، مثل المعلمات أو الواجهات أو مصائد العناكب أو النسخ المكررة؟ ← أزل الهدر أولًا؛ فهذا أعلى علاج مردودًا غالبًا، وأكده في ملفات السجل.
  • هل الروابط الداخلية إلى القسم قليلة؟ ← أضف روابط داخلية إليه من صفحات قوية، وتأكد من أنه غير مدفون في العمق.
  • هل الخادم بطيء أو يعيد 5xx أثناء الزحف؟ ← أصلح أداء الخادم؛ فالخادم المضغوط يدفع Google إلى التراجع.

• الغالب “Crawled — currently not indexed” (ترجمة) «مزحوفة — غير مفهرسة حاليًا» ← حكم جودة أو تكرار. جلبت Google الصفحات واختارت عدم الاحتفاظ بها.

  • هل الصفحات شبه مكررة من بعضها أو من نسخة أفضل موجودة؟ ← ادمجها باستخدام canonical أو ميّز القالب.
  • هل القالب ضحل ولا يقدم قيمة فريدة كافية في كل صفحة؟ ← ارفع قيمة الصفحة، أو لا تنشر المتغيرات التي لا تتجاوز الحد وأبقها خارج الفهرس باستخدام noindex، حتى تتوقف عن إثقال المجموعة.
  • هل يقدم خلل الصفحة نفسها عبر روابط كثيرة؟ ← أصلح الخلل؛ فقد يضخم الفئة وحده.

• الغالب “Duplicate” / “Alternate page with proper canonical” (ترجمة) «مكررة» / «صفحة بديلة ذات canonical صحيح» ← تعمل كما ينبغي في معظم الحالات. هذه نسخ مكررة دُمجت بإشارة canonical، لا إخفاقًا. لا تطارد نسبة 100%.

بعد أي إصلاح: راقب اتجاه الحصة المفهرسة للقسم خلال الأسابيع التالية، لا نسبة مستهدفة ولا رقم الموقع كله.

سؤال منفصل: «أريد فهرستها بسرعة أكبر فحسب».

• روابط جديدة أو متغيرة ومحركك Bing؟ ← تساعد IndexNow في الحداثة.
• إرسال جماعي لملايين الروابط؟ ← لن تغطيه الحصة اليومية لـIndexNow؛ اعتمد على خرائط الموقع المقسمة والروابط الداخلية القوية. لا يوجد اختصار يتجاوز بوابة الجودة.

النماذج الذهنية

1. مكتشفة ← مزحوفة ← مفهرسة قمع، وكل مرحلة مرشح. حدد قبل أي تغيير المرحلة التي علق عندها القسم. “Discovered — not indexed” (ترجمة) «مكتشفة — غير مفهرسة» تعني أنه عالق قبل الزحف، أي السعة. و”Crawled — not indexed” (ترجمة) «مزحوفة — غير مفهرسة» تعني أنه عالق بعد الزحف، أي الجودة. كلمات متقاربة وعلاجان متعاكسان.

2. ميزانية الزحف ضرورية وغير كافية. لا يمكنك فهرسة ما لا تزحفه، فالميزانية هي الحد الأدنى، لكن تجاوز الحد لا يضمن الفهرسة. قسّم جهدك: نصفه «اجعل Google تجلب القسم»، أي السعة، ونصفه «أعط Google سببًا للاحتفاظ به»، أي الجودة. تستثمر معظم الفرق أكثر مما ينبغي في النصف الأول.

3. وحدة العمل هي القالب لا الرابط. تتكرر مشكلة واحدة عبر نمط كامل على النطاق الواسع. لا تستكشف 500 000 صفحة؛ اعثر على القالب الفاشل وأصلحه مرة واحدة. وُجدت خرائط الموقع المقسمة لتحويل رقم إجمالي إلى تشخيص لكل قالب.

4. التقسيم يكشف والتجميع يخفي. عبارة «فُهرس 68%» لا تفيد، بينما «المنتجات 91% والمواقع 12%» أمر عمل. قسّم الخرائط بحسب القسم ثم التاريخ ثم مجموعة الأولوية، واقرأ تقرير Page Indexing لكل قسم. لا يمكنك إصلاح نمط لا تستطيع عزله.

5. الجودة إشارة على مستوى الموقع لا الصفحة. لا تقيّم Google قالبًا ضحلًا في فراغ؛ فقد تخفض مجموعة كبيرة بما يكفي من الصفحات منخفضة القيمة طلب الزحف واستعداد الفهرسة في النطاق كله. لهذا يكون «ضع noindex على الصفحات عديمة الفائدة» أحيانًا إجراءً يدعم الفهرسة؛ فإبقاء الصفحات السيئة خارجًا يحمي الجيدة.

6. الاتجاه لا الهدف. لا يوجد معدل فهرسة عام ينبغي بلوغه. مؤشر الأداء الصادق الوحيد هو ارتفاع حصة القسم المفهرسة بعد معالجة سببه المحدد.

قائمة تحقق للفهرسة على نطاق واسع

مراجعة لموقع كبير أو برمجي يتأخر فيه عدد الصفحات المفهرسة عن المنشورة:

• أكد أنك تعمل فعلًا على نطاق واسع. هل تقترب من مؤشرات Google التقريبية، أي أكثر من مليون صفحة أو أكثر من 10 آلاف صفحة سريعة التغير؟ إن لم يكن، فربما ليست ميزانية الزحف مشكلتك؛ ابدأ بمشكلات الفهرسة العادية على مستوى الصفحة.
• قسّم خرائط الموقع بحسب القسم أو القالب وأرسلها عبر فهرس خرائط موقع؛ لا تتجاوز كل خريطة 50 000 رابط، وتكون الخرائط المشار إليها في الموقع نفسه والدليل نفسه أو مستوى أدنى.
• أضف خريطة دفعة زمنية للصفحات المنشورة حديثًا وخريطة مجموعة أولوية لأهم الروابط للتحقق السريع من الإصلاح.
• اقرأ تقرير Page Indexing لكل خريطة وتتبع حصة الفهرسة بحسب القسم لا رقم الموقع كله.
• افصل أسباب عدم الفهرسة في كل قسم فاشل: “Discovered — not indexed” (ترجمة) «مكتشفة — غير مفهرسة» للسعة، و”Crawled — not indexed” (ترجمة) «مزحوفة — غير مفهرسة» للجودة.
• إصلاحات السعة: روابط داخلية إلى القسم، وأداء الخادم، وإزالة هدر الزحف من المعلمات والتنقل الواجهي ومصائد العناكب والمتغيرات المكررة.
• إصلاحات الجودة: حسّن القالب أو ادمجه، وأبقِ المتغيرات منخفضة القيمة فعلًا خارج الفهرس باستخدام noindex أو canonical أو robots حتى لا تثقل المجموعة.
• استخرج سجلات الخادم للتأكد من وصول الروبوتات إلى القسم وعدم حرق الميزانية على روابط عديمة الفائدة.
• لا تطارد نسبة معيارية؛ راقب اتجاه حصة الفهرسة في كل قسم بعد الإصلاح.
• فعّل IndexNow لمحركات Bing وغيرها للروابط الجديدة أو المتغيرة أو المحذوفة، بوصفها مكمل حداثة مجمعًا لا استراتيجية اكتشاف بالجملة.
• تحقق أيضًا من تضخم الفهرس؛ فالهدف تقليل الصفحات منخفضة القيمة المفهرسة وزيادة القيمة، وتتداخل الحلول.

ورقة مرجعية للفهرسة على نطاق واسع

حالتي الإخفاق اللتان ينبغي حفظهما

طرق تقسيم خرائط الموقع وما تكشفه

حدود وحقائق النطاق

• حد خريطة الموقع 50 000 رابط، ويمكن لفهرس الخرائط الإشارة إلى 50 000 خريطة، على الموقع نفسه وفي الدليل نفسه أو مستوى أدنى.
• مؤشرات Google للموقع الكبير: نحو 1M+ صفحة تتغير أسبوعيًا أو 10k+ تتغير يوميًا؛ إرشاد تقريبي لا حد صارم.
• ميزانية الزحف = السعة × الطلب، وليست رافعة ترتيب.
• IndexNow لمحركات Bing وYandex وغيرها، لا Google، وحصتها الشائعة نحو 10k رابط يوميًا لكل نطاق؛ مكمل حداثة لا اكتشاف بالجملة.
• لا يوجد معيار عام للفهرسة؛ تتبع الاتجاه لا نسبة مستهدفة.

افعل ولا تفعل

• افعل: قسّم ← راقب ← صنف السبب ← أصلح على مستوى القالب ← راقب الاتجاه.
• لا تفعل: تعيد إرسال صفحة ضحلة أو ترسل إشعاراتها مرارًا، أو تعامل “Crawled — not indexed” كخلل تقني، أو تقرأ نسبة إجمالية واحدة كأنها تشخص شيئًا.

أخطاء الفهرسة التي تتضاعف على نطاق واسع

معاملة كل رابط مستبعد بوصفه المشكلة نفسها. تشير “Discovered — currently not indexed” أساسًا إلى سعة الزحف أو الأولوية، بينما تشير “Crawled — currently not indexed” إلى الجودة أو التكرار. يهدر تطبيق علاج واحد على كليهما الوقت. افصل الحالتين أولًا ثم اعمل على جانب الزحف أو المحتوى وفقًا لذلك.

إعادة إرسال صفحة ضحلة مرارًا. لا يستطيع طلب آخر جعل قالب منخفض القيمة يستحق الإدراج. حسّن القالب أو ادمجه، أو أبقِ المتغيرات الضعيفة خارج الفهرس بدل إعادة إرسالها.

قراءة نسبة فهرسة واحدة للموقع كله. قد يخفي الإجمالي قسم منتجات سليمًا وقالب مواقع فاشلًا. قسّم الخرائط بحسب القسم أو القالب وقارن اتجاه كل قسم.

وضع كل رابط في خريطة ضخمة واحدة. قد تساعد الخريطة الموحدة في الاكتشاف، لكنها تزيل التقسيم التشخيصي المطلوب في تقرير Page Indexing. استخدم فهرس خرائط بأقسام ذات معنى، مع دفعات زمنية أو مجموعة أولوية عند الحاجة.

تحسين ميزانية الزحف قبل إثبات وجود قيد. تواجه معظم المواقع الصغيرة مشكلة عادية في جودة الصفحة أو الجانب التقني، لا مشكلة سعة زحف موقع كبير. افحص الحالة والسجلات قبل افتراض أن الميزانية هي السبب.

مطاردة معيار عام لمعدل الفهرسة. لا توجد نسبة صادقة ينبغي لكل موقع بلوغها. ضع خط أساس لكل قالب واحكم على تحرك القسم بعد معالجة سببه.

استخدام IndexNow بوصفها استراتيجية الفهرسة. تستطيع إبلاغ المحركات المشاركة عن الروابط الجديدة أو المتغيرة أو المحذوفة، لكنها لا تعوض صفحات مفيدة وروابط داخلية وخرائط موقع وبنية قابلة للزحف. استخدمها مكملًا للحداثة.

مطالبات لتشخيص الفهرسة على نطاق واسع

افصل مشكلات السعة عن مشكلات الجودة

الصق تصدير GSC يتضمن الرابط وقسم خريطة الموقع وسبب Page Indexing. وأضف، إن توفر، آخر زيارة لـGooglebot ورمز الحالة من سجلات الخادم. توقع تصنيفًا لكل قسم، لا قائمة إعادة كتابة صفحة بصفحة.

Classify this large-site indexing export using this framework:
- “Discovered — currently not indexed” is primarily a crawl-capacity or priority lead.
- “Crawled — currently not indexed” is primarily a quality or duplication lead.
- Duplicate/alternate canonical states require checking whether consolidation is intended.

Group the rows by sitemap segment and template. For each group, report the dominant
status, evidence from the supplied data, the most likely side of the problem (discovery,
crawl, rendering, quality, duplication, or intended exclusion), and the next concrete
check. Use log evidence when provided. Do not claim a URL is indexed from on-page signals
alone, and do not invent a target indexing percentage.

[PASTE GSC EXPORT AND OPTIONAL LOG DATA]

حوّل القسم الفاشل إلى خطة عمل على مستوى القالب

الصق إجماليات حالات قسم واحد، وعينة HTML أو حقول الزحف، وعمق الروابط الداخلية، وملخص السجلات. توقع تشخيصًا مرتبًا حسب الأولوية مع شروط توقف.

Diagnose why this sitemap segment is under-indexed. Work at the template level rather
than prescribing isolated URL submissions.

Return:
1. What the supplied evidence proves versus what remains unknown.
2. Whether the first investigation should focus on crawl capacity/priority or on
   quality/duplication, with the evidence for that choice.
3. Up to five checks in order: sitemap eligibility, internal-link reachability, server
   response/rendering, bot crawl allocation, and page-level distinct value.
4. The template-level fix suggested by each possible result.
5. A small priority subset or date cohort to monitor after the fix, using its own
   pre-change trend as the baseline.

Do not recommend bulk resubmission as a substitute for fixing the cause. Do not treat
IndexNow as a Google indexing mechanism.

[PASTE SEGMENT DATA]

أدوات عزل إخفاقات الفهرسة

ابدأ بأدوات الموقع

• Google Index Checker — يفحص العوائق المرصودة مثل الحالة والتحويلات وnoindex وإشارات canonical، ثم يوجهك إلى URL Inspection في GSC لمعرفة قرار Google الفعلي. استخدمه على عينة ممثلة لا كدليل على قسم كامل.
• XML Sitemap Validator — يكشف الأخطاء والتحذيرات البنيوية في خريطة ملصقة أو مرفوعة أو مجلوبة. استخدمه قبل تفسير قسم ضعيف حتى لا تلوث XML غير السليمة أو الروابط غير المؤهلة التشخيص.
• XML Sitemap Generator — ينشئ خريطة محدودة الحجم تحترم robots من زحف للموقع نفسه، ويفصل روابط noindex وغير canonical والفاشلة وغير المؤكدة. يفيد في بناء مجموعة أولوية نظيفة، لا في استبدال نظام الخرائط المقسمة المقصود.

استخدم أدلة محرك البحث والخادم للتشخيص الفعلي

• تقرير Page Indexing في Google Search Console — صفِّه بخريطة مرسلة لمقارنة أقسام القوالب وفصل أسباب عدم الفهرسة.
• URL Inspection في Google Search Console — افحص روابط ممثلة عندما تحتاج إلى حالة الزحف وcanonical والفهرسة التي تبلغ عنها Google بدل وكيل خارجي.
• Crawl Stats وسجلات وصول الخادم — تبين هل يصل Googlebot إلى القسم وعدد المرات وهل يُنفق الزحف على المعلمات والواجهات وغيرها من الهدر.
• أداة زحف للموقع كله — تتحقق من رموز الحالة وcanonical وتوجيهات robots والمحتوى الظاهر بعد العرض وعمق الروابط والصفحات اليتيمة قبل لوم ميزانية الزحف.
• Bing Webmaster Tools وIndexNow — تراقبان رؤية Bing وترسلان إشعارات حداثة لمجموعات الروابط المتغيرة؛ وهما تكملان الاكتشاف والجودة ولا تستبدلانهما.

موارد تستحق وقتك

كتاباتي ذات الصلة

• متى ينبغي القلق بشأن ميزانية الزحف؟ — دليل Ahrefs إلى الآلية: طلب الزحف × معدله، وما يهدره، ومن يحتاج إليه، ولماذا “the rate of crawling isn’t going to impact your rankings.” (ترجمة) «لن يؤثر معدل الزحف في ترتيبك».
• دليل المبتدئين إلى SEO التقني — موضع الزحف والفهرسة في الصورة الأكبر.
• تعرّف إلى برامج الزحف الجديدة: روبوتات الذكاء الاصطناعي تقترب من روبوتات محركات البحث — من يجلب صفحاتك فعلًا، وفق تحليلي لبيانات Cloudflare Radar.

محاضراتي

• كيف يعمل البحث — شرح للزحف والعرض والفهرسة والترتيب، ومنها أن الفهرسة تستفيد من مدخلات متعددة، مثل الخرائط والخلاصات والإشعارات وIndexing API، لا الزحف وحده. وينطبق تنبيهي الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا فهمي للأنظمة، ولن يكون كاملًا أو دقيقًا بنسبة 100%».

رسمية

• Google: تحسين ميزانية الزحف، وكان عنوانه سابقًا “Large site owner’s guide to managing crawl budget”، وإدارة خرائط الموقع بملفات الفهرس.
• Google: تقرير Page indexing — تصنيف أسباب عدم الفهرسة وعامل تصفية الخريطة.
• Bing: ‏IndexNow — بروتوكول الدفع للروابط الجديدة أو المتغيرة أو المحذوفة.

من القطاع

• تحسين كفاءة الزحف والفهرسة للمؤسسات — حالات عن إزالة التكرار وتنظيف المحتوى وحجب مساحات المعلمات.
• فهم Discovered – currently not indexed وحلها — معالجة مركزة لإخفاق السعة.
• SEO البرمجي — السياق الأوسع ولماذا ينبغي إبقاء المتغيرات منخفضة القيمة خارج الفهرس.
• تصنيف الفهرسة لمتاجر المؤسسات — إدارة الإدراج بوصفه حوكمة للإيرادات.
• ما تضخم الفهرس؟ — المشكلة المعكوسة وحلولها المتداخلة.
• Google تؤكد أن الجودة أهم عوامل الفهرسة — تصريح إيليس في سياقه.
• تقارير الإزالة من الفهرس مستمرة وGoogle لا ترى شيئًا غير معتاد — تقارير ربيع 2026 ورد Google من منظور الجودة.

إحصاءات جديرة بالاستشهاد

• مؤشرات Google للموقع الكبير. تقصر Google الاهتمام بميزانية الزحف تقريبًا على أكثر من 1M صفحة تتغير أسبوعيًا أو 10k صفحة تتغير يوميًا؛ إرشاد تقريبي لا حد صارم. المصدر
• حدود خرائط الموقع. تستوعب كل خريطة 50 000 رابط، ويمكن للفهرس الإشارة إلى 50 000 خريطة في الموقع نفسه. المصدر
• نحو 60% من الويب محتوى مكرر، وكثير منه متغيرات تقنية تستنزف الزحف. من دليل Ahrefs. المصدر
• الجودة أكبر محرك لقرارات الفهرسة والزحف وفق غاري إيليس، وهي الإطار الأهم للموضوع. التغطية

اختبر معلوماتك: الفهرسة على نطاق واسع

خمسة أسئلة عن فهرسة مجموعات الروابط الكبيرة والبرمجية. اختر إجابة لكل سؤال ثم تحقق.

سجل التغييرات