مشكلات قابلية الزحف: ما الذي يعطل الزحف وكيف تصلحه

الخلاصة — قابلية الزحف هي مدى قدرة محركات البحث على العثور والوصول إلى صفحاتك . مشكلة قابلية الزحف هي أي عائق يحول دون ذلك — كصفحة محظورة في robots.txt، أو رابط لا تستطيع الروبوتات اتباعه، أو خادم يكرر الأخطاء، أو سيل من عناوين URL غير المفيدة. إذا تعذر الزحف إلى صفحة فلن تُفهرس، وإذا لم تُفهرس فلن تظهر في البحث. أصلح مشكلة الوصول أولًا؛ فما عداها يأتي لاحقًا.

ما قابلية الزحف؟

قبل أن تتمكن الصفحة من الترتيب، لا بد أن يزحف إليها محرك البحث — أي يرسل روبوتًا (Googlebot لدى Google وBingbot لدى Bing) لاكتشاف عنوان URL وتنزيل الصفحة. قابلية الزحف هي ببساطة مدى سهولة حدوث ذلك. أما مشكلة قابلية الزحف فهي أي عائق تقني يوقف هذه العملية أو يبطئها. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works

تخيّل البحث كسلسلة مراحل: الاكتشاف ← الزحف ← العرض ← الفهرسة ← التقديم. هذا التقسيم الخماسي هو طريقتي العملية لتنظيم العمل — أما نموذج Google الرسمي فيضع الاكتشاف والعرض ضمن مرحلة أوسع تسمى «الزحف» بدل إدراجهما مرحلتين منفصلتين. وفي الحالتين يأتي الزحف قرب بداية السلسلة، وتعتمد عليه كل المراحل اللاحقة. لذلك تُعد مشكلة قابلية الزحف من أسوأ مشكلات SEO — فلا قيمة لجودة المحتوى إن لم يصل الروبوت إلى قراءته.

الأنواع الأربعة لمشكلات قابلية الزحف

تندرج معظم المشكلات في واحدة من أربع فئات. هذا اختصار للفرز الأولي، وليس قائمة شاملة — فمشكلات مثل خريطة الموقع المفقودة أو وسم noindex الشارد تقع خارج هذه الفئات قليلًا. عندما لا يُعثر على شيء، حدّد أولًا الفئة التي تنتمي إليها المشكلة:

1. الوصول محظور. يمنع ملف robots.txt الوصول إلى الصفحة، أو تقع خلف تسجيل دخول، أو يعيد جدار الحماية «403 Forbidden»، أو تكون ملفات CSS/JS اللازمة للصفحة محظورة.
2. الروابط معطلة أو غير قابلة للزحف. لا يعمل التنقل لديك إلا بنقرات JavaScript بدل الروابط الحقيقية، أو لا يوجد أي رابط يشير إلى الصفحة أصلًا (فتكون «يتيمة»).
3. الخادم يتعطل. يعيد أخطاء (500s)، أو يتعذر حل اسم النطاق، أو يكون بطيئًا بشدة، أو تمر الصفحات عبر سلاسل طويلة من عمليات إعادة التوجيه.
4. مخزون عناوين URL متضخم. تُنشئ عوامل التصفية والتقاويم ومعلمات التتبع عددًا لا ينتهي من عناوين URL شبه المكررة، فتهدر الروبوتات وقتها على صفحات غير مفيدة بدل صفحاتك الفعلية.

الخطأ الذي يقع فيه معظم الناس

حظر صفحة في robots.txt لا يزيلها من Google. بل يمنع Google فقط من قراءتها. قد تظل الصفحة ظاهرة في النتائج (من دون وصف) إذا أشارت إليها مواقع أخرى. وإذا أردت فعلًا إزالة صفحة، فاسمح بالزحف إليها وأضف وسم noindex بدلًا من ذلك. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

كما أن الزحف ليس ترتيبًا. زيادة وتيرة الزحف لن ترفع ترتيبك في النتائج — فالزحف بوابة لا بد من اجتيازها، وليس درجة تُحتسب.

هل تريد إطار الفرز الكامل، وطريقة العثور على المشكلات في Search Console وسجلات الخادم، وإصلاحات كل مشكلة؟ انتقل إلى علامة تبويب متقدم.

الخلاصة — قابلية الزحف هي مدى قدرة برامج الزحف على اكتشاف صفحاتك والوصول إليها وجلبها؛ ومشكلة قابلية الزحف هي أي شيء يعطل ذلك. تندرج جميعها تقريبًا في أربع فئات — الوصول محظور (robots.txt، حواجز تسجيل الدخول، أخطاء 403، ملفات JS/CSS محظورة)، والروابط معطلة (تنقل يعتمد على JS فقط، صفحات يتيمة، صفحات عميقة)، و الخادم يتعطل (أخطاء 5xx، وDNS، وعمليات جلب بطيئة أو مبتورة، وسلاسل إعادة توجيه)، و مخزون عناوين URL متضخم (مصائد العناكب، وتكرارات المعلمات، وأخطاء 404 الناعمة). تسبق قابلية الزحف الفهرسة والترتيب — فهي ضرورية للترتيب لكنها ليست إشارة ترتيب، وتختلف عن قابلية الفهرسة. شخّص باستخدام GSC (فهرسة الصفحات، وإحصاءات الزحف، وفحص عنوان URL) وسجلات الخادم؛ أصلح مشكلة الوصول أولًا ثم المخزون. يفرز هذا الدليل كل مشكلة ويوجه إلى الشروحات المتعمقة.

ما قابلية الزحف (وما الذي لا تعنيه)؟

قابلية الزحف هي المرحلة الأولى من سلسلة البحث — الاكتشاف ← الزحف ← العرض ← الفهرسة ← التقديم. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works كل إخفاق هنا يقع قبل الفهرسة والترتيب. والمصطلح نفسه مظلة في SEO، لا مصطلحًا تستخدمه Google: فنموذج Google يحدد ثلاث مراحل للبحث — الزحف والفهرسة والتقديم — ويضع اكتشاف عنوان URL والعرض ضمن الزحف بدل منحهما مرحلتين مستقلتين من المستوى الأعلى. وسلسلة المراحل الخمس والفرز إلى أربع فئات أدناه هما خلاصة وضعتها لتنظيم هذا العمل بصورة قابلة للتنفيذ — تفيدان في تحديد المشكلة سريعًا، لكنهما ليستا مرجعًا لكيفية تقسيم أنظمة Google مراحلها داخليًا بصورة رسمية.

ثلاث علاقات «لا يساوي» تمنع معظم الالتباس في هذا المجال:

• قابلية الزحف ≠ قابلية الفهرسة. قد تكون الصفحة قابلة للزحف تمامًا لكنها محجوبة عن الفهرس بوسم noindex — أو قابلة للزحف تقنيًا لكنها لا تزال غير مفهرسة بسبب إشارات الجودة. قابلية الزحف شرط ضروري لكنه غير كافٍ للفهرسة. (راجع تم الزحف إليها — غير مفهرسة حاليًا لحالة الجودة اللاحقة في السلسلة.)
• الزحف ≠ الترتيب. الزحف ضروري للظهور في النتائج، لكن Google تقول: “an increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” (ترجمة) «زيادة معدل الزحف لا تؤدي بالضرورة إلى مراكز أفضل في نتائج البحث… فرغم أن الزحف ضروري للظهور في النتائج، فإنه ليس إشارة ترتيب».
• الزحف ≠ العرض. تعرض Google الصفحة وتشغّل JavaScript في خطوة منفصلة — “during the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome” (ترجمة) «أثناء الزحف، تعرض Google الصفحة وتشغّل أي JavaScript تجده باستخدام إصدار حديث من Chrome» — ويعمل نظام العرض هذا ضمن طابور مستقل قد يتأخر عن عملية الجلب الأولى.

توجد السلسلة الكاملة في دليل الزحف؛ أما هذه المقالة فهي طبقة الفرز الأولي عندما تتعطل السلسلة.

الفئات الأربع لمشكلات قابلية الزحف

استخدم هذه الفئات لتحديد موضع المشكلة سريعًا. تحصل كل فئة هنا على معالجة موجزة مع رابط إلى شرح متعمق — فلا تحاول إصلاح ما لم تصنفه بعد. هذه عدسة للفرز الأولي، وليست تصنيفًا شاملًا: فخرائط الموقع وnoindex والوسوم الأساسية، وnofollow، وتكافؤ الأجهزة المحمولة، والمحتوى المكرر كلها مشكلات حقيقية، لكن معظمها ينتمي إلى الاكتشاف أو قابلية الفهرسة أو العرض أو كفاءة الزحف لا إلى إخفاق صرف في الوصول أو الجلب — ولذلك تحصل على صفحاتها المرتبطة أدناه بدل ضمها إلى هذا الدليل كقائمة تدقيق مسطحة.

1. الوصول محظور

الحظر عبر Robots.txt (المقصود أو العرضي). تمنع قاعدة Disallow برامج الزحف من جلب عنوان URL بالكامل. وتوضح Google أن هذه الأداة غير مناسبة لإزالة الصفحات: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site… It is not a mechanism for keeping a web page out of Google.” (ترجمة) «يُخبر ملف robots.txt برامج زحف محركات البحث بعناوين URL التي يستطيع الزاحف الوصول إليها على موقعك… وليس آلية لمنع صفحة ويب من الظهور في Google». ومن الحوادث المعتادة: دفع Disallow: / من موقع مرحلي إلى بيئة الإنتاج، أو إضافة ملحق CMS قاعدة واسعة أكثر من اللازم، أو حظر موارد *.js/*.css التي تحتاجها الصفحة للعرض. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction (راجع robots.txt وحالة GSC محظور بواسطة robots.txt.)

فخ noindex مع disallow. تتكرر هذه المشكلة باستمرار. إذا كنت تحظر صفحة في robots.txt وفي الوقت نفسه تضع عليها وسم noindex، فلن تتمكن Google من جلب الصفحة كي ترى وسم noindex — ولذلك قد تظل الصفحة مفهرسة عبر الروابط الخارجية. لإزالة صفحة من الفهرس، اسمح بالزحف وأضف noindex. لا تستخدم disallow لإزالة صفحة من الفهرس. وثّقت التجربة الحية وراء ذلك في مفهرسة رغم حظرها بواسطة robots.txt: “crawling and indexing are two different things.” (ترجمة) «الزحف والفهرسة شيئان مختلفان».

حواجز تسجيل الدخول وأخطاء 401. إذا كان المحتوى خلف تسجيل دخول تفاعلي أو تدفق OAuth لا يستطيع Googlebot إكماله، فلا سبيل إلى الوصول إليه — وبالتالي لا يمكن الزحف إليه أو فهرسته. لكن هذا لا يعني أن «كل جدار دفع غير قابل للزحف»: إذ يستطيع الناشرون اختيار إظهار المحتوى المحجوب أو محتوى الاشتراك للزواحف بصورة تختلف عن الزائر العادي. لذلك تعامل مع «يتطلب تسجيل دخول لا يستطيع Googlebot تجاوزه» و «محدود بعدد قراءات/مدفوع» كحالتين منفصلتين بدل افتراض أن كل جدار دفع يتصرف بالطريقة نفسها. (راجع محظور 401.)

403 Forbidden. قبل اللجوء إلى قائمة سماح لعناوين IP، افحص الأسباب المحتملة بالترتيب بدل افتراض أن أول سبب تجده هو الوحيد:

1. robots.txt — تأكد من أن المسار المحدد غير محظور لوكيل المستخدم الخاص بذلك الزاحف؛ فهذا السبب الأكثر شيوعًا والأسهل استبعادًا.
2. الحظر المتقطع أو المخزن مؤقتًا — أعد اختبار عنوان URL نفسه أكثر من مرة ومن أكثر من موقع. قد تبدو قاعدة WAF/CDN لا تعمل إلا أحيانًا، أو استجابة 403 قديمة مخزنة مؤقتًا، كأنها حظر دائم مع أنها ليست كذلك.
3. الحظر بحسب وكيل المستخدم — قاعدة WAF/CDN ترفض سلسلة روبوت بعينها (وتذكّر أن السلسلة وحدها قابلة للانتحال، فلا توقف التحقيق هنا).
4. حظر نطاقات IP — جدار الحماية أو CDN أو قاعدة الموقع الجغرافي ترفض نطاقات IP الفعلية لـGooglebot أو موقع مركز البيانات. لا تضع في قائمة السماح إلا Googlebot المتحقق منه — عبر DNS العكسي ثم الأمامي، لا عبر ترويسة وكيل المستخدم وحدها — وبعد أن تحدد فعلًا الطبقة التي تحظره. (راجع محظور 403 ومحظور بأخطاء 4xx أخرى.)

ملفات JS/CSS محظورة. تستخدم Google إصدار Chrome بلا واجهة رسومية للعرض. إذا كان robots.txt يحظر *.js/*.css، أو رفضت CDN تقديم الموارد إلى Googlebot، فستبدو الصفحة المعروضة معطلة — وقد لا يُفهرس المحتوى الذي لا يظهر إلا بعد العرض، ولا تُتبع الروابط التي لا تظهر إلا بعد تشغيل JS. اختبر عبر URL Inspection ← Live Test وافحص لقطة الشاشة المعروضة.

2. الروابط معطلة أو غير قابلة للزحف

روابط غير قابلة للزحف. “Google can only crawl your link if it’s an <a> HTML element with an href attribute. Most links in other formats won’t be parsed and extracted by Google’s crawlers.” (ترجمة) «لا تستطيع Google الزحف إلى رابطك إلا إذا كان عنصر HTML من نوع a وله السمة href. لن تحلل برامج زحف Google معظم الروابط بالتنسيقات الأخرى أو تستخرجها». وهذا يستبعد <a routerLink="...">، و <span href="...">، و<a onclick="goto(...)">. إذا كان التنقل الرئيسي يعتمد على معالجات نقر JS فقط، فقد لا تُكتشف أقسام كاملة من الموقع. (راجع قسم العرض في دليل الزحف ومقالتي مشكلات JavaScript SEO وأفضل ممارساتها.)

الصفحات اليتيمة. لا يمكن العثور على صفحة لا تشير إليها أي روابط داخلية إلا عبر خريطة موقع أو رابط خارجي. الروابط هي قناة الاكتشاف الرئيسية، ولذلك تظهر الصفحة اليتيمة غالبًا في GSC بحالة تم اكتشافها — غير مفهرسة حاليًا. إدراجها في خريطة الموقع يساعد على اكتشافها؛ لكنه لا يحل محل إشارة الرابط. الإصلاح: اربط الصفحة من دليل أو صفحة فئة ذات صلة. (راجع الاكتشاف وعمق الزحف.)

الصفحات العميقة. يُزحف إلى الصفحات المدفونة على بعد نقرات كثيرة من الصفحة الرئيسية في وقت لاحق وبوتيرة أقل. أبقِ الصفحات المهمة قريبة (راجع عمق الزحف.)

3. الخادم يتعطل أو يقيّد المعدل

أخطاء الخادم 5xx. تعيد استجابة 500/502/503/504 خطأ بدل المحتوى. تدفع أخطاء 5xx المستمرة Googlebot إلى الإبطاء — “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down’” (ترجمة) «يحاولون ألا يزحفوا إلى الموقع بسرعة زائدة لتجنب تحميله فوق طاقته… وتعني أخطاء HTTP 500: أبطئ» — ثم إسقاط الصفحات المفهرسة أصلًا في نهاية المطاف. إذا أعاد robots.txt نفسه أخطاء 5xx، فلا يعني ذلك توقفًا فوريًا وغير محدود للزحف إلى الموقع كله: فسلوك Google المنشور يجري على مراحل — يتوقف الزحف لنحو 12 ساعة أولًا، ثم قد تعود Google إلى آخر نسخة سليمة معروفة من robots.txt لمدة تصل إلى 30 يومًا، وما يحدث بعد ذلك يعتمد على القواعد المخزنة مؤقتًا وما إذا كان الموقع متاحًا عمومًا. وانتبه إلى تفصيل 503: استجابة 503 مع ترويسة Retry-After هي الاستجابة الصحيحة لتوقف قصير مخطط له؛ ولا يسبب الضرر إلا استمرارها أسابيع. تضع Google استجابة 429 (طلبات أكثر من اللازم) ضمن سلوك التراجع نفسه. (راجع خطأ الخادم (5xx) ومعدل الزحف.)

أعطال DNS. تقع قبل HTTP بالكامل: إذا تعذر حل اسم النطاق — بسبب انتهاء التسجيل، أو خطأ في نقل خوادم الأسماء، أو تعطل حل نطاق الجذر — فلن توجد استجابة خادم تعيد حتى خطأ 5xx. يؤدي استمرار عطل DNS إلى إسقاط الموقع كله. اكتشفه في GSC ضمن Crawl Stats ← Host Status، أو بصورة أسرع عبر مراقبة خارجية لوقت التشغيل.

بطء الاستجابات وابتسار الجلب. تقيّد آلية المجاملة لدى Google الزحف استنادًا إلى صحة الخادم، لذا تعني الاستجابات البطيئة عمليات زحف أقل. وهناك حد صارم للحجم بالبايت: وفق تحديث Google في مارس 2026 ضمن Inside Googlebot، يجلب Googlebot نحو 2 MB لكل عنوان URL (أقل من الرقم القديم 15 MB)، مع حد يصل إلى 64 MB لملفات PDF. إذا تجاوزت الحد، تُصبح عملية الجلب مبتورة لا مرفوضة — ولا يُفهرس إلا الجزء المنزّل. إذا كان المحتوى المهم بعد 2 MB من التضخم فقد يُقطع.

سلاسل إعادة التوجيه وحلقاتها. تستهلك كل قفزة إعادة توجيه حصة من الزحف، وتؤثر السلاسل الطويلة سلبًا في الزحف؛ ولا تتبع Google عادة إلا نحو خمس قفزات قبل أن تتخلى عن الوجهة. تنتهي الحلقات بانقضاء المهلة وتظهر في GSC كحالة خطأ إعادة توجيه. سبب شائع: تراكم قفزات www ← non-www ← HTTPS من عمليات ترحيل متعاقبة. (راجع ميزانية الزحف، التي تعد سلاسل إعادة التوجيه هدرًا للزحف.)

4. مخزون عناوين URL متضخم

مصائد العناكب. بنى تنشئ عددًا لا نهائيًا عمليًا من عناوين URL — تركيبات مرشحات التنقل متعدد الأوجه، وروابط «الشهر التالي» في تقويم بلا نهاية، ومعرّفات الجلسات في عناوين URL، والترقيم اللانهائي. تحرق الزواحف ميزانيتها على صفحات شبه مكررة غير مفيدة، بينما يقل الزحف إلى الصفحات الحقيقية. قالت Google إن التنقل متعدد الأوجه ومعلمات الإجراءات مسؤولان عن معظم مشكلات الزحف لديها، وإن «المساحات اللانهائية» تتصدر قائمة هدر الزحف منذ 2008. لا يوجد حد عالمي ثابت لما يُعد «أكثر من اللازم» — العلامة هي حصة غير متوازنة وغير متناسبة من الطلبات تتركز على نمط واحد من عناوين URL غير المفيدة مقارنة بخط الأساس المعتاد لموقعك، لا نسبة محددة تنطبق في كل مكان. (راجع مصائد العناكب.)

معلمات عنوان URL. تنشئ سلاسل الاستعلام (?key=value) عناوين URL متعددة للمحتوى نفسه — فالمعلمات النشطة (الترتيب/التصفية/ترقيم الصفحات) تنشئ نسخًا شبه مكررة؛ والمعلمات السلبية (التتبع ومعرّفات الجلسات) تنشئ نسخًا مكررة تمامًا. يهدر النوعان الميزانية ويضعفان إشارات الروابط. ملاحظة: أوقفت Google أداة URL Parameters في أبريل 2022 (إذ وجدت أن نحو 1% فقط من الإعدادات مفيدة، وصارت تعالج معظم الحالات تلقائيًا) — فلا توصِ الناس باستخدامها. لا تزال لدى Bing أداة Ignore URL Parameters. الإصلاح الحالي: ترتيب ثابت للمعلمات، وrel=canonical للمعلمات السلبية، وحظر robots.txt لمصائد حقيقية فقط. (راجع معلمات عنوان URL وتوحيد العنوان الأساسي.)

أخطاء 404 الناعمة. صفحة تؤدي عمليًا وظيفة «غير موجود» (نتائج بحث فارغة، أو منتج نافد بلا محتوى) لكنها تعيد 200 OK. تواصل Google الزحف إليها لأن الحالة تقول إنها موجودة، فتهدر الميزانية بلا محتوى قابل للفهرسة. الإصلاح: أعد رمز 404 أو 410 حقيقيًا (410 Gone أسرع قليلًا في الإزالة). تمثل استجابة 404 حقيقية إشارة قوية إلى عدم الزحف إلى عنوان URL ذلك مجددًا.

استنفاد ميزانية الزحف (للمواقع الكبيرة فقط)

هذه هي مشكلة الفئة الرابعة على نطاق واسع، وتستحق تحذيرًا مستقلًا: معظم المواقع لا تواجهها أبدًا. تقول Google بوضوح: “if your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يكن موقعك يضم عددًا كبيرًا من الصفحات التي تتغير بسرعة، أو إذا بدا أن صفحاتك تُزحف في يوم نشرها نفسه، فلا حاجة إلى قراءة هذا الدليل». وضع John Mueller رقمًا تقريبيًا — فعادة لا تكفي 100٬000 عنوان URL للتأثير في ميزانية الزحف. تصبح المسألة واقعية عند نحو مليون صفحة أو أكثر تتغير أسبوعيًا، أو أكثر من 10k تتغير يوميًا. تُحسب الميزانية لكل اسم مضيف، وتسحب جميع برامج زحف Google (للصور والفيديو والأخبار والإعلانات) من الحصة نفسها لكل موقع. وإشارة التحذير هي عدد كبير ومتزايد في حالة تم اكتشافها — غير مفهرسة حاليًا. (المعالجة الكاملة في ميزانية الزحف؛ وكتبت أيضًا متى ينبغي أن تقلق بشأن ميزانية الزحف؟.)

كيفية العثور على مشكلات قابلية الزحف

Google Search Console.

• تقرير فهرسة الصفحات يعرض حالات الإخفاق المسماة: محظور بواسطة robots.txt، خطأ الخادم (5xx)، وغير موجود (404)، وخطأ إعادة التوجيه.
• تقرير إحصاءات الزحف يعرض اتجاهات رموز الاستجابة ومتوسط زمن الاستجابة ولوحة لحالة المضيف تشير إلى مشكلات DNS وrobots.txt والاتصال بالخادم. (راجع تقرير إحصاءات الزحف.)
• فحص عنوان URL (الاختبار المباشر) يعرض ما جلبه Googlebot وعرضه فعلًا لعنوان URL واحد — وتُعد لقطة الشاشة المعروضة أسرع طريقة لاكتشاف ملفات JS/CSS المحظورة.
• «تم اكتشافها — غير مفهرسة حاليًا» هي إشارة تحذير الزحف: تعرف Google عنوان URL لكنها لم تجلبه (غالبًا بسبب مشكلة في الربط أو الأولوية).

تحليل ملفات سجل الخادم هو الحقيقة الفعلية. تُظهر السجلات عناوين URL التي زارتها الروبوتات بالضبط، وعدد مرات الزيارة، والحالة المصاحبة — وهي الطريقة الوحيدة لتمييز Googlebot الحقيقي (المتحقق منه عبر DNS العكسي ثم الأمامي) من الروبوتات التي تنتحل وكيل المستخدم. تظهر مصيدة العناكب كحصة غير متوازنة من الطلبات إلى نمط واحد من عناوين URL. (راجع تحليل ملفات السجل.)

برامج زحف تدقيق الموقع — مثل Ahrefs Site Audit وScreaming Frog SEO Spider — تحاكي عملية زحف وتكشف سلاسل إعادة التوجيه وعناوين URL المحظورة والصفحات اليتيمة وعمق الزحف في تمريرة واحدة.

قابلية الزحف مقابل قابلية الفهرسة: لا تخلط بينهما

باختصار: قابلية الزحف هي قدرة الروبوت على الوصول إلى الصفحة؛ وقابلية الفهرسة هي قرار Google بتخزينها بعد جلبها. وبعد إصلاح قابلية الزحف، تكون قابلية الفهرسة هي البوابة التالية.

تمثل حالة GSC فرضية أولية مفيدة، لا تشخيصًا مضمونًا. عادة ما تشير حالة تم اكتشافها — غير مفهرسة حاليًا إلى مشكلة في جدولة الزحف أو الأولوية (أضف روابط داخلية وارفع جودة الموقع). وغالبًا ما تشير حالة تم الزحف إليها — غير مفهرسة حاليًا إلى مشكلة في المحتوى أو الجودة تقع بعد قابلية الزحف — مثل المحتوى الضعيف أو المكرر أو غير المتوافق مع القصد — لكن Google لا تنشر خريطة سببية شاملة لهذه الحالة، وقد تنتج عوامل متداخلة مثل تأخر العرض أو إشارات توحيد العنوان الأساسي أو فحوص أهلية الفهرسة التسمية نفسها. تعامل مع الحالة كأول خيط، ثم تحقق عبر URL Inspection والسجلات، ولا تطبق إصلاحات الزحف على مشكلة يتضح أنها تتعلق بقابلية الفهرسة، أو العكس.

كيف تختلف قابلية الزحف في Bing عنها في Google؟

هناك بعض الاختلافات العملية التي تستحق معرفتها إذا كنت تحسّن لكليهما:

• IndexNow — يستخدمه Bing (وكذلك Yandex وNaver وSeznam وYep) للحصول على إشعار فوري بالتغييرات؛ ولا تشارك Google فيه. فلا تتوقع أن يساعد IndexNow قابلية الزحف لدى Google.
• Crawl Control — لا يزال Bing يوفر شبكة يدوية في Bing Webmaster Tools لجدولة ساعات الزحف؛ بينما أزالت Google شريط تمرير معدل الزحف في يناير 2024.
• Ignore URL Parameters — لا يزال Bing يوفرها؛ بينما أوقفت Google نظيرتها في أبريل 2022.
• lastmod — يمنحه Bing وزنًا أكبر كإشارة لإعادة الزحف؛ بينما تتجاهل Google إلى حد بعيد قيم lastmod غير الدقيقة.

يلخص Fabrice Canel من Microsoft Bing فلسفة Bing بقوله: “Less is more for SEO… Less URLs to crawl, better for SEO” (ترجمة) «القليل أفضل في SEO… وكلما قلّت عناوين URL المطلوب الزحف إليها كان ذلك أفضل لـSEO» — وهي خلاصة لعبة قابلية الزحف في سطر واحد. (راجع bingbot.)

إلى أين تتجه بعد ذلك؟

هذا الدليل هو الخريطة؛ أما الشروحات المتعمقة فتنجز العمل. لضوابط الوصول، راجع robots.txt وnoindex. ولجانب الخادم، راجع خطأ الخادم (5xx)، معدل الزحف، وخطأ إعادة التوجيه. ولتضخم المخزون، راجع مصائد العناكب، معلمات عنوان URL، وميزانية الزحف. وللاكتشاف والروابط، راجع الاكتشاف، وعمق الزحف، والصفحات اليتيمة. وللسلسلة كاملة في مكان واحد، ابدأ بدليل الزحف.

ملخص الذكاء الاصطناعي

خلاصة مكثفة للنسخة المتقدمة:

• قابلية الزحف = مدى قدرة الزواحف على اكتشاف صفحاتك والوصول إليها وجلبها. مشكلة قابلية الزحف هي أي عائق يعطل ذلك. وهي المرحلة الأولى من السلسلة (الاكتشاف ← الزحف ← العرض ← الفهرسة ← التقديم — خلاصة Patrick العملية؛ أما نموذج Google فيجمع الاكتشاف والعرض ضمن مرحلة «زحف» أوسع)، ولذلك تسبق كل ما عداها.
• ثلاث علاقات «لا يساوي»: قابلية الزحف ≠ قابلية الفهرسة (قد تُحجب صفحة قابلة للزحف بوسم noindex)؛ والزحف ≠ الترتيب (“not a ranking signal” (ترجمة) «ليس إشارة ترتيب» — وفق Google)؛ والزحف ≠ العرض (يعمل JS في خطوة مستقلة ومتأخرة).
• أربع فئات: (1) الوصول محظور — robots.txt، وحواجز تسجيل الدخول/401، و403 من WAF/CDN، وملفات JS/CSS محظورة؛ (2) الروابط معطلة — تنقل يعتمد على JS فقط بلا <a href>، وصفحات يتيمة، وصفحات عميقة؛ (3) الخادم يتعطل — أخطاء 5xx (تسبب التقييد ثم الإسقاط)، وأعطال DNS (الموقع كله)، وعمليات جلب بطيئة أو مبتورة (حد نحو 2 MB)، وسلاسل إعادة توجيه (نحو 5 قفزات)؛ (4) المخزون متضخم — مصائد عناكب، وتكرارات المعلمات، وأخطاء 404s ناعمة (200 OK بلا محتوى).
• الفخ الكبير: noindex مع disallow = لا ترى Google وسم noindex. لإزالة صفحة من الفهرس، اسمح بالزحف + noindex؛ ولا تستخدم robots.txt لإزالة صفحة.
• ميزانية الزحف لا تهم إلا المواقع الضخمة أو سريعة التغير (نحو مليون صفحة أو أكثر أسبوعيًا؛ وعادة لا تكفي 100k عنوان URL). تُحسب لكل اسم مضيف وتتشاركها جميع زواحف Google.
• شخّص باستخدام GSC (فهرسة الصفحات وإحصاءات الزحف وفحص عنوان URL) وسجلات الخادم (الحقيقة الفعلية؛ والطريقة الوحيدة للتحقق من الروبوتات الحقيقية). أصلح الوصول أولًا، ثم المخزون.
• يختلف Bing: يدعم IndexNow (بخلاف Google)، وCrawl Control، وIgnore URL Parameters، ويمنح lastmod وزنًا أكبر.

الوثائق الرسمية

وثائق من المصادر الأولية حول ما يعطل الزحف.

Google

• دليل متعمق لكيفية عمل بحث Google — سلسلة الزحف ← الفهرسة ← التقديم، واكتشاف عناوين URL، وآلية التقييد التي تطلب «الإبطاء».
• دليل الزحف والفهرسة — الروبوتات وخرائط الموقع وتوحيد العناوين الأساسية وضوابط الزحف في مكان واحد.
• مقدمة إلى robots.txt — ما يفعله robots.txt وما لا يفعله (وهو الأهم).
• اجعل روابطك قابلة للزحف — متطلب <a href> وتنسيقات الروابط التي لا تستطيع Google اتباعها.
• حسّن ميزانية الزحف — السعة + الطلب، وفئات هدر الزحف، ومن يحتاج فعلًا إلى الاهتمام.
• نظرة عامة على برامج زحف Google وأدوات الجلب — وكلاء المستخدم ونطاقات IP وكيف تعرّف برامج زحف Google بنفسها.
• Inside Googlebot (مارس 2026) — حدود الحجم الحالية (نحو 2 MB لكل عنوان URL و64 MB لملفات PDF) وسلوك الابتسار.
• مساعدة تقرير فهرسة الصفحات — معنى كل رمز لحالة الزحف أو الفهرسة.

Bing / Microsoft

• سلسلة bingbot: تعظيم كفاءة الزحف — تعريف Bing للزحف و«نجمة كفاءة الزحف الشمالية» لديه.
• Bing Webmaster Tools — Crawl Control — جدولة ساعات زحف Bingbot (لا يوجد نظير لها لدى Google).
• IndexNow — بروتوكول الدفع الذي يستخدمه Bing وغيره للإشعار الفوري بالتغييرات (وليس Google).

اقتباسات من المصدر

تصريحات موثقة من Google وBing. كل رابط عميق ينقلك إلى المقطع المقتبس في صفحة المصدر.

Google — robots.txt ليس أداة إزالة

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (ترجمة) «يُخبر ملف robots.txt برامج زحف محركات البحث بعناوين URL التي يستطيع الزاحف الوصول إليها على موقعك». — وثائق Google Search Central. انتقل إلى الاقتباس
• “It is not a mechanism for keeping a web page out of Google.” (ترجمة) «إنه ليس آلية لمنع صفحة ويب من الظهور في Google». انتقل إلى الاقتباس
• “The instructions in robots.txt files cannot enforce crawler behavior; it’s up to the crawler to obey them.” (ترجمة) «لا تستطيع التعليمات في ملفات robots.txt فرض سلوك الزاحف؛ فالامتثال لها متروك للزاحف». انتقل إلى الاقتباس

Google — الروابط القابلة للزحف

• “Google can only crawl your link if it’s an <a> HTML element with an href attribute.” (ترجمة) «لا تستطيع Google الزحف إلى رابطك إلا إذا كان عنصر HTML من نوع a وله السمة href». — اجعل روابطك قابلة للزحف. انتقل إلى الاقتباس
• “Most links in other formats won’t be parsed and extracted by Google’s crawlers.” (ترجمة) «لن تحلل برامج زحف Google معظم الروابط بالتنسيقات الأخرى أو تستخرجها». انتقل إلى الاقتباس

Google — صحة الخادم والعرض

• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (ترجمة) «يحاولون ألا يزحفوا إلى الموقع بسرعة زائدة لتجنب تحميله فوق طاقته. تعتمد هذه الآلية على استجابات الموقع (فعلى سبيل المثال، تعني أخطاء HTTP 500: أبطئ)». انتقل إلى الاقتباس
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (ترجمة) «أثناء الزحف، تعرض Google الصفحة وتشغّل أي JavaScript تجده باستخدام إصدار حديث من Chrome». انتقل إلى الاقتباس

Google — ميزانية الزحف والزحف مقابل الترتيب (منشور ميزانية الزحف لعام 2017؛ منقول عبر إعادة النشر الحرفية لدى Search Engine Land)

• “An increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” (ترجمة) «زيادة معدل الزحف لا تؤدي بالضرورة إلى مراكز أفضل في نتائج البحث… فرغم أن الزحف ضروري للظهور في النتائج، فإنه ليس إشارة ترتيب». اقرأ التغطية
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (ترجمة) «إذا لم يكن موقعك يضم عددًا كبيرًا من الصفحات التي تتغير بسرعة، أو إذا بدا أن صفحاتك تُزحف في يوم نشرها نفسه، فلا حاجة إلى قراءة هذا الدليل». — دليل ميزانية الزحف للمواقع الكبيرة. انتقل إلى الاقتباس

Fabrice Canel، Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (ترجمة) «الزحف هو العملية التي يكتشف بها bingbot المستندات أو المحتوى الجديد والمحدّث لإضافته إلى فهرس Bing القابل للبحث». انتقل إلى الاقتباس
• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (ترجمة) «القليل أفضل في SEO. لا تنس ذلك أبدًا. وكلما قلّت عناوين URL المطلوب الزحف إليها كان ذلك أفضل لـSEO». — منقول عبر Search Engine Land. اقرأ التغطية

قائمة تدقيق فرز مشكلات قابلية الزحف

نفّذ هذه الخطوات بالترتيب — وابدأ بمشكلات الوصول لأنها الأشد ضررًا والأكثر شيوعًا:

• ملف robots.txt لا يحظر أي شيء تريد فهرسته (ابحث عن قاعدة شاردة مثل Disallow: / قادمة من البيئة المرحلية، وتأكد من عدم حظر *.js/*.css).
• لا تستخدم أي صفحة noindex مع disallow معًا (فلن يمكن رؤية noindex — ولإزالة الصفحة من الفهرس اسمح بالزحف وأضف noindex).
• لا يقع المحتوى المهم خلف حاجز تسجيل دخول / 401 ولا يعيد 403 إلى Googlebot المتحقق منه (افحص قواعد WAF/CDN/الموقع الجغرافي).
• يستخدم التنقل روابط <a href> حقيقية، لا معالجات نقر تعتمد على JS فقط.
• لا توجد صفحات يتيمة — كل صفحة تهمك مرتبطة من صفحة أخرى واحدة على الأقل قابلة للزحف.
• يعيد الخادم استجابات سريعة ومستقرة — مع أقل قدر من أخطاء 5xx؛ ويستخدم التوقف المخطط له 503 + Retry-After.
• يعمل DNS بصورة موثوقة (افحص GSC Host Status مع مراقبة خارجية لوقت التشغيل).
• لا توجد سلاسل إعادة توجيه أطول من قفزة أو اثنتين، ولا توجد حلقات.
• يقع المحتوى المهم ضمن حد الجلب البالغ نحو 2 MB (لا بعد تضخم الصفحة).
• لا توجد مصائد عناكب تنشئ عناوين URL لا نهائية (تقاويم، وأوجه، ومعرّفات جلسات).
• لا تُنشئ معلمات عناوين URL نسخًا مكررة قابلة للزحف (ترتيب ثابت، وعناوين أساسية للمعلمات السلبية).
• لا توجد أخطاء 404 ناعمة — تعيد صفحات «غير موجود» رمز 404/410 حقيقيًا، لا 200.
• تتم مراجعة GSC Crawl Stats بحثًا عن طفرات رموز الاستجابة ومتوسط زمن الاستجابة.
• تُفحص سجلات الخادم بحثًا عن هدر الزحف وعناوين URL المهمة التي لا تصل إليها الروبوتات.

النماذج الذهنية

1. الفئات الأربع. تنتمي كل مشكلة قابلية زحف إلى واحدة من: الوصول محظور، أو الروابط معطلة، أو الخادم يتعطل، أو المخزون متضخم. صنّف المشكلة قبل إصلاحها — فالفئة تدلك على الأداة المناسبة.

2. السلسلة — الاكتشاف ← الزحف ← العرض ← الفهرسة ← التقديم. حدّد المرحلة التي تفشل فيها الصفحة قبل تغيير أي شيء. هل اكتُشفت؟ هل زُحف إليها؟ هل عُرضت؟ هل فُهرست؟ هل قُدمت؟ لا يفيد إصلاح يستهدف المرحلة الخطأ.

3. علاقات «لا يساوي» الثلاث.

• الزحف ≠ الفهرسة (قد تظل صفحة محظورة عن الزحف مفهرسة عبر الروابط).
• الزحف ≠ الترتيب (معدل الزحف ليس إشارة ترتيب).
• الزحف ≠ العرض (يعمل JS في خطوة مستقلة ومتأخرة).

4. قاعدة قرار الإزالة من الفهرس. هل تريد إزالة صفحة من البحث؟ اسمح بالزحف + noindex. هل تريد أن تتخطى الروبوتات مساحة من عناوين URL تمامًا (ولا يهمك أمر الفهرسة)؟ استخدم robots.txt disallow. لا تستخدم disallow لإزالة صفحة من الفهرس — فلا يستطيع الروبوت رؤية noindex من خلف الحظر.

5. أصلح المصدر، ثم احظر. عند تضخم المخزون، أوقف إنشاء عناوين URL غير المفيدة أولًا (وهو الإصلاح النظيف)، ثم احظر ما يتبقى في robots.txt. الحظر وحده لا يستعيد الميزانية إلا إذا كنت قد بلغت أصلًا سقف سعة الخادم.

6. فرز الخطورة. ابدأ بما يعم الموقع (عطل DNS، أو Disallow: / في robots.txt، أو إعادة robots.txt أخطاء 5xx) ← ثم ما يعم قسمًا (تنقل يعتمد على JS فقط، أو دليل محظور) ← ثم مستوى الصفحة (سلسلة إعادة توجيه واحدة، أو صفحة يتيمة واحدة). أوقف الضرر قبل إجراء التحسينات الدقيقة.

مشكلات قابلية الزحف — ورقة مرجعية

الفئات الأربع وأعراضها المميزة

رموز الحالة التي تهم الروبوتات

• 200 — تم الجلب بنجاح (لكن صفحة «غير موجود» تعيد 200 تُعد خطأ 404 ناعمًا).
• 301/308 — إعادة توجيه دائمة (أبقِ السلاسل قصيرة؛ نحو 5 قفزات كحد أقصى).
• 403/401 — الوصول مرفوض / المصادقة مطلوبة (افحص WAF وتحقق من عدم حظر Googlebot الحقيقي).
• 404/410 — غير موجود نهائيًا؛ إشارة قوية إلى عدم إعادة الزحف (410 أسرع قليلًا).
• 429/500/503 — «أبطئ» / حاول لاحقًا؛ استخدام 503 مع Retry-After صحيح للتوقف المخطط له؛ والاستمرار يعني انخفاض الزحف.

حقائق سريعة

• حد الجلب: نحو 2 MB لكل عنوان URL (ملفات PDF: 64 MB) — وما بعد الحد يُبتر ولا يُرفض.
• عدد قفزات إعادة التوجيه التي تتبعها Google: نحو 5 قبل أن تتخلى عن الوجهة.
• نادرًا ما تهم ميزانية الزحف تحت نحو 100k عنوان URL؛ وتُحسب الميزانية لكل اسم مضيف.
• أداة GSC URL Parameters: أُوقفت في أبريل 2022. شريط تمرير معدل الزحف اليدوي: أُزيل في يناير 2024.
• IndexNow = Bing/Yandex/غيرهما، وليس Google.

أدوات العثور على مشكلات قابلية الزحف

• Google Search Console — تقرير فهرسة الصفحات — يكشف حالات الإخفاق المسماة: محظور بواسطة robots.txt، وخطأ الخادم (5xx)، وغير موجود (404)، وخطأ إعادة التوجيه، وحالتي تم اكتشافها/الزحف إليها — غير مفهرسة حاليًا.
• GSC — تقرير إحصاءات الزحف — اتجاهات رموز الاستجابة، ومتوسط زمن الاستجابة، ولوحة حالة المضيف التي تشير إلى مشكلات DNS وrobots.txt والاتصال. (راجع تقرير إحصاءات الزحف.)
• GSC — فحص عنوان URL (الاختبار المباشر) — شاهد بالضبط ما جلبه Googlebot وعرضه لعنوان URL واحد؛ ولقطة الشاشة المعروضة هي أسرع فحص لحظر JS/CSS.
• تحليل ملفات سجل الخادم — الحقيقة الفعلية: عناوين URL التي زارتها الروبوتات بالفعل، وعدد الزيارات، وما تلقته. وهي الطريقة الوحيدة للتحقق من Googlebot الحقيقي (DNS عكسي ثم أمامي) ولاكتشاف نمط الطلبات غير المتوازن لمصيدة عناكب. الأدوات: Screaming Frog Log File Analyser، أو تمرير السجلات إلى BigQuery / منصة سجلات. (راجع تحليل ملفات السجل.)
• برامج زحف تدقيق الموقع — تحاكي Ahrefs Site Audit وScreaming Frog SEO Spider عملية زحف وتكشف سلاسل إعادة التوجيه وعناوين URL المحظورة والصفحات اليتيمة وعمق الزحف.
• Ahrefs Webmaster Tools — زحف + تدقيق مجانيان للمواقع التي تثبت ملكيتها.
• Bing Webmaster Tools — معلومات الزحف وCrawl Control وSite Scan؛ إضافة إلى أداة Ignore URL Parameters التي أوقفتها Google.

اختبر نفسك: مشكلات قابلية الزحف

خمسة أسئلة سريعة حول ما يعطل الزحف وكيفية إصلاحه. اختر إجابة لكل سؤال، ثم تحقق.

لماذا لا يستطيع الزاحف الوصول إلى الصفحة؟

خطة الاستجابة للحوادث: اختفاء قسم مهم من الزحف

1. أكد النطاق. اختبر عناوين URL ممثلة وقارن وقت أول إخفاق بعمليات الإصدار وتغييرات جدار الحماية وحوادث الخادم.
2. افحص مسار الجلب. تحقق من DNS وTLS وعمليات إعادة التوجيه ورموز الحالة والمصادقة واكتمال الاستجابة. أصلح الأعطال قبل تحليل SEO الأعمق.
3. افحص وصول الزاحف. اختبر عناوين URL المحددة مقابل robots.txt وتحقق من أن قواعد WAF/CDN لا تحظر الروبوتات المتحقق منها.
4. افحص الاكتشاف. ازحف انطلاقًا من الصفحة الرئيسية وأدلة الأقسام. إذا كانت عناوين URL يتيمة أو تعتمد على نقر JS فقط، فأعد روابط الارتساء العادية وعضويتها في خريطة الموقع.
5. افحص العرض والمخزون. تأكد من تحميل الموارد المطلوبة وحدد المصائد أو المسارات المكررة التي تستهلك الطلبات.
6. تحقق من التعافي. أعد جلب عناوين URL ممثلة وراقب سجلات الزاحف المتحقق منه؛ وإذا نجح الوصول ولم تتعافَ الفهرسة، فانتقل إلى تشخيص قابلية الفهرسة.

يعيد عنوان URL الرمز 200 في المتصفح لكن الزواحف تتلقى 403

الأسباب المحتملة بالترتيب الذي أفحصها به: حظر robots.txt لوكيل المستخدم ذلك، ثم حظر متقطع أو مخزن مؤقتًا (أعد الاختبار أكثر من مرة)، ثم قاعدة WAF/CDN خاصة بوكيل مستخدم، ثم حظر لنطاق IP أو موقع جغرافي. الإصلاح: تأكد من الطبقة المسؤولة فعلًا قبل لمس أي شيء، وتحقق من IP الزاحف عبر DNS العكسي ثم الأمامي، وافحص سجلات الحافة، وضيّق قاعدة الحظر. التحقق: يتلقى الزاحف المتحقق منه والمستخدم العادي كلاهما الاستجابة المقصودة.

الصفحة موجودة لكن الزواحف لا تطلبها أبدًا

الأسباب المحتملة: اليُتم، أو ضوابط تعتمد على JS فقط، أو ترقيم صفحات معطل، أو غياب الاكتشاف عبر خريطة الموقع. الإصلاح: أضف روابط <a href> قابلة للزحف من صفحات ذات صلة وأدرج عنوان URL الأساسي في خريطة الموقع الصحيحة. التحقق: يصل إليها زحف للموقع، ثم تُظهر سجلات الخادم لاحقًا عملية جلب من زاحف متحقق منه.

تبلغ أدوات الزحف عن موارد محظورة

الأسباب المحتملة: تغطي قواعد robots.txt موارد CSS أو JavaScript أو API اللازمة للعرض. الإصلاح: اسمح بالموارد المطلوبة من دون كشف نقاط نهاية خاصة. التحقق: يحتوي الناتج المعروض على المحتوى الأساسي والروابط نفسها المتاحة للمستخدمين.

ارتفاع حجم الزحف إلى عناوين URL غير مفيدة

الأسباب المحتملة: معلمات الأوجه، والتقاويم، والبحث الداخلي، ومعرّفات الجلسات، أو التنقل اللانهائي. الإصلاح: أزل مسارات الإنشاء القابلة للزحف، ثم وحّد أو احظر فقط بعد فهم التأثير في الفهرسة والعرض. التحقق: تُظهر نوافذ سجلات متماثلة انحسار النمط مع بقاء عناوين URL القيّمة قابلة للاكتشاف.

موجّه: حوّل أدلة الزحف إلى جدول فرز

Analyze the crawlability evidence below. For each URL, classify the failure as access, discovery/linking, server/redirect, rendering/resource, or URL-inventory. Cite only the supplied evidence, list missing checks, and return symptom → likely cause → safest fix → pass/fail verification. Keep crawlability separate from indexability.

[PASTE STATUS, HEADERS, ROBOTS TEST, CRAWL PATH, RENDERED HTML, AND LOG OBSERVATIONS]

موجّه: راجع تغيير robots.txt بأمان

Review this proposed robots.txt change against the supplied sample URLs and user agents. Build an allow/block matrix, identify the winning rule, flag required resources or valuable pages that would become blocked, and propose the smallest safe change. Do not claim the file removes URLs from the index.

[PASTE CURRENT FILE, PROPOSED FILE, USER AGENTS, AND URL SAMPLES]

افحص قائمة عناوين URL لمعرفة استجابات الزحف

while IFS= read -r url; do curl -L -sS -o /dev/null -w '%{http_code}\t%{url_effective}\t%{time_total}\n' "$url"; done < urls.txt

النظير في PowerShell:

Get-Content .\urls.txt | ForEach-Object { try { $r = Invoke-WebRequest -Uri $_ -MaximumRedirection 10; "{0}`t{1}" -f $r.StatusCode,$r.BaseResponse.ResponseUri } catch { "ERROR`t$_" } }

ابحث عن ضوابط الروابط غير القابلة للزحف في HTML المعروض

شغّل هذا في وحدة تحكم DevTools بالمتصفح. يسرد العناصر ذات سلوك النقر التي ليست روابط عادية:

[...document.querySelectorAll('[onclick], [role="link"]')].filter(el => !el.matches('a[href]')).map(el => ({text: el.textContent.trim(), html: el.outerHTML.slice(0, 300)}));

الناتج قائمة انتظار للمراجعة، وليس دليلًا على وجوب تحويل كل عنصر إلى رابط.

موارد تستحق وقتك

كتاباتي ذات الصلة

• مفهرسة رغم حظرها بواسطة robots.txt — لماذا يمكن أن تظل صفحة محظورة مفهرسة، وفخ noindex مقابل disallow.
• قصة حظر صفحتين مرتفعتي الترتيب باستخدام Robots.txt — تجربتي المباشرة حول ما يحدث فعلًا عند حظر صفحات ذات ترتيب.
• متى ينبغي أن تقلق بشأن ميزانية الزحف؟ — من يحتاج إلى الاهتمام، وما الذي يهدر الميزانية.
• مشكلات JavaScript SEO وأفضل ممارساتها — جانب العرض: متى تعطل الروابط والمحتوى المعتمدان على JS الاكتشاف.
• تعرّف إلى زواحف الويب الجديدة — من يزحف إليك فعلًا الآن، استنادًا إلى بيانات Cloudflare Radar.

محاضراتي

• كيف يعمل البحث (SlideShare) — شرحي للزحف والعرض والفهرسة والترتيب. (إخلاء مسؤولية ثابت: “This is my understanding of systems… not going to be 100% complete or accurate.” (ترجمة) «هذا هو فهمي للأنظمة… ولن يكون كاملًا أو دقيقًا بنسبة 100%».)

من أنحاء القطاع

• سلسلة Google Crawling December — أفضل مجموعة مركزة من الشروحات الرسمية للزحف (Googlebot، والتخزين المؤقت في HTTP، والتنقل متعدد الأوجه، وشبكات CDN).
• Google تشرح ميزانية الزحف لمشرفي المواقع (Search Engine Land) — إعادة نشر حرفية لمنشور Gary Illyes عن ميزانية الزحف لعام 2017، بما فيه عبارة “not a ranking signal” (ترجمة) «ليس إشارة ترتيب».
• Google: عادة لن تؤثر 100,000 عنوان URL في ميزانية الزحف (Search Engine Roundtable) — اقتباس John Mueller الذي يحدد المقياس.
• بوابات البنية التحتية الخمس وراء الزحف والعرض والفهرسة (Search Engine Land) — صياغة Fabrice Canel لكفاءة الزحف: “less is more for SEO” (ترجمة) «القليل أفضل في SEO».
• Google تشرح حدود حجم Googlebot وبنية الزحف (Search Engine Journal) — تغطية تحديث مارس 2026؛ 2 MB لكل عنوان URL، و64 MB لملفات PDF، والابتسار.
• حد حجم الملفات لدى Googlebot (DebugBear) — ما يحدث عند تجاوز الصفحة حد الجلب (ابتسار، لا رفض).

سجل التغييرات