محظور بواسطة robots.txt (حالة GSC)

TL;DR — تعني حالة «محظور بواسطة robots.txt» في Search Console أن Google وجد الصفحة لكنه لم يقرأها، لأن ملفك robots.txt يطلب من الزواحف الابتعاد. غالبًا يكون ذلك مقصودًا ولا مشكلة فيه — إنها النتيجة الطبيعية للحجب، لا خطأ. تصبح الحالة مشكلة فقط إذا حجبت صفحة كنت تريدها فعلًا في Google.

ماذا تعني هذه الحالة

افتح تقرير فهرسة الصفحات في Google Search Console، وانقر على «محظور بواسطة robots.txt». وتستخدم واجهة التقرير العبارة “Blocked by robots.txt,” (الترجمة العربية) «محظور بواسطة robots.txt»، فسترى قائمة بعناوين URL اختارت Google عدم فهرستها. السبب بسيط: عثرت Google على تلك العناوين، لكن ملف موقعك robots.txt يقول إن الزواحف غير مسموح لها بجلبها. Evidence for this claim Google reports Blocked by robots.txt when crawling is disallowed and warns that this does not guarantee the URL cannot be indexed by other means. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report يصف هذا التصنيف حجب الزحف؛ ولا يضمن أن العنوان لا يمكن فهرسته مطلقًا عبر إشارات أخرى.

أول ما أقوله للناس هو: لا داعي للهلع. تكون هذه الحالة مقصودة عادةً. فإذا حجبت أنت (أو نظام إدارة المحتوى أو إضافة) شيئًا عمدًا — نتائج البحث الداخلي، وعناوين التنقل ذي المرشحات، ومسار التجربة، وعناوين السلة والدفع — فإن ظهوره هنا هو بالضبط ما ينبغي أن يحدث. إنها Google تؤكد أن الحجب نجح، لا تشير إلى خطأ.

الفكرة الوحيدة التي ينبغي تذكرها

يتحكم robots.txt في الزحف، لا في الفهرسة. هذان شيئان مختلفان. إن حجب صفحة في robots.txt أوقف Google عن قراءتها؛ لكنه لا يحذفها من Google ولا يوفّر طريقة لإزالة صفحة من نتائج البحث. Evidence for this claim Google says robots.txt manages crawler access and is not a mechanism for keeping a page out of Google. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction لقد اختبرت بنفسي جانب «ماذا يحدث إذا حجبت صفحة» — مزيد من التفاصيل في العدسة المتقدمة — لكن الخلاصة هي: الحجب يوقف الزحف، وانتهى الأمر.

هل هذه مشكلة؟

أجرِ فحصًا واحدًا: هل كنت تقصد حجب عناوين URL هذه؟

• نعم، عمدًا ← اتركها كما هي. إنها تعمل كما صُممت.
• لا، ينبغي أن تكون الصفحة في Google ← هذه هي الحالة الوحيدة التي ينبغي إصلاحها. اعثر على القاعدة في robots.txt التي تلتقط العنوان وأزلها أو خففها، ثم اطلب الفهرسة.

قد ترى أيضًا حالة مرتبطة لكنها مختلفة: “Indexed, though blocked by robots.txt.” (الترجمة العربية) «مفهرسة رغم حجبها بواسطة robots.txt». تلك تحذير لا استبعاد — معناها أن Google فهرست عنوان URL محجوبًا مع ذلك (غالبًا لأن صفحات أخرى ترتبط به). السبب واحد والنتيجة معاكسة. إذا كانت هذه هي الحالة التي تنظر إليها، فهي مشروحة في مقال منفصل.

هناك أمر آخر لا يستطيع robots.txt فعله: إبقاء شيء خاصًا. إنه طلب، لا أداة تحكم في الوصول — تحترمه الروبوتات المنضبطة، لكن لا شيء يجبرها على ذلك، ولا شيء يمنع العنوان من الظهور في مكان آخر (رابط، أو لقطة شاشة، أو كاشط يتجاهل robots.txt تمامًا). إذا احتوت الصفحة على محتوى حساس، فاحمها بتسجيل الدخول أو كلمة مرور، لا بتوجيه منع.

الخطأ الذي ينبغي تجنبه

يحاول كثيرون إزالة صفحة من Google بحجبها في robots.txt، وأحيانًا يضيفون وسم noindex في الوقت نفسه احتياطًا. هذا لا ينجح — بل ينقلب عليهم. فإذا لم تستطع Google الزحف إلى الصفحة، فلن ترى وسم noindex عليها، وقد تبقى الصفحة في Google. لإخراج صفحة من البحث فعليًا، افعل العكس: اسمح لـGoogle بالزحف إليها وأضف noindex.

هل تريد النسخة الكاملة — كيفية العثور على قاعدة الحجب الدقيقة، ولماذا يتعارض الجمع بين noindex وdisallow، وماذا أظهرت تجربتي — فانتقل إلى العدسة المتقدمة.

TL;DR — «محظور بواسطة robots.txt» هو استبعاد في فهرسة الصفحات: اكتشفت Google العنوان لكنها لم تزحف إليه لأن robots.txt يمنعه، ولذلك لا يكون مفهرسًا في هذه الحالة. يكون ذلك مقصودًا وغير ضار عادةً — إذ يحكم robots.txt الزحف لا الفهرسة، ولذلك لا يمثل المنع أداة لإزالة الفهرسة. لا تخلطه مع تحذير “Indexed, though blocked by robots.txt” (الترجمة العربية) «مفهرسة رغم حجبها بواسطة robots.txt» (فقد فهرست Google العنوان المحجوب رغم ذلك، غالبًا عبر روابط واردة). الخطأ الكلاسيكي هو جمع disallow مع noindex: لا تستطيع Google الزحف إلى الصفحة، فلا ترى noindex، وقد تبقى الصفحة مفهرسة. لإزالة صفحة، اسمح بالزحف وقدّم noindex. اعتبر الحالة خطأً فقط عندما حجبت عنوانًا كنت تريد فهرسته فعلًا.

ماذا يبلّغ التصنيف فعليًا

في تقرير فهرسة الصفحات في Search Console، تمثل حالة «محظور بواسطة robots.txt» حالة مستبعدة، لا خطأ ولا تحذيرًا. وصياغة Google نفسها واضحة: تقول إن الصفحة “was blocked by your site’s robots.txt file,” (الترجمة العربية) «حُجبت بواسطة ملف robots.txt الخاص بموقعك»، وتضيف Google القيد المهم “does not guarantee that the page won’t be indexed through some other means.” (الترجمة العربية) «ولا يضمن ذلك ألا تُفهرس الصفحة بوسيلة أخرى». Evidence for this claim Google reports Blocked by robots.txt when crawling is disallowed and warns that this does not guarantee the URL cannot be indexed by other means. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report يلخص هذا القيد الموضوع كله في سطر واحد — انظر أدناه.

آليًا: تعرف Googlebot أن العنوان موجود (عثرت عليه عبر رابط أو خريطة موقع أو سجل سابق)، وحاولت احترام قواعدك، وواجهت قاعدة Disallow مطابقة، فتوقفت. يعني عدم الجلب عدم وجود محتوى للفهرسة، ولذلك يستقر العنوان في فئة الاستبعاد هذه. هذه هي النتيجة المتوقعة للمنع — ومعظم العناوين هنا يفترض أن تكون هنا.

الزحف ليس فهرسة — لماذا لا يزيل المنع الفهرسة

تصف Google ملف robots.txt بأنه أداة للتحكم في الوصول أثناء الزحف، لا وسيلة موثوقة للإزالة. Evidence for this claim Google says robots.txt manages crawler access and is not a mechanism for keeping a page out of Google. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

هذا هو محور الدقة في الحالة كلها. إن robots.txt أداة للتحكم في الزحف. وتوضح Google أنه “is not a mechanism for keeping a web page out of Google.” (الترجمة العربية) «ليس آلية لإبقاء صفحة ويب خارج Google.» يمنع حجب العنوان جلبه؛ لكنه لا يزيل العنوان من الفهرس، وليس أداة لإزالة الفهرسة.

كما كتبت في مقالي على Ahrefs عن الحالة الشقيقة: “crawling and indexing are two different things.” (الترجمة العربية) «الزحف والفهرسة شيئان مختلفان.» قد ينتهي الأمر بصفحة حجبتها إلى الفهرسة إذا ربطت بها صفحات أخرى — لا تستطيع Google رؤية المحتوى، ولا تستطيع رؤية noindex الذي حاولت وضعه أيضًا. وهذا يقود إلى أكثر الأخطاء شيوعًا عند الوصول إلى هذا التقرير.

«محظور بواسطة robots.txt» مقابل «مفهرسة رغم حجبها بواسطة robots.txt»

يُخلط بين الحالتين باستمرار، مع أنهما السبب نفسه والنتيجة المعاكسة:

إذا كنت تنظر إلى نسخة التحذير — عنوان URL محجوب فُهرس رغم ذلك ويظهر كرابط مجرد بلا وصف — فهذه حالة الفهرسة رغم الحجب، ولها معالجة مستقلة. يتناول هذا المقال الاستبعاد البسيط: محجوب، وغير مفهرس.

بالنسبة إلى عناوين الخدمات، لا تكون «الفهرسة رغم ذلك» مدعاة للقلق غالبًا. قال John Mueller لمالك موقع ظهرت لديه عناوين WooCommerce من نوع ?add-to-cart= في حالة الفهرسة رغم الحجب إنك لا تحتاج إلى فهرسة هذه العناوين، وإن حجبها بواسطة robots.txt مناسب، وإن ظهورها «مفهرسة» وهي محجوبة لا يرجح أن يجعلها تظهر في البحث إلا إذا أجرى شخص استعلامًا شديد التحديد عن تلك العناوين — وهو ما لا يفعله المستخدمون الحقيقيون.

تعارض noindex + disallow (الإصلاح الأول الذي ينقلب عليك)

هذه هي الحيلة الخادعة. يريد شخص اختفاء صفحة، فيضع لها Disallow في robots.txt ويضيف وسم noindex — حزامًا وحمالتين. لا ينجح ذلك، لأن التوجيهين يناقضان بعضهما.

تذكر Google القاعدة مباشرة: “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” (الترجمة العربية) «لكي تكون قاعدة noindex فعالة، يجب ألا يكون الملف أو المورد محجوبًا بواسطة ملف robots.txt، وأن يكون متاحًا للزاحف بطريقة أخرى.» فإذا مُنعت الصفحة، لا تزحف Google إليها ولا ترى noindex، وقد تبقى مفهرسة. وكما كتبت في مقالي عن «مفهرسة رغم حجبها بواسطة robots.txt»: ما لم تستطع Google الزحف إلى صفحة، فلن ترى وسم noindex وقد تظل تفهرسها لأن لها روابط.

إذًا، تسلسل إزالة الفهرسة عكس ما يلجأ إليه الناس عادةً:

1. اسمح بالزحف إلى العنوان (أزل Disallow).
2. قدّم noindex (وسم robots للصفحة أو ترويسة X-Robots-Tag) ودع Google تعيد الزحف لرؤيته.
3. اترك الصفحة قابلة للزحف مع بقاء noindex بعد إسقاطها من الفهرس. ليست إعادة حجبها لاحقًا «خطوة إنهاء» آمنة — فإذا منعت العنوان مجددًا فقد تفقد Google رؤية قاعدة noindex في الزحف التالي، وقد تُفهرس صفحة محجوبة لكنها مرتبطة بسبب روابط صفحات أخرى؛ وهي نتيجة «مفهرسة رغم حجبها» التي كنت تحاول تجنبها. وإذا كانت ميزانية الزحف على الصفحة المحذوفة مصدر قلق حقيقي، فهذه حالة للمصادقة أو الحذف (404/410) — لا للعودة إلى robots.txt.

لعمليات الإزالة العاجلة، تكون أداة عمليات الإزالة في Search Console، أو حماية كلمة المرور، أو حذف الصفحة ببساطة (إرجاع 404/410) طرقًا أسرع.

كيف تعثر على القاعدة التي تحجب العنوان

ثلاث أدوات، لكل واحدة وظيفة مختلفة — لا تتوقع أن تؤدي إحداها عمل الأخريين:

• فحص عنوان URL (GSC). الصق العنوان المحدد. يخبرك ما إذا كان محجوبًا حاليًا، وهو أسرع فحص لكل عنوان.
• تقرير robots.txt (GSC). تقرير مراقبة على مستوى خاصية النطاق — وليس أداة اختبار قابلة للتحرير — يعرض ملفات robots.txt التي عثرت عليها Google لمضيفيك الرئيسيين، ووقت آخر جلب، وحالة الجلب، وأي تحذيرات تحليل، إضافةً إلى إجراء «طلب إعادة الزحف» بعد تغيير الملف. يخبرك بأن Google تستطيع رؤية الملف؛ ولا يختبر عناوين URL الفردية وفقه.
• مدقق robots.txt أو محلل robots.txt مفتوح المصدر من Google. لمعرفة أي سطر يطابق عنوانًا معينًا، مرره عبر مدقق — إذ تفوز القاعدة الأطول والأكثر تحديدًا (ويمكن لقاعدة Allow تجاوز Disallow أوسع).

بعد العثور على السطر المخالف، يعتمد الإصلاح على مكان وجود ملف robots.txt. إذا كنت تتحكم في الملف مباشرةً فأزل القاعدة أو صححها (وانتبه إلى الصياغة). وإذا كنت على منصة مستضافة مثل Wix أو Shopify أو Squarespace، فقد تحتاج إلى اتباع وثائق المزوّد الخاصة لتغييرها، لأن بعض المنصات تدير robots.txt نيابةً عنك.

تجربتي الخاصة: ماذا يحدث عندما تحجب صفحة كنت تريد فهرستها

السؤال المفيد فعلًا هو: إذا حجبت بالخطأ صفحة ينبغي أن تتصدر، فما حجم الضرر؟ أجريت الاختبار مباشرةً. في 30 يناير 2023 حجبت صفحتين كانتا تتصدران فعليًا — «Top Bing Searches» و«Top YouTube Searches» — باستخدام robots.txt وتتبعت ما حدث.

كان الضرر حقيقيًا لكنه أصغر مما توقعت. خسرنا موضعًا هنا أو هناك (انزلقت بعض الكلمات موضعًا أو موضعين، بل تحسن بعضها)، وخسرنا كل المقتطفات المميزة لتلك الصفحات أثناء حجبها — ثم عادت بعد رفع الحجب. تدهور ظهور النتائج أيضًا: عرضت Google عبارة «no information is available for this page» (الترجمة العربية) «لا تتوفر معلومات لهذه الصفحة» بدل الوصف التعريفي، وفقدنا عناويننا المخصصة. ولأن القائمة بدت أسوأ، انخفضت النقرات أكثر من مرات الظهور — فتضررت نسبة النقر إلى الظهور.

كان ملخصي وقتها: “We lost a position here or there and all of the featured snippets for the pages. I expected a lot more impact, but the world didn’t end.” (الترجمة العربية) «خسرنا موضعًا هنا أو هناك وجميع المقتطفات المميزة للصفحات. توقعت أثرًا أكبر بكثير، لكن العالم لم ينتهِ.» وما زلت أؤيد الخلاصة: لا تحجب الصفحات التي تريد فهرستها. سيؤلم ذلك. ليس بالقدر الذي قد تتخيله — لكنه سيؤلم. هذا هو الإطار الذهني الصحيح للتقرير. إذا كان كل ما في فئة «محظور بواسطة robots.txt» شيئًا قصدت حجبه، فأنت بخير. وإذا كانت صفحة تهمك موجودة فيها، فأخرجها.

ملاحظة عن نطاق التجربة: كانت الصفحتان تتصدران النتائج ومفهرستين أصلًا قبل حجبـهما، لذلك قست ما يحدث عندما تنتقل صفحة مفهرسة إلى حالة «مفهرسة رغم حجبها» — لا ما يحدث لعنوان لم يُفهرس قط ويجلس ببساطة في فئة الاستبعاد هذه. إذا لم يكن عنوان هنا مفهرسًا من البداية، فإن رفع الحجب يتيح لـGoogle الزحف إليه ودراسته بصورة طبيعية؛ ولا توجد مقتطفات مميزة أو سجل نسبة نقر إلى ظهور يمكن فقده، لأنه لم يكن موجودًا.

شجرة القرار

• هل قصدت حجبه؟ ← اتركه. إنه يعمل كما صُمم.
• لا — تريد فهرسته؟ ← أزل قاعدة robots.txt أو خففها، ثم اطلب الفهرسة.
• تريد إخراجه من Google؟ ← لا تستخدم المنع. اسمح بالزحف + noindex (أو أداة عمليات الإزالة/الحذف)، ثم اتركه قابلًا للزحف — فقد يخفي إعادة حجبـه لاحقًا قاعدة noindex مجددًا.
• إنه عنوان محجوب فُهرس رغم ذلك؟ ← هذه حالة الفهرسة رغم الحجب، وليست هذه الحالة — عالجها في المقال الخاص بها.
• تحتوي الصفحة على محتوى حساس أو خاص؟ ← robots.txt ليس أداة تحكم في الوصول؛ إنه طلب يمكن للروبوتات تجاهله. استخدم المصادقة أو حماية كلمة المرور، لا المنع.

مبدأ الزحف مقابل الفهرسة عام، بالمناسبة: تحترم Bing ملف robots.txt للزحف بالطريقة نفسها، كما أن إزالة عنوان من Bing تستخدم أداة حظر العناوين لديها أو noindex على صفحة قابلة للزحف — لا منعًا مجردًا.

للاطلاع على الملف نفسه — الصياغة، والبدائل، ومكان وجوده، وما يستطيع فعله وما لا يستطيع — راجع دليل robots.txt. ولمعرفة كيفية اتخاذ قرارات الفهرسة في المراحل السابقة، راجع محور الفهرسة.

ملخص الذكاء الاصطناعي

خلاصة مكثفة للنسخة المتقدمة:

• «محظور بواسطة robots.txt» = استبعاد في فهرسة الصفحات. عثرت Google على العنوان لكنها لم تزحف إليه لأن robots.txt يمنعه، ولذلك لا يكون مفهرسًا في هذه الحالة. إنها النتيجة الطبيعية للحجب — وغالبًا تكون مقصودة وغير ضارة.
• يتحكم robots.txt في الزحف، لا في الفهرسة. تقول Google إنه “is not a mechanism for keeping a web page out of Google.” (الترجمة العربية) «ليس آلية لإبقاء صفحة ويب خارج Google.» يوقف المنع الجلب؛ لكنه لا يزيل الصفحة من الفهرسة.
• لا تخلطها بتحذير “Indexed, though blocked by robots.txt.” (الترجمة العربية) «مفهرسة رغم حجبها بواسطة robots.txt». السبب واحد والنتيجة معاكسة: عُنون محجوب فُهرس مع ذلك، غالبًا عبر روابط واردة. وبحسب Mueller، هذا مقبول عادةً لعناوين الخدمات — ونادرًا ما تظهر العناوين المحجوبة والمفهرسة في الاستعلامات العادية.
• الانتكاس الأول: الجمع بين noindex وdisallow. لا تستطيع Google الزحف إلى صفحة ممنوعة، فلا ترى noindex وقد تبقى الصفحة مفهرسة. قاعدة Google: لكي يعمل noindex يجب ألا تكون الصفحة محجوبة بواسطة robots.txt.
• لإزالة صفحة فعليًا: اسمح بالزحف، وقدّم noindex، ودع Google تعيد الزحف، ثم اترك الصفحة قابلة للزحف. قد تخفي إعادة حجبها لاحقًا قاعدة noindex مجددًا وتتيح فهرسة العنوان عبر الروابط — عكس ما أردت. للحالات العاجلة استخدم أداة عمليات الإزالة أو حماية كلمة المرور أو احذف الصفحة.
• اعثر على قاعدة الحجب عبر فحص عنوان URL (لكل عنوان) ومدقق robots.txt (أي سطر يطابق؛ تفوز القاعدة الأطول/الأكثر تحديدًا). يراقب تقرير robots.txt في GSC حالة جلب الملف — ولا يختبر عناوين URL الفردية. يعتمد الإصلاح على مكان وجود الملف — فقد تحتاج المنصات المستضافة خطوات خاصة بالمزوّد.
• تجربة Patrick: كلف حجب صفحتين تتصدران النتائج ومفهرستان أصلًا جميع المقتطفات المميزة، وأساء ظهور النتائج، وخفّض النقرات أكثر من مرات الظهور — «the world didn’t end» (الترجمة العربية) «لم ينته العالم»، لكن «don’t block pages you want indexed» (الترجمة العربية) «لا تحجب الصفحات التي تريد فهرستها». توضح التجربة ما يحدث لصفحة مفهرسة تنتقل إلى حالة «مفهرسة رغم حجبها»؛ ولا تتنبأ بنتائج عنوان لم يُفهرس قط.
• robots.txt ليس أداة أمنية. إنه طلب يمكن للروبوتات تجاهله. احمِ المحتوى الحساس بالمصادقة، لا بالمنع.
• قاعدة القرار: قصدت حجبها ← اتركها؛ تريد فهرستها ← ارفع الحجب واطلب الفهرسة؛ تريد إزالتها ← اسمح بالزحف وقدّم noindex (واستمر في إبقائها قابلة للزحف).

الوثائق الرسمية

وثائق أساسية من محركات البحث.

Google

• تقرير فهرسة الصفحات — التقرير الذي توجد فيه هذه الحالة، مع التعريفين الحرفيين لـ”Blocked by robots.txt” (الترجمة العربية) «محظور بواسطة robots.txt» و”Indexed, though blocked by robots.txt.” (الترجمة العربية) «مفهرسة رغم حجبها بواسطة robots.txt».
• إلغاء حجب صفحة محجوبة بواسطة robots.txt — خطوات Google للعثور على القاعدة التي تحجب العنوان وإصلاحها.
• تقرير robots.txt — تقرير خاصية النطاق الذي يعرض ملفات robots.txt التي عثرت عليها Google، وحالة الجلب، والتحذيرات، وطلب إعادة الزحف.
• مقدمة إلى robots.txt — ما يفعله robots.txt وما لا يفعله، بما في ذلك أنه “is not a mechanism for keeping a web page out of Google.” (الترجمة العربية) «ليس آلية لإبقاء صفحة ويب خارج Google.»
• حظر فهرسة البحث باستخدام noindex — القاعدة التي تجعل noindex يعمل فقط على صفحة غير محجوبة بواسطة robots.txt (تعارض noindex + disallow).

Bing / Microsoft

• مساعدة Bing Webmaster Tools — تحترم Bing ملف robots.txt للزحف أيضًا؛ وتتبع أداة اختبار robots.txt وأداة حظر العناوين لديها المبدأ نفسه: الزحف مقابل الفهرسة.

اقتباسات من المصدر

تصريحات مسجلة من Google. كل رابط مباشر يقفز إلى المقطع المقتبس في صفحة المصدر.

Google — ماذا تعني الحالة

• “This page was blocked by your site’s robots.txt file. You can verify this using the robots.txt tester. Note that this does not guarantee that the page won’t be indexed through some other means.” (الترجمة العربية) «حُجبت هذه الصفحة بواسطة ملف robots.txt الخاص بموقعك. يمكنك التحقق من ذلك باستخدام أداة اختبار robots.txt. لاحظ أن هذا لا يضمن ألا تُفهرس الصفحة بوسيلة أخرى.» — مساعدة Google Search Console، تقرير فهرسة الصفحات. انتقل إلى الاقتباس

Google — يتحكم robots.txt في الزحف لا الفهرسة

• “it is not a mechanism for keeping a web page out of Google.” (الترجمة العربية) «ليس آلية لإبقاء صفحة ويب خارج Google.» — Google Search Central، مقدمة إلى robots.txt. انتقل إلى الاقتباس

Google — لماذا يتعارض noindex مع المنع

• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” (الترجمة العربية) «لكي تكون قاعدة noindex فعالة، يجب ألا يكون الملف أو المورد محجوبًا بواسطة ملف robots.txt، وأن يكون متاحًا للزاحف بطريقة أخرى.» — Google Search Central، حظر فهرسة البحث باستخدام noindex. انتقل إلى الاقتباس

إحصاءات وبيانات الطرف الأول الجديرة بالاستشهاد

• حجب صفحات تتصدر النتائج: ضرر حقيقي يمكن تحمله. في تجربتي، أدى حجب صفحتين تتصدران النتائج ومفهرستان أصلًا باستخدام robots.txt (بدأت في 30 يناير 2023) إلى خسارة الصفحتين موضعًا هنا أو هناك وكل مقتطفاتهما المميزة، وتدهور قائمة النتائج إلى “no information is available for this page” (الترجمة العربية) «لا تتوفر معلومات لهذه الصفحة»، وانخفاض النقرات أكثر من مرات الظهور. وكان ملخصي: “I expected a lot more impact, but the world didn’t end” (الترجمة العربية) «توقعت أثرًا أكبر بكثير، لكن العالم لم ينتهِ» — ثم “don’t block pages you want indexed. It hurts.” (الترجمة العربية) «لا تحجب الصفحات التي تريد فهرستها. فهذا يؤلم.» تختبر هذه التجربة ما يحدث لصفحة مفهرسة تنتقل إلى حالة «مفهرسة رغم حجبها»؛ ولا تتنبأ بعنوان لم يُفهرس من البداية. المصدر
• عناوين الخدمات المحجوبة التي تُفهرس عادةً غير ضارة. وفق John Mueller، لا بأس بحجب عناوين من نوع add-to-cart بواسطة robots.txt؛ وحتى إن ظهرت مفهرسة رغم حجبها، فلا يرجح أن تظهر في الاستعلامات العادية. التغطية
• مدى شيوع حجب robots.txt على الويب — بيانات معدل الحجب حول الزواحف التي تمنعها 140 مليون موقع أكثر، من دراستي مع Xibeijia Guan. المصدر

الخطأ الذي يعرّف هذه الحالة: noindex + disallow

الخطأ: جمع Disallow مع noindex لمحاولة إزالة صفحة. هذا هو الخطأ الأكثر شيوعًا المرتبط بحالة «محظور بواسطة robots.txt»، ويستحق التسمية مباشرةً لأنه يبدو كحزام وحمالتين بينما يهزم نفسه فعليًا. يريد شخص إخراج صفحة من Google، فيضع لها Disallow في robots.txt ويضيف وسم noindex احتياطًا. لا ينجح ذلك. تذكر Google القاعدة بوضوح: “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” (الترجمة العربية) «لكي تكون قاعدة noindex فعالة، يجب ألا يكون الملف أو المورد محجوبًا بواسطة ملف robots.txt، وأن يكون متاحًا للزاحف بطريقة أخرى.» فإذا مُنعت الصفحة، لا تزحف Google إليها ولا ترى noindex، وقد تبقى مفهرسة — عكس النتيجة المقصودة تمامًا. الإصلاح هو العكس: اسمح بالزحف ثم قدّم noindex.

خرافة: «المنع في robots.txt أداة لإزالة الفهرسة». ليس كذلك، وتقول Google ذلك مباشرةً: robots.txt “is not a mechanism for keeping a web page out of Google.” (الترجمة العربية) «ليس آلية لإبقاء صفحة ويب خارج Google.» يوقف حجب العنوان جلبه — لكنه لا يزيل العنوان من الفهرس، وقد يظهر عنوان محجوب لكنه مرتبط (وهذه حالة «مفهرسة رغم حجبها بواسطة robots.txt» الشقيقة). استخدم noindex (مع السماح بالزحف) أو أداة عمليات الإزالة عندما يكون الهدف هو الإزالة الفعلية.

خرافة: «كل ما في فئة «محظور بواسطة robots.txt» مشكلة ينبغي إصلاحها». غالبًا العكس هو الصحيح. هذه الحالة هي النتيجة المتوقعة لمنع مقصود — مثل البحث الداخلي، أو معاملات التنقل ذي المرشحات، أو مسارات التجربة. النسخة الوحيدة التي تستحق اعتبارها خطأ هي عنوان كنت تريد فهرسته فعلًا ثم ظهر في القائمة بالخطأ.

خطأ: حجب صفحة تريدها أن تتصدر قبل حساب الكلفة. حجب صفحة تريد ترتيبها من أجل «تنظيف» الموقع أو «توفير ميزانية الزحف» أخطر مما يبدو. في تجربتي الخاصة، حجبت صفحتين تتصدران النتائج، فخسرت كل المقتطفات المميزة أثناء الحجب وانخفضت النقرات أكثر من مرات الظهور لأن قائمة النتائج تدهورت إلى “no information is available for this page” (الترجمة العربية) «لا تتوفر معلومات لهذه الصفحة». بقيت الترتيبات نفسها في معظمها — لكن تعامل مع حجب صفحة تهمك بواسطة robots.txt على أنه قرار حقيقي، لا تعديلًا روتينيًا.

قائمة فرز «محظور بواسطة robots.txt»

اعمل على هذه القائمة من الأعلى إلى الأسفل عندما تفتح الحالة في Search Console:

• افتح تقرير فهرسة الصفحات وانقر على «محظور بواسطة robots.txt» لرؤية قائمة عناوين URL المتأثرة الفعلية.
• لكل عنوان (أو نمط عناوين)، اسأل: هل كنت أقصد حجبه؟
• إذا كانت الإجابة نعم — بحث داخلي، أو تنقل بمرشحات، أو تجربة، أو سلة/دفع — فاتركه. تعمل الحالة كما ينبغي لذلك العنوان.
• إذا كانت الإجابة لا أو لم تكن متأكدًا — مرر العنوان عبر فحص عنوان URL للتأكد من أنه محجوب حاليًا لا في لقطة قديمة.
• اعثر على القاعدة المحددة التي تلتقط العنوان باستخدام أداة اختبار robots.txt (أو مدقق آخر لـrobots.txt) — تفوز القاعدة الأطول والأكثر تحديدًا، ويمكن لـAllow تجاوز Disallow أوسع. يراقب يعرض تقرير robots.txt في GSC حالة جلب الملف؛ لكنه لا يختبر عناوين URL الفردية.
• تأكد من أنك لا تعتمد أيضًا على noindex في العنوان الممنوع نفسه — فهذا الجمع لا يعمل؛ اختر السماح بالزحف مع noindex إذا كان الهدف الإزالة.
• أزل قاعدة الحجب أو خففها (مباشرةً إذا كنت تتحكم في robots.txt، أو عبر وثائق منصة الاستضافة إذا كانت تدير الملف عنك، مثل Wix أو Shopify أو Squarespace).
• اطلب فهرسة العنوان المُصلح في Search Console بعد رفع الحجب.
• تحقق مرة أخرى من أنك لا تخلط هذه الحالة مع «مفهرسة رغم حجبها بواسطة robots.txt» — فهذه نتيجة معاكسة (مفهرسة رغم ذلك) وتحتاج إلى إصلاح مختلف.
• أعد فحص الفئة بعد بضعة أسابيع للتأكد من أن العدد اتجه كما توقعت (ينخفض للعناوين المصلحة ويظل ثابتًا للحجب المقصود).
• إذا احتوى أي من هذه العناوين على محتوى حساس، فلا تعتمد على المنع لإبقائه خاصًا — أضف المصادقة أو حماية كلمة المرور بدلًا من ذلك.

اعمل على شجرة القرار

أجب عن سؤال واحد في كل مرة للوصول إلى الخطوة الصحيحة لعنوان موجود في فئة «محظور بواسطة robots.txt».

النماذج الذهنية

1. الزحف ≠ الفهرسة. تنهار الحالة كلها إلى ارتباك إذا خلطت بين الاثنين. يتحكم robots.txt في الزحف — أي ما إذا كانت Googlebot ستجلب صفحة. ولا يتحكم مباشرةً في الفهرسة — أي ما إذا كان العنوان سينتهي في فهرس Google. لا تُفهرس الصفحة الممنوعة عن طريق الزحف، لكنها قد تُفهرس من دون محتوى إذا ربطت بها صفحات أخرى. أبقِ الفكرتين منفصلتين، وسيتوقف معظم هذا التصنيف عن الإرباك.

2. فرز السؤال الواحد. قبل أي شيء آخر، اسأل: هل كنت أقصد حجب هذا؟ نعم ← اتركه، فهو يعمل كما صُمم. لا ← هذه هي الحالة الوحيدة الجديرة بالإصلاح. يفرز هذا السؤال الواحد كل عناوين الفئة تقريبًا بصورة صحيحة.

3. لإزالة صفحة، اعكس غريزتك. الحركة الطبيعية — المنع مع noindex و«أمان إضافي» — معكوسة تمامًا. لا تستطيع Google رؤية توجيه في صفحة لم تجلبها. التسلسل الصحيح عكس الحدس: اسمح بالزحف ثم قدّم noindex. كلما اتجه شخص إلى المنع لجعل صفحة تختفي، فهذه إشارة إلى تطبيق هذا النموذج.

4. robots.txt أداة لميزانية الزحف، لا أداة لنتائج البحث. استخدمه لإبعاد الروبوتات عن مساحات عناوين منخفضة القيمة أو لا نهائية (البحث الداخلي، والمرشحات، ومسارات التجربة) حتى يتجه جهد الزحف إلى الصفحات التي تريد اكتشافها — لا كرافعة لما يظهر في نتائج البحث. هذه المهمة تخص noindex أو حماية كلمة المرور أو الحذف.

تتبع عدد العناوين في الفئة، لا مجرد وجودها

الرقم الوحيد الجدير بالمراقبة هو عدد عناوين URL الموجودة في صف «محظور بواسطة robots.txt» في تقرير فهرسة الصفحات بمرور الوقت — فاللقطة الواحدة لا تخبرك ما إذا نجح الإصلاح أو بدأت تظهر حجبات جديدة غير مقصودة.

عدد عناوين فئة «محظور بواسطة robots.txt» بمرور الوقت

• المقياس — عدد عناوين URL تحت «محظور بواسطة robots.txt» في تقرير فهرسة الصفحات في GSC، متتبعًا بمرور الوقت.
• ما الذي يخبرك به — ما إذا كانت الفئة تتصرف كما تتوقع. بالنسبة إلى العناوين التي تحجبها عمدًا (البحث الداخلي، والمرشحات، ومسارات التجربة)، ينبغي أن يبقى العدد ثابتًا تقريبًا ما دامت مساحات العناوين مستقرة — فالارتفاع المفاجئ يعني عادةً أن قسمًا جديدًا التقطته مصادفةً قاعدة Disallow قائمة. أما عنوان أزلت حظره عمدًا لأنك تريده مفهرسًا، فينبغي أن يخرج من الفئة بعد الزحف التالي.
• كيفية استخراجه — تقرير فهرسة الصفحات في GSC، بعد تصفيته إلى صف «محظور بواسطة robots.txt»؛ وافحص عناوين محددة عبر فحص عنوان URL للتأكد من الحالة الحالية لا لقطة قديمة.
• المعيار/النطاق الواقعي — لا يوجد هدف عام — فهو يعتمد تمامًا على مقدار موقعك المحجوب عمدًا. المعيار الصادق: صفر من العناوين في هذه الفئة كنت تريد فهرستها فعلًا، واتجاه ثابت لكل ما عدا ذلك. سجّل خط أساس لعددك قبل الحكم على أثر أي تغيير.
• الدورية — افحصه مباشرةً بعد أي تغيير في robots.txt؛ وبخلاف ذلك تكفي نظرة دورية (شهريًا أكثر من كافٍ لمعظم المواقع) لاكتشاف الانحراف.

دليل العمل: إزالة صفحة فعلًا من Google

تسلسل قابل للتكرار عندما يحتاج عنوان URL إلى الخروج من فهرس Google فعلًا — لا مجرد منعه من الزحف مستقبلًا.

1. تأكد أن الهدف هو الإزالة لا مجرد التحكم في الزحف. إذا كان الهدف حقًا «التوقف عن هدر ميزانية الزحف»، فالمنع البسيط في robots.txt هو الأداة المناسبة ولا ينطبق هذا الدليل — فقد تبقى الصفحة مفهرسة عبر الروابط، ولا مشكلة في ذلك. استخدم هذا التسلسل فقط عندما يجب أن تغادر الصفحة الفهرس فعلًا.

2. اسمح بالزحف. أزل قاعدة Disallow التي تحجب العنوان أو خففها. أكد باستخدام أداة اختبار robots.txt أن العنوان أصبح مسموحًا، لا محجوبًا.

3. قدّم noindex. أضف وسم robots من نوع noindex أو ترويسة HTTP من نوع X-Robots-Tag إلى الصفحة التي أصبحت قابلة للزحف. هذه هي تعليمة الإزالة الفعلية — أما المنع فلم يكن يؤدي هذه المهمة أصلًا.

4. دع Google تعيد الزحف وتلتقط التغيير. يجب أن تجلب Google الصفحة مرة أخرى لترى noindex. ولا توجد طريقة لفرض جلب فوري، بخلاف طلب الفهرسة في Search Console والانتظار للزحف التالي.

5. أكد الإزالة. افحص فحص عنوان URL في Search Console لترى حالة فهرسة الصفحة الحالية. عندما تبلغ عن استبعاد الصفحة بسبب noindex، تكون الإزالة قد نجحت.

6. لا تعتبر إعادة الحجب خطوة الإنهاء. بعد سقوط الصفحة من الفهرس، ليست إعادة إضافة Disallow مجانية: قد تفقد Google رؤية قاعدة noindex مجددًا في الزحف التالي، وقد يعود عنوان محجوب لكنه مرتبط بوصفه مفهرسًا عبر روابط صفحات أخرى — وهي النتيجة نفسها «مفهرسة رغم حجبها» التي كنت تحاول تجنبها. إذا كانت ميزانية الزحف هي مصدر القلق، فوازنها مقابل هذا الخطر، أو استخدم المصادقة/الحذف بدلًا من ذلك للصفحات التي يجب أن تبقى خارج الفهرس نهائيًا.

7. للحالات العاجلة، تجاوز الانتظار. إذا احتاجت الصفحة إلى الخروج الآن، فاستخدم أداة عمليات الإزالة في Search Console، أو احمِ الصفحة بكلمة مرور، أو احذفها تمامًا (وأعد 404/410) بدل انتظار دورة الزحف ثم noindex.

مطالبات ذكاء اصطناعي جاهزة للاستخدام

مطالبات يمكنك نسخها ولصقها للعمل على حجب robots.txt مع نموذج لغوي. تعامل مع الناتج بوصفه فرضية أولية — وأكد كل ما يهم باستخدام أداة اختبار robots.txt أو أداة فحص عنوان URL في Search Console قبل التصرف.

اكتشف أي قاعدة تحجب أي عنوان URL

Here is my robots.txt file and a list of URLs. For each URL, tell me whether it
is blocked or allowed, and quote the exact line in robots.txt responsible
(remember: the longest, most specific matching rule wins, and an Allow can
override a broader Disallow). If a URL isn't matched by any rule, say so.

ROBOTS.TXT:
[paste]

URLS:
[paste list, one per line]

تحقق منطقيًا من أن الحجب مقصود

I run a [type of site]. Here is my robots.txt file. For each Disallow rule, tell
me what kind of URLs it likely targets (e.g. internal search, faceted
navigation, staging, cart/checkout, admin) and flag any rule that looks broad
enough it might be catching content pages by accident. Don't guess about pages
you can't see — just reason from the rule pattern and ask me to confirm
anything ambiguous.

ROBOTS.TXT:
[paste]

صِغ تسلسل noindex ثم الزحف لصفحة محددة

I need to remove [URL] from Google. It's currently blocked by this robots.txt
rule: [paste rule]. Walk me through the exact sequence of changes in order
(robots.txt edit, meta tag or header change, what to check in Search Console at
each step) so I don't accidentally leave the noindex tag unseen by Google.

اختبر عنوانًا مقابل قواعد robots.txt

قبل تغيير أي شيء، أكد بالضبط أي قاعدة تلتقط عنوانًا معينًا. تنفذ أداة اختبار robots.txt ذلك عبر مُطابق مقتبس من محلل robots.txt مفتوح المصدر الخاص بـGoogle، وتعرض القاعدة الفائزة لكل عنوان — وهذه أسرع وأدق طريقة للتحقق. ولإجراء فحص يدوي سريع بلا أداة، إليك المنطق الأساسي في Python:

import re

def rule_matches(path, rule):
    """Very simplified robots.txt path matcher: '*' = wildcard, '$' = end anchor."""
    pattern = re.escape(rule).replace(r'\*', '.*')
    if pattern.endswith(r'\$'):
        pattern = pattern[:-2] + '$'
    return re.match(pattern, path) is not None

def find_blocking_rule(path, disallow_rules, allow_rules):
    """Longest matching rule wins; ties go to Allow (mirrors Google's documented
    precedence). Returns the winning rule string, or None if nothing matches."""
    matches = [r for r in disallow_rules if rule_matches(path, r)]
    matches += [r for r in allow_rules if rule_matches(path, r)]
    if not matches:
        return None
    return max(matches, key=len)

# Example
disallow = ["/search", "/*?*sort="]
allow = ["/search/help"]
print(find_blocking_rule("/search/help", disallow, allow))  # -> "/search/help" (Allow wins, longer)
print(find_blocking_rule("/search/results", disallow, allow))  # -> "/search" (Disallow, no competing Allow)

هذا تبسيط للمطابق الفعلي لدى Google (فإن تحليل robots.txt الحقيقي يملك حالات طرفية إضافية حول الهروب واختيار المجموعة) — استخدمه لفحص نموذجك الذهني، وأكد أي أمر مهم بالمدقق الحقيقي قبل الاعتماد عليه.

أدوات لتشخيص هذه الحالة وإصلاحها

• مدقق فهرس Google — بعد إصلاح الحجب، استخدمه لفحص إشارات قابلية الفهرسة الملحوظة للصفحة (رمز الحالة، وإعادة التوجيه، وnoindex، وcanonical) قبل الانتقال إلى Search Console لمعرفة إجابة Google الفعلية.
• فحص عنوان URL (Google Search Console) — مصدر الحقيقة لمعرفة ما إذا كان عنوان محدد محجوبًا حاليًا، وقابلية فهرسته في الاختبار الحي، وما إذا كانت Google قد أعادت التقاطه بعد الإصلاح.
• تقرير robots.txt (Google Search Console) — عرض على مستوى خاصية النطاق لملفات robots.txt التي عثرت عليها Google لمضيفيك الرئيسيين، ووقت آخر جلب، وحالة الجلب، مع إجراء «طلب إعادة الزحف» بعد تغيير الملف.

اختبر نفسك: محظور بواسطة robots.txt

خمسة أسئلة عن حالة «محظور بواسطة robots.txt» والأخطاء التي يرتكبها الناس حولها. اختر إجابة لكل سؤال ثم تحقق منها.

أثبت أن الإزالة نجحت فعلًا

«وضعت noindex» أو «عدلت robots.txt» ليس دليلًا بحد ذاته — النتيجة الوحيدة المهمة هي ما يعكسه فهرس Google فعليًا بعد ذلك. تفصل هذه الاختبارات بين التغيير الذي أجريته والنتيجة التي توصلت إليها Google.

الاختبار 1 — السماح بالزحف فعليًا

• الاختبار المطلوب — مرر العنوان عبر أداة اختبار robots.txt بعد تعديل الملف.
• النتيجة المتوقعة — يعود العنوان مسموحًا، من دون قاعدة Disallow تطابقه (أو مع فوز Allow أكثر تحديدًا على Disallow أوسع).
• تفسير الفشل — استمرار الحجب يعني أن قاعدة أخرى أكثر تحديدًا تلتقط العنوان، أو أن التعديل لم يُنشر — افحص المحتوى الحي الفعلي للملف، لا ما قصدت تغييره فقط.
• نافذة المراقبة — فورية — فهذا فحص ثابت للملف كما يُخدم.
• مُشغّل التراجع — لا ينطبق — أصلح القاعدة قبل الانتقال للاختبار التالي؛ فلا شيء لاحق ينجح حتى يُسمح بالزحف فعليًا.

الاختبار 2 — تقديم noindex بصورة صحيحة

• الاختبار المطلوب — فحص عنوان URL ← الاختبار الحي في Search Console (أو اجلب الصفحة مباشرةً وافحص ترويسات الاستجابة/HTML) على العنوان الذي أصبح قابلًا للزحف.
• النتيجة المتوقعة — يعرض الاختبار الحي noindex موجودًا، إما كوسم robots في عنصر <head> أو كترويسة HTTP من نوع X-Robots-Tag.
• تفسير الفشل — يعني غياب noindex هنا أن الإزالة لن تحدث مهما انتظرت — فالخطوة التي تسمح بالزحف وحدها لا تزيل شيئًا.
• نافذة المراقبة — فورية — يعكس الاختبار الحي الصفحة المخدومة حاليًا.
• مُشغّل التراجع — لا ينطبق — يجب أن ينجح هذا قبل أن تملك Google أي فرصة للتصرف.

الاختبار 3 — أن تكون Google قد أسقطت الصفحة فعلًا

• الاختبار المطلوب — فحص عنوان URL (حقل الحالة المفهرسة، لا الاختبار الحي فقط) على العنوان، مع فحص دوري بعد نجاح الاختبارين السابقين.
• النتيجة المتوقعة — تتغير الحالة إلى مستبعدة بسبب noindex، ويتوقف العنوان عن الظهور في بحث site: أو في بيانات تتبع الترتيب.
• تفسير الفشل — بقاء الصفحة مفهرسة بعد دورة زحف كاملة يعني عادةً تأخر التخزين المؤقت/النشر، لا إعدادًا مكسورًا — يجب أن تعيد Google الزحف لرؤية التغيير، وهذا ليس فوريًا.
• نافذة المراقبة — من أسبوع إلى ثلاثة أسابيع، بحسب معدل زحف Google السابق للعنوان — لا تحكم في اليوم التالي لنشر التغيير.
• مُشغّل التراجع — الشرط المسمى للإيقاف — استمرار الفهرسة بعد دورة زحف كاملة مع استمرار ظهور الصفحة بوصفها مزحوفة حديثًا في سجلات الخادم ← توقف عن افتراض أنه مجرد نشر متأخر، وأعد فحص الاختبارين 1 و2 بحثًا عن خطأ (طبقة تخزين مؤقت تخدم robots.txt قديمًا، أو CDN يزيل ترويسة X-Robots-Tag، أو قاعدة ثانية متعارضة هي الأسباب المعتادة).

سجل التغييرات