كيفية إزالة الصفحات من فهرس Google

الخلاصة — تعني إزالة الفهرسة إخراج صفحة من نتائج بحث Google. لا يوجد زر واحد «للحذف من Google»؛ بل تختار الوسيلة وفق حالتك. والفخ الأكبر أن حجب الصفحة في robots.txt لا يزيلها من Google. لإزالة الصفحة فعليًا، تسمح عادةً لـGoogle بالزحف إليها وتضيف وسم noindex.

ما إزالة الفهرسة؟

إزالة الفهرسة عكس الظهور في البحث: أي جعل عنوان URL يتوقف عن الظهور في نتائج Google. وقد تحتاج إليها بسبب صفحة قديمة أو مكررة أو سطحية أو محرجة، أو عنوان تجريبي تسرّب، أو معلومات حساسة.

لا توجد أداة واحدة تصلح لكل حالة. ويتوقف الاختيار الصحيح على ثلاثة أسئلة:

1. هل تملك الصفحة؟ إن لم تكن تملكها فلديك أداة محددة، وإن كنت تملكها فلديك عدة خيارات.
2. هل تريد إزالتها مؤقتًا أم دائمًا؟
3. هل يجب أن يبقى المحتوى متاحًا للزوار، أم ينبغي حذفه؟

الفخ الذي يقع فيه معظم الناس

الخطأ الأكثر شيوعًا هو الاعتقاد بأن حجب صفحة في robots.txt يزيلها. هذا غير صحيح: يتحكم robots.txt في الزحف، أي السماح لـGoogle بقراءة الصفحة، لا في الفهرسة، أي ظهور عنوان URL في النتائج. إنهما نظامان مختلفان. Evidence for this claim Blocking crawling with robots.txt is not a reliable way to remove a URL from Google Search. Scope: Google Search; a blocked URL can still be indexed without content when Google discovers it elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt

إذا حجبت صفحة في robots.txt، فقد تظل Google تعرض عنوان URL في النتائج من دون محتوى لأنها لم تقرأ الصفحة. والأسوأ أنك إذا أضفت أيضًا noindex فلن تراه Google أصلًا، لأنك منعتها من قراءة الصفحة. وكما شرحت في مقال Ahrefs، “Indexed, though blocked by robots.txt” Can Be More Than A Robots.txt Block، أي «قد تصف حالة الفهرسة مع حظر robots.txt أكثر من سبب واحد»: الزحف والفهرسة أمران مختلفان.

الوسائل في لمحة

• noindex — وسم يطلب من محركات البحث عدم إدراج الصفحة. تظل حية للزوار لكنها تختفي من النتائج، ويجب أن تبقى قابلة للزحف كي تراه Google.
• الحذف (404/410) — أزل المحتوى كليًا؛ فيخرج من الفهرس بعد إعادة الزحف.
• الحماية بكلمة مرور — ضع الصفحة خلف تسجيل دخول فلا يستطيع أي زاحف الوصول إليها.
• أداة الإزالة في Google Search Console — سريعة لكنها مؤقتة فقط، لنحو ستة أشهر؛ إنها أداة طوارئ لا حل دائم. Evidence for this claim Search Console's Removals tool temporarily blocks a URL from Google Search and is not a permanent removal method. Scope: Google Search Console verified properties; permanent removal requires a separate lasting method. Confidence: high · Verified: 2026-07-14 Google Search Console Help: Removals tool and SafeSearch Reporting Tool
• وسم canonical — يوجه Google في الصفحات المكررة إلى النسخة التي تريد إبقاءها. هذا توحيد للإشارات لا «إزالة» بالمعنى الدقيق.

قواعد سريعة

• تريد إخفاء صفحة من البحث مع إبقائها للزوار؟ اسمح بالزحف وأضف noindex.
• تريد إزالتها نهائيًا وألا تبقى موجودة؟ احذفها وأرجع 404 أو 410.
• تسرب شيء وتحتاج إلى إخفائه اليوم؟ استخدم أداة الإزالة ثم طبق وسيلة دائمة خلال نافذة الأشهر الستة.
• لا تملك الصفحة؟ استخدم أداة تحديث المحتوى القديم إن كان المحتوى قديمًا أو أزيل. أما المعلومات الشخصية أو الحساسة عنك، فتوجه Google إلى أداة «إزالة معلوماتك الشخصية من Google»؛ يوضح تبويب Advanced الفرق.
• لا تحجب صفحة في robots.txt بقصد إزالتها، ولا تجمع بين Disallow في robots.txt وnoindex.

هل تريد إطار القرار الكامل، واقتباسات Google الدقيقة، وطريقة إزالة الصور التي يكون فيها robots.txt هو الأداة الصحيحة فعلًا، والمدة الواقعية لكل وسيلة؟ انتقل إلى تبويب Advanced.

الخلاصة — لا توجد لإزالة الفهرسة أداة واحدة؛ فالاختيار يتوقف على الملكية، وعلى كون الإزالة مؤقتة أو دائمة، وعلى بقاء المحتوى. القاعدة الأساسية: لا يزيل Disallow في robots.txt صفحة من الفهرس، بل يمنع الزحف، وقد تُفهرس الصفحة عبر الروابط، كما لا تستطيع Google رؤية noindex في صفحة لا تزحف إليها. والجمع بينهما يأتي بنتيجة عكسية. أداة الإزالة في GSC حل طوارئ مؤقت لنحو ستة أشهر ويجب إقرانها بوسيلة دائمة: noindex أو 404/410 أو الحماية بكلمة مرور أو canonical للمكررات. أما الصور فـrobots.txt وسيلة Google المعتمدة لإزالتها. ولغير مالك الصفحة مساران: تحديث المحتوى القديم للمحتوى الزائل أو المتغير، وأداة إزالة المعلومات الشخصية للحالات الحساسة. لا تعمل الوسائل الدائمة فورًا؛ بل تنتظر إعادة الزحف.

ما المقصود فعلًا بإزالة الفهرسة، وما الذي لا تعنيه؟

لا يوجد زر «حذف من Google». إزالة الفهرسة مهمة تتحدد وفق الحالة: هل تملك الصفحة، وهل تريد إزالتها مؤقتًا أم دائمًا، وهل ينبغي أن يبقى المحتوى متاحًا للمستخدمين؟ عندما تحسم هذه الأسئلة الثلاثة يتضح الخيار الصحيح غالبًا.

ومن المفيد فصل مسارين منذ البداية:

• مسار الطوارئ — تحتاج إلى إخفاء شيء سريعًا، مثل عنوان URL متسرب أو معلومات شخصية مكشوفة. تمنحك أداة الإزالة إن كنت تملك الموقع، أو أداة تحديث المحتوى القديم إن لم تكن تملكه، وقتًا للتصرف.
• المسار الدائم — الحل الفعلي: noindex أو الحذف بـ404/410 أو الحماية بكلمة مرور أو canonical. يجب تطبيقه أثناء خطوة الطوارئ أو بعدها مباشرة لأن أدوات الطوارئ تنتهي صلاحيتها.

الخرافة الأساسية: لا يزيل robots.txt الصفحات من Google

هذه هي الفكرة التي يحمل عليها الموضوع كله، لذلك تستحق أكبر قدر من الشرح.

الزحف والفهرسة نظامان مختلفان

robots.txt توجيه للزحف، وnoindex توجيه للفهرسة. النظامان منفصلان: تستطيع Google فهرسة عنوان URL لم تزحف إليه إذا اكتشفته عبر الروابط، ولا تستطيع رؤية noindex في عنوان مُنع الزحف إليه. Evidence for this claim Blocking crawling with robots.txt is not a reliable way to remove a URL from Google Search. Scope: Google Search; a blocked URL can still be indexed without content when Google discovers it elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt

تقول وثائق Google عن noindex حرفيًا: “If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.” (الترجمة العربية) «إذا حجبت الصفحة بملف robots.txt أو تعذر على الزاحف الوصول إليها، فلن يرى قاعدة noindex مطلقًا، وقد تظل الصفحة تظهر في نتائج البحث، مثلًا إذا ربطت إليها صفحات أخرى». والسبب: “We have to crawl your page in order to see <meta> tags and HTTP headers.” (الترجمة العربية) «يجب أن نزحف إلى صفحتك كي نرى وسوم <meta> وترويسات HTTP».

وقد شرحت الفكرة نفسها بكلماتي في مقال Indexed, though blocked by robots.txt: إذا منعت الزحف إلى الصفحة، فقد تظل Google تفهرسها بسبب الروابط؛ وما لم تستطع الزحف إليها فلن ترى وسم noindex وقد تفهرسها.

ما تقوله وثائق Google عن الإزالة حرفيًا

وثيقة Google “Remove a page hosted on your site from Google”، أي «إزالة صفحة مستضافة على موقعك من Google»، واضحة: تسرد للإزالة الدائمة تحديث المحتوى أو إزالته، أو الحماية بكلمة مرور، أو إضافة noindex، ثم تقول مباشرة: “Don’t use robots.txt as a way to block your page.” (الترجمة العربية) «لا تستخدم robots.txt وسيلةً لحجب صفحتك».

«مفهرسة رغم حظرها في robots.txt» — عَرَض Search Console

إذا جربت نهج robots.txt فربما رأيت حالة Search Console “Indexed, though blocked by robots.txt.” (الترجمة العربية) «مفهرسة رغم حظرها في robots.txt». تصف العبارة عنوان URL فهرسته Google، غالبًا بعد اكتشافه عبر الروابط، مع أنه محظور من الزحف. وفي مقالي على Ahrefs شرحت أربعة أسباب محتملة: حظر زحف حقيقي، أو حظر متقطع/مخزن مؤقتًا، أو حظر خاص بوكيل مستخدم، أو حظر قائم على عنوان IP. لذلك شخّص السبب ولا تفترضه. وتحقق من نص الواجهة الحالي في موقع Search Console حي قبل اقتباسه، إذ قد تعدله Google.

لماذا يؤدي الجمع بين Disallow في robots.txt وnoindex إلى نتيجة عكسية؟

هذا أكثر الإخفاقات التي يصنعها أصحاب المواقع بأنفسهم. إذا أضفت noindex وDisallow في robots.txt معًا، ضمنت ألا يعمل noindex. تقول وثائق robots meta tag حرفيًا: “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored. If indexing or serving rules must be followed, the URLs containing those rules cannot be disallowed from crawling.” (الترجمة العربية) «إذا مُنع الزحف إلى صفحة عبر robots.txt، فلن يُعثر على معلومات قواعد الفهرسة أو العرض، ولذلك ستُتجاهل. وإذا كان يجب اتباع هذه القواعد، فلا يجوز منع الزحف إلى عناوين URL التي تحتويها».

القاعدة العملية: إن أردت إزالة صفحة، فاتركها قابلة للزحف وأضف noindex. لا تفكر في حجبها في robots.txt إلا بعد التأكد من خروجها، وحتى عندئذ لا يمنع robots.txt عودتها إلى الفهرس عبر الروابط.

لمحة تاريخية: إيقاف noindex في robots.txt عام 2019

كان هناك توجيه غير رسمي noindex: داخل robots.txt. لم يكن معيارًا رسميًا وكان دعمه متفاوتًا، ثم أوقفت Google التعامل معه. جاء في ملاحظة Google عن القواعد غير المدعومة على لسان Gary Illyes في يوليو 2019: “we’re retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.” (الترجمة العربية) «سنوقف كل الشفرة التي تتعامل مع القواعد غير المدعومة وغير المنشورة، مثل noindex، في 1 سبتمبر 2019». وقد قلت في تغطيتي على Ahrefs إن Google دعمت هذا التوجيه بصورة غير رسمية ثم أزالته رسميًا. ووصفه Gary بعبارة “sticks out like a nun in a mosh pit.” (الترجمة العربية) «يبدو نشازًا واضحًا كراهبة وسط ساحة رقص صاخبة» في تعليقه المنقول.

الإزالة الطارئة: أداة الإزالة في Search Console

عندما يلزم إخفاء شيء الآن، تكون أداة الإزالة هي الوسيلة السريعة. تقول Google: “For quick removals, use the Removals tool to remove a page hosted on your site from Google’s search results within a day.” (الترجمة العربية) «للإزالة السريعة، استخدم أداة الإزالة لحذف صفحة مستضافة على موقعك من نتائج بحث Google خلال يوم». وأكد John Mueller للمالكين الذين أثبتوا الملكية أنها “it works very quickly”. (الترجمة العربية) «تعمل بسرعة كبيرة».

لكنها إجراء طوارئ لا حل، والوثائق واضحة بشأن قيدين:

• إنها مؤقتة. “Requests made in the Removals tool last for about 6 months.” (الترجمة العربية) «تستمر الطلبات المقدمة في أداة الإزالة نحو ستة أشهر». وتقول مساعدة Search Console: “A successful request lasts only about six months.” (الترجمة العربية) «يستمر الطلب الناجح نحو ستة أشهر فقط». Evidence for this claim Search Console's Removals tool temporarily blocks a URL from Google Search and is not a permanent removal method. Scope: Google Search Console verified properties; permanent removal requires a separate lasting method. Confidence: high · Verified: 2026-07-14 Google Search Console Help: Removals tool and SafeSearch Reporting Tool
• لا توقف الزحف ولا تزيل شيئًا فعليًا. “Blocking a URL does not prevent Google from crawling your page, only from showing it in Search results.” (الترجمة العربية) «حجب عنوان URL لا يمنع Google من الزحف إلى صفحتك، بل يمنع عرضه في نتائج البحث فقط».

من دون وسيلة دائمة موازية قد تعود الصفحة عند انتهاء النافذة. استخدم أداة الإزالة لشراء الوقت، ثم طبق noindex أو احذف الصفحة أو احمها بكلمة مرور خلال تلك المدة.

الأداة المقابلة لدى Bing

لدى Bing أداة Block URLs موازية، ونص واجهتها المؤكد هو: “This feature allows you to block a URL from appearing in the Bing search results. This block will remain in place for maximum of 90 days. If the URL still returns a 200 OK code when visited by our crawler after 90 days, it will reappear in our search results.” (الترجمة العربية) «تتيح لك هذه الميزة منع ظهور عنوان URL في نتائج Bing. ويظل الحظر مدة أقصاها 90 يومًا. فإذا استمر العنوان في إرجاع 200 OK عند زيارة زاحفنا بعد 90 يومًا، فسيظهر مجددًا في النتائج». ويحذرك Bing قبل انتهاء الحظر بثمانية أيام، ويمكن تجديد حظر العنوان بلا حد. وقد لخّصت المقارنة بأن أثر Google المؤقت يقارب ستة أشهر، وأثر Bing ثلاثة أشهر، أي 90 يومًا. أما صفحة Bing للمساعدة في الإزالة الدائمة فهي تطبيق يعرض المحتوى عبر JavaScript ولم أستطع استخراج نصها حرفيًا؛ لذلك يظل اقتراح IndexNow أدناه إعادة صياغة.

الوسيلة الدائمة الأولى — noindex عبر meta أو X-Robots-Tag

يعد noindex أكثر الوسائل فاعلية لإزالة عنوان URL من الفهرس عندما يكون الزحف مسموحًا. فهو يطلب من محركات البحث عدم إدراج الصفحة مع إبقائها حية للمستخدمين والزوار المباشرين. وكما قلت: يطلب وسم meta robots بقيمة noindex أو ترويسة X-Robots-Tag من محركات البحث إزالة الصفحة من الفهرس.

له تطبيقان:

• وسم meta في <head> ضمن HTML: <meta name="robots" content="noindex">.
• ترويسة HTTP باسم X-Robots-Tag — للملفات غير HTML مثل PDF التي لا تحتوي على <head>. تقول Google: “Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” (الترجمة العربية) «يمكن تحديد أي قاعدة تصلح في وسم robots meta أيضًا عبر X-Robots-Tag».

الشرط الذي يتسبب في معظم الأخطاء: يجب أن تظل الصفحة قابلة للزحف. إذا حُجبت في robots.txt فلن ترى Google الوسم. ويقدم نموذج Mueller ذي الخطوتين عبر Search Engine Journal إطارًا واضحًا: تأكد أولًا من قدرة Google على الوصول إلى الصفحة، ثم أضف noindex.

استخدمها عندما: ينبغي أن تظل الصفحة حية للمستخدمين أو للوصول المباشر أو بعد تسجيل الدخول، لكن لا ينبغي أن تظهر في البحث؛ مثل صفحات الشكر ونتائج البحث الداخلية والنسخ المفلترة أو ذات الأوجه وصفحات الأرشيف منخفضة القيمة.

الوسيلة الدائمة الثانية — حذف المحتوى (404/410)

إذا كان يجب ألا يبقى المحتوى، فاحذفه وأرجع 404 (Not Found) أو 410 (Gone). تقول Google إن الرمزين “mean that the page does not exist, which will drop such URLs from Google’s index once they’re crawled and processed.” (الترجمة العربية) «يعنيان أن الصفحة غير موجودة، ما يؤدي إلى إسقاط هذه العناوين من فهرس Google بعد الزحف إليها ومعالجتها». وبكلماتي: تخرج الصفحة من الفهرس بعد وقت قصير من إعادة الزحف.

404 أم 410: كلاهما يعمل. تشير 410 بوضوح أكبر قليلًا إلى أن الصفحة أزيلت نهائيًا وقد تكون أسرع قليلًا، لكن الفارق العملي صغير؛ راجع مقارنة 404-vs-410. ولا يمكنك إبقاء الصفحة حية للمستخدمين مع إرجاع 410؛ فإذا كانوا يحتاجون إليها فاستخدم noindex.

استخدمها عندما: يكون المحتوى متوقفًا فعلًا ولا يحتاج إليه أحد.

الوسيلة الدائمة الثالثة — الحماية بكلمة مرور أو جدار تسجيل الدخول

وضع الصفحة خلف المصادقة هو الإزالة الأكثر إحكامًا. تقول Google: “Password-protect your page. Limiting access to your page enables the right users to view your page, while preventing Googlebot and other web crawlers from accessing it.” (الترجمة العربية) «احم صفحتك بكلمة مرور. يتيح تقييد الوصول للمستخدمين المناسبين رؤيتها، ويمنع Googlebot وغيره من زواحف الويب من الوصول إليها». ويذكر منشور 2019 أن إخفاء الصفحة خلف تسجيل الدخول يزيلها عمومًا من الفهرس، إلا مع ترميز الاشتراكات أو جدران الدفع.

ميزتان لهذه الوسيلة: تحجب كل الزواحف في كل محركات البحث، ولا تستطيع الروابط تجاوزها كما يحدث مع robots.txt. لكن ثمنها أنها تحجب أيضًا كل مستخدم لا يملك بيانات اعتماد؛ لذا تناسب المحتوى الخاص فعلًا، لا الصفحات العامة.

استخدمها عندما: يكون المحتوى حساسًا أو خاصًا ولا ينبغي أن يراه إلا المستخدمون المسجلون.

التوحيد عبر canonical — مرتبط بالإزالة لكنه ليس إزالة

وسم canonical ليس أداة إزالة، والخلط بينهما يسبب ضررًا. فاختيار canonical هو توحيد: عندما توجد عناوين URL مكررة أو شبه مكررة، يخبر rel="canonical" Google بالنسخة الممثلة ويجمع إشارات الترتيب فيها. ويظل العنوانان حيين وقابلين للزحف.

الأهم أن Google تنصح تحديدًا بعدم استخدام noindex لإدارة اختيار canonical بين المكررات داخل موقع واحد: “We don’t recommend using noindex to prevent selection of a canonical page within a single site, because it will completely block the page from Search.” (الترجمة العربية) «لا نوصي باستخدام noindex لمنع اختيار صفحة أساسية داخل موقع واحد، لأنه سيحجب الصفحة تمامًا من البحث». فإذا كانت المشكلة عنوانين للمحتوى نفسه وتريد إبقاء أحدهما فاستخدم canonical؛ وإذا كان يجب ألا تظهر الصفحة أصلًا فاستخدم noindex.

استخدمها عندما: توجد عناوين مكررة فعلًا وتريد جمع الإشارات في واحد منها، لا بديلًا من noindex لصفحة لا تريد فهرستها.

إزالة الصور تحديدًا — الاستثناء من الخرافة

في حالة الصور ينقلب حكم robots.txt: فهو وسيلة Google المعتمدة فعلًا للإزالة. تقول وثائق إزالة الصور: “To prevent images from your site appearing in Google’s search results, add a robots.txt file to the root of the site that hosts the image.” (الترجمة العربية) «لمنع ظهور صور موقعك في نتائج Google، أضف ملف robots.txt إلى جذر الموقع الذي يستضيف الصورة». المثال:

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

لماذا ينجح ذلك مع الصور ويفشل مع الصفحات؟ لأن فهرسة صور Google تعتمد أساسًا على الزحف إلى ملف الصورة نفسه، وهو ما يحجبه robots.txt مباشرة، بينما قد تُفهرس صفحة ويب عادية من اكتشاف الروابط وحده. لذلك تخص الخرافة الصفحات لا الصور. استخدم وكيل المستخدم Googlebot-Image لإزالة الصورة من صور Google، أو Googlebot العام لإزالتها من كل واجهات Google.

توجد أيضًا وسيلة X-Robots-Tag للصور: “Alternatively, you can remove images hosted on your site from Google’s search results by adding the noindex X-Robots-Tag to the HTTP response headers of the images you want to remove” (الترجمة العربية) «يمكنك بدلًا من ذلك إزالة الصور المستضافة على موقعك من نتائج Google بإضافة X-Robots-Tag بقيمة noindex إلى ترويسات استجابة HTTP للصور». لكن يجب عندها السماح بالزحف إلى عناوين الصور كي يقرأ Googlebot القاعدة. وتقول Google إن للطريقتين الأثر نفسه، فلا داعي للجمع بينهما.

إذا لم تكن تملك الصفحة — أداتان لمشكلتين مختلفتين

يفترض كل ما سبق أنك تتحكم في الصفحة. إذا لم تكن تملكها، تقسم Google المسار وفق نوع المشكلة، واختيار المسار الخطأ يهدر وقت الطوارئ.

محتوى الصفحة قديم أو أزيل، لكن نسخة Google لم تلحق بالتغيير. استخدم أداة تحديث المحتوى القديم. تقول Google: “Use the Refresh Outdated Content tool to have Google update search results for pages or images that no longer exist, or pages that have deleted important (sensitive or critical) content.” (الترجمة العربية) «استخدم أداة تحديث المحتوى القديم كي تحدّث Google نتائج الصفحات أو الصور التي لم تعد موجودة، أو الصفحات التي حذفت محتوى مهمًا حساسًا أو حرجًا». لا تعمل الأداة إلا إذا كان المحتوى قد اختفى أو تغير كثيرًا على الصفحة الحية؛ ولا تجبر المالك على إزالة محتوى يريد إبقاءه. وتتطلب تسجيل الدخول لا إثبات ملكية Search Console.

المشكلة معلومات شخصية أو حساسة، وقد تظل الصفحة حية. توجه إرشادات Google هذه الحالة إلى مسار مختلف. ففي مربع “if you don’t own the page” (الترجمة العربية) «إذا لم تكن تملك الصفحة»، تقول الوثيقة حرفيًا: “If you don’t own the page, see Remove your personal information from Google instead.” (الترجمة العربية) «إذا كانت الصفحة لغيرك، فراجع بدلًا من ذلك أداة إزالة معلوماتك الشخصية من Google». وتصل العبارة إلى أداة إزالة معلوماتك الشخصية من Google. إنها أداة منفصلة لطلبات مثل نشر البيانات الشخصية أو كشف وثائق الهوية أو المعلومات المالية أو الصور الصريحة دون موافقة. وهذا هو المسار الأول عندما تكون المعلومات المعروضة عنك، لا مجرد معلومات قديمة. يستند ذلك إلى النسخة الحية من وثيقة Google المؤرخة 2025-12-10 في تذييلها؛ أعد التحقق لأن طريقة عرض المسارين قد تتغير.

أما إن كان المحتوى قديمًا أو أزيل بالفعل ولم تكن المسألة معلومات شخصية، فتظل أداة تحديث المحتوى القديم هي المسار الصحيح لغير المالك.

إطار القرار — أي وسيلة لأي حالة؟

راجع تبويب Decision Trees لجولة تفاعلية في القرار.

كم تستغرق إزالة الفهرسة فعلًا؟

لا تعمل أي وسيلة دائمة فورًا؛ إذ تنتظر كلها إعادة زحف Google لرؤية التغيير، سواء وسم noindex أو حالة 404/410. لهذا توجد أداة الإزالة: إنها الوسيلة السريعة الوحيدة فعلًا، خلال يوم وفق وثائق Google، ولذلك تناسب الطوارئ رغم كونها مؤقتة. إذا ظلت صفحة أضفت إليها noindex ظاهرة، فتقول Google إن السبب “probably because we haven’t crawled the page since you added the noindex rule.” (الترجمة العربية) «ربما لأننا لم نزحف إلى الصفحة منذ إضافة قاعدة noindex». ويمكن لطلب الفهرسة أو إعادة الزحف في فحص عنوان URL تسريع الأمر.

موضع هذا الدليل من الموضوع

هذه الصفحة مركز عملي يربط مجموعة الفهرسة. ولتفاصيل التوجيهات راجع الأدلة الخاصة بـnoindex وmeta-robots وx-robots-tag وrobots-txt وremovals-tool وcanonicalization ورمزي 404-vs-410 و410-gone. وللمسار الكامل من الاكتشاف إلى الزحف والعرض والفهرسة وتقديم النتائج راجع مجموعة كيف يعمل البحث. وإذا ترك حظر robots.txt صفحة مفهرسة، فمقال Indexed, though blocked by robots.txt هو رفيق التشخيص المباشر.

ملخص الذكاء الاصطناعي

خلاصة مكثفة من النسخة المتقدمة:

• لا يوجد زر واحد للحذف من Google. تتوقف الوسيلة على ملكية الصفحة وكون الإزالة مؤقتة أو دائمة وبقاء المحتوى.
• الخرافة الأساسية: لا يزيل Disallow في robots.txt الصفحة؛ فهو يتحكم في الزحف، بينما يتحكم noindex في الفهرسة. قد يُفهرس العنوان عبر الروابط ولا ترى Google noindex في صفحة محجوبة.
• لا تجمع Disallow في robots.txt مع noindex؛ بل اترك الصفحة قابلة للزحف وأضف noindex.
• أداة الإزالة إجراء طوارئ لنحو ستة أشهر ولا توقف الزحف. اربطها بوسيلة دائمة. وتقارب مدة Block URLs في Bing 90 يومًا.
• أربع وسائل دائمة: noindex لإبقاء الصفحة وإخفائها، و404/410 للحذف، والحماية بكلمة مرور لحجب الوصول، وcanonical لتوحيد المكررات لا لإزالتها.
• الصور استثناء: يزيل Disallow الموجه إلى Googlebot-Image الصور لأن فهرستها تعتمد على الزحف إلى الملف.
• لا تملك الصفحة؟ استخدم تحديث المحتوى القديم للمحتوى الذي أزيل أو تغير، وأداة إزالة المعلومات الشخصية للمعلومات الحساسة.
• لا تعمل إلا أداة الإزالة فورًا؛ أما الوسائل الدائمة فتنتظر إعادة الزحف.
• تاريخ 2019: أوقفت Google رسميًا توجيه noindex: غير الرسمي داخل robots.txt اعتبارًا من 1 سبتمبر 2019.

الوثائق الرسمية

وثائق المصادر الأولية من محركات البحث.

Google

• إزالة صفحة مستضافة على موقعك من Google — الوسائل الدائمة الثلاث، وحد أداة الإزالة البالغ نحو ستة أشهر، والتحذير من استخدام robots.txt لحجب الصفحة.
• حظر الفهرسة باستخدام noindex — لماذا يجب أن تبقى الصفحة قابلة للزحف كي يعمل noindex.
• مواصفات robots meta tag وdata-nosnippet وX-Robots-Tag — لماذا لا يجوز الجمع بين Disallow في robots.txt وقاعدة فهرسة.
• ملاحظة عن القواعد غير المدعومة في robots.txt (Gary Illyes، يوليو 2019) — إيقاف توجيه noindex: غير الرسمي والبدائل المعتمدة.
• أداة تقريري الإزالة وSafeSearch — مساعدة Search Console: الأداة مؤقتة لنحو ستة أشهر ولا توقف الزحف.
• أداة تحديث المحتوى القديم — أداة عامة لغير المالك لتحديث النتائج القديمة، ولا تعمل إلا إذا أزيل المحتوى أو تغير على الصفحة الحية.
• إزالة معلوماتك الشخصية من Google — الأداة التي توجه إليها وثيقة Google غير مالك الصفحة عندما تكون المشكلة معلومات شخصية أو حساسة لا مجرد محتوى قديم.
• إزالة صور موقعك من بحث Google — وسيلة Googlebot-Image في robots.txt وبديل X-Robots-Tag للصور.
• تحديد عنوان URL أساسي — لماذا لا تستخدم noindex لاختيار canonical داخل الموقع.

Bing / Microsoft

• إزالة عنوان URL أو صفحة نهائيًا من Bing أو Copilot — إرشادات Bing للإزالة الدائمة عبر الحذف ورمز الحالة أو NOINDEX.
• حجب عناوين URL من Bing — أداة Block URLs المؤقتة في Bing، المقابلة لأداة Google.

اقتباسات من المصدر

تصريحات مسجلة من Google وممثليها. ينقلك كل رابط مباشرة إلى المقطع المقتبس في صفحة المصدر.

Google — الخرافة الأساسية: الزحف مقابل الفهرسة

• “If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.” (الترجمة العربية) «إذا حجبت الصفحة بملف robots.txt أو تعذر على الزاحف الوصول إليها، فلن يرى قاعدة noindex، وقد تظل الصفحة تظهر في النتائج، مثلًا إذا ربطت إليها صفحات أخرى». — وثائق Google Search Central. انتقل إلى الاقتباس
• “Don’t use robots.txt as a way to block your page.” (الترجمة العربية) «لا تستخدم robots.txt وسيلةً لحجب صفحتك». — وثائق Google Search Central. انتقل إلى الاقتباس
• “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored. If indexing or serving rules must be followed, the URLs containing those rules cannot be disallowed from crawling.” (الترجمة العربية) «إذا مُنع الزحف إلى صفحة عبر robots.txt فلن يُعثر على معلومات قواعد الفهرسة أو العرض وستُتجاهل. وإذا وجب اتباع هذه القواعد، فلا يجوز منع الزحف إلى العناوين التي تحتويها». انتقل إلى الاقتباس

Google — أداة الإزالة المؤقتة

• “For quick removals, use the Removals tool to remove a page hosted on your site from Google’s search results within a day.” (الترجمة العربية) «للإزالة السريعة، استخدم أداة الإزالة لإخراج صفحة مستضافة على موقعك من نتائج Google خلال يوم». انتقل إلى الاقتباس
• “Requests made in the Removals tool last for about 6 months.” (الترجمة العربية) «تستمر الطلبات المقدمة في أداة الإزالة نحو ستة أشهر». انتقل إلى الاقتباس
• “A successful request lasts only about six months.” (الترجمة العربية) «يستمر الطلب الناجح نحو ستة أشهر فقط». — مساعدة Search Console. انتقل إلى الاقتباس
• “Blocking a URL does not prevent Google from crawling your page, only from showing it in Search results.” (الترجمة العربية) «حجب عنوان URL لا يمنع Google من الزحف إلى صفحتك، بل يمنع عرضها في النتائج فقط». — مساعدة Search Console. انتقل إلى الاقتباس

Google — الوسائل الدائمة

• “Password-protect your page. Limiting access to your page enables the right users to view your page, while preventing Googlebot and other web crawlers from accessing it.” (الترجمة العربية) «احم صفحتك بكلمة مرور؛ فتقييد الوصول يتيح للمستخدمين المناسبين رؤيتها ويمنع Googlebot وغيره من الزواحف من الوصول». انتقل إلى الاقتباس
• 404 و410: “Both status codes mean that the page does not exist, which will drop such URLs from Google’s index once they’re crawled and processed.” (الترجمة العربية) «يعني الرمزان أن الصفحة غير موجودة، ما يسقط هذه العناوين من فهرس Google بعد الزحف إليها ومعالجتها». انتقل إلى الاقتباس
• إيقاف 2019: “we’re retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.” (الترجمة العربية) «سنوقف كل الشفرة التي تتعامل مع القواعد غير المدعومة وغير المنشورة، مثل noindex، في 1 سبتمبر 2019». — Gary Illyes، Google. انتقل إلى الاقتباس

Google — canonical مقابل noindex، والصور

• “We don’t recommend using noindex to prevent selection of a canonical page within a single site, because it will completely block the page from Search.” (الترجمة العربية) «لا نوصي باستخدام noindex لمنع اختيار صفحة أساسية داخل موقع واحد، لأنه سيحجب الصفحة تمامًا من البحث». انتقل إلى الاقتباس
• “To prevent images from your site appearing in Google’s search results, add a robots.txt file to the root of the site that hosts the image.” (الترجمة العربية) «لمنع ظهور صور موقعك في نتائج Google، أضف ملف robots.txt إلى جذر الموقع الذي يستضيف الصورة». انتقل إلى الاقتباس

Google — أدوات غير مالك الصفحة

• “Use the Refresh Outdated Content tool to have Google update search results for pages or images that no longer exist, or pages that have deleted important (sensitive or critical) content.” (الترجمة العربية) «استخدم أداة تحديث المحتوى القديم كي تحدّث Google نتائج الصفحات أو الصور التي لم تعد موجودة، أو الصفحات التي حذفت محتوى مهمًا حساسًا أو حرجًا». — مساعدة Search Console. انتقل إلى الاقتباس
• “If you don’t own the page, see Remove your personal information from Google instead.” (الترجمة العربية) «إذا لم تكن تملك الصفحة، فراجع بدلًا من ذلك إزالة معلوماتك الشخصية من Google». — Google Search Central، وثيقة «إزالة صفحة مستضافة على موقعك من Google»، وقد تأكدت حيًا وكان آخر تحديث في تذييلها 2025-12-10 UTC. اقرأ الوثيقة

Bing — أداة Block URLs المؤقتة لنحو 90 يومًا

• “This feature allows you to block a URL from appearing in the Bing search results. This block will remain in place for maximum of 90 days. If the URL still returns a 200 OK code when visited by our crawler after 90 days, it will reappear in our search results.” (الترجمة العربية) «تسمح الميزة بحجب عنوان URL من نتائج Bing مدة لا تتجاوز 90 يومًا؛ وإذا ظل الخادم يعيد 200 OK حين يزوره الزاحف بعد انقضاء المدة، يعود العنوان إلى النتائج». — نص واجهة Bing Webmaster Tools. مساعدة Bing Block URLs

ممثلو Google

• “Why would you need to unindex them? … (Also, to unindex, don’t block with robots.txt, use noindex instead.)” (الترجمة العربية) «لماذا تحتاج إلى إلغاء فهرستها؟ … ولإلغاء الفهرسة، لا تحجبها بـrobots.txt، بل استخدم noindex». — John Mueller، Google، 8 مارس 2021. اقرأ التغطية
• عن توجيه noindex: غير الرسمي في robots.txt قال إنه “sticks out like a nun in a mosh pit.” (الترجمة العربية) «يبدو نشازًا كراهبة في ساحة رقص صاخبة». — Gary Illyes، Google، أبريل 2019. انتقل إلى الاقتباس
• عن أداة الإزالة للمالكين المثبتين: “It works very quickly.” (الترجمة العربية) «تعمل بسرعة كبيرة». — John Mueller، Google. انتقل إلى الاقتباس

أي وسيلة إزالة ينبغي أن أستخدم؟

أجب عن بضعة أسئلة لتصل إلى الوسيلة المناسبة لحالتك.

أخطاء إزالة الفهرسة التي ينبغي تجنبها

إخفاقات متكررة يصنعها أصحاب المواقع بأنفسهم، مع سبب الخطأ والبديل الصحيح.

حجب صفحة في robots.txt لإزالتها

• سبب الخطأ: يتحكم robots.txt في الزحف لا الفهرسة؛ فقد يُفهرس العنوان عبر الروابط، ولا تستطيع Google قراءة noindex في صفحة لا تزحف إليها. وغالبًا تظهر حالة “Indexed, though blocked by robots.txt.” (الترجمة العربية) «مفهرسة رغم حظرها في robots.txt».
• البديل: اترك الصفحة قابلة للزحف وأضف noindex، أو احذفها بـ404/410.

الجمع بين Disallow في robots.txt ووسم noindex بوصفه حماية مزدوجة

• سبب الخطأ: يمنع Disallow الزحف، فلا ترى Google noindex. تقول الوثائق إن قواعد الفهرسة “will not be found and will therefore be ignored.” (الترجمة العربية) «لن يُعثر عليها، ومن ثم ستُتجاهل».
• البديل: للإزالة استخدم noindex مع السماح بالزحف. ولا تفكر في robots.txt إلا بعد خروج الصفحة، مع علمك أنه لا يمنع الفهرسة عبر الروابط.

وضع noindex داخل robots.txt

• سبب الخطأ: لم يكن توجيه noindex: غير الرسمي معيارًا، وأوقفت Google التعامل معه في 1 سبتمبر 2019.
• البديل: استخدم وسم meta بقيمة noindex أو ترويسة X-Robots-Tag.

اعتبار أداة الإزالة دائمة

• سبب الخطأ: هي مؤقتة صراحة؛ إذ “a successful request lasts only about six months” (الترجمة العربية) «يستمر الطلب الناجح نحو ستة أشهر فقط»، ولا توقف الزحف.
• البديل: عاملها كإجراء طوارئ وطبق noindex أو 404/410 أو الحماية بكلمة مرور خلال النافذة.

استخدام noindex لاختيار canonical بين مكررات الموقع

• سبب الخطأ: لا توصي Google بذلك؛ فـnoindex يحجب الصفحة من البحث بدل جمع إشاراتها في النسخة المفضلة.
• البديل: استخدم rel="canonical" للمكررات الحقيقية، واحتفظ بـnoindex للصفحات التي لا تريدها في البحث.

افتراض أن robots.txt لا يصلح لأي شيء، حتى الصور

• سبب الخطأ: مع الصور، يعد robots.txt عبر Googlebot-Image وسيلة Google المعتمدة لأن فهرسة الصور تعتمد على الزحف إلى الملف. الخرافة تخص الصفحات.
• البديل: استخدم Disallow لـGooglebot-Image مع الصور، وnoindex مع السماح بالزحف للصفحات.

توقع الإزالة الفورية

• سبب الخطأ: تنتظر كل وسيلة دائمة إعادة زحف Google لرؤية التغيير؛ أداة الإزالة وحدها سريعة.
• البديل: استخدم أداة الإزالة أولًا إن كان الأمر عاجلًا، وإلا انتظر أو اطلب إعادة الزحف في فحص عنوان URL.

إجراء تشغيلي قياسي — إزالة صفحة تملكها من Google نهائيًا

إجراء قابل للتكرار لإخراج عنوان URL واحد من فهرس Google بصورة دائمة.

1. حدد النتيجة. إن بقي المحتوى للمستخدمين فاستخدم noindex؛ وإن كان خاصًا فاحمه بكلمة مرور؛ وإن وجب ألا يبقى فأرجع 404/410؛ وإن كان مكررًا فاستخدم rel="canonical" للتوحيد.
2. تأكد من قابلية الزحف. يجب ألا يحظر robots.txt العنوان، وإلا لم تر Google الوسم. أزل أي Disallow متعارض.
3. طبق الوسيلة الدائمة:
   • noindex: أضف <meta name="robots" content="noindex"> إلى <head>، أو X-Robots-Tag: noindex إلى ترويسة HTTP للملفات غير HTML.
   • الحذف: أزل المحتوى واجعل الخادم يرجع 404 أو 410.
   • كلمة المرور: ضع الصفحة خلف المصادقة.
4. اختياريًا، إن كان الأمر عاجلًا، أرسل طلب إزالة في Search Console عبر Indexing → Removals → New request لإخفائها خلال يوم. الطلب مؤقت لنحو ستة أشهر؛ والوسيلة في الخطوة 3 هي الدائمة.
5. اطلب إعادة الزحف. في فحص عنوان URL شغّل “Test live URL” (الترجمة العربية) «اختبار عنوان URL المباشر»، ثم “Request indexing” (الترجمة العربية) «طلب الفهرسة».
6. تحقق. بعد إعادة الزحف تأكد في فحص عنوان URL أن الصفحة لم تعد مفهرسة. فإن ظلت ظاهرة، فعادةً لم يُعد الزحف إليها بعد.
7. لا تنقض عملك. لا تضف لاحقًا Disallow في robots.txt إلى العنوان نفسه؛ فهذا يمنع Google من إعادة تأكيد noindex أو 404.

قائمة تحقق لإزالة الفهرسة

قبل محاولة إزالة الصفحة وبعدها:

• اخترت الوسيلة المناسبة: noindex أو 404-410 أو كلمة مرور أو canonical أو أداة الإزالة أو تحديث المحتوى القديم.
• عنوان URL غير محظور في robots.txt، وهو شرط لرؤية noindex و404/410 وcanonical.
• لا تجمع بين Disallow في robots.txt ووسم noindex.
• للصفحة التي تبقى حية: طبقت noindex عبر meta أو X-Robots-Tag وسمحت بالزحف.
• للصفحة المحذوفة: يرجع الخادم 404 أو 410 حقيقيًا، لا soft-404 بحالة 200.
• للمحتوى الخاص: وضعت الصفحة خلف المصادقة، من دون ترميز جدار دفع إلا للاشتراك الحقيقي.
• للمكررات: استخدمت rel="canonical" بدل noindex.
• للصور: أضفت Disallow لـGooglebot-Image في robots.txt، أو X-Robots-Tag مع السماح بالزحف.
• للطوارئ: أرسلت طلب إزالة وطبقت وسيلة دائمة في النافذة نفسها.
• إن لم تكن تملك الصفحة: ميزت بين تحديث المحتوى القديم للمحتوى الزائل وبين أداة إزالة معلوماتك الشخصية للحالات الحساسة، وتأكدت في المسار الأول من أن المحتوى أزيل أو تغير على الصفحة الحية.
• طلبت إعادة الزحف في فحص عنوان URL، ثم تحققت من الإزالة بعد إعادة الجلب.

ورقة غش لإزالة الفهرسة

ما الذي تفعله كل وسيلة؟

حقائق سريعة

• لا يزيل Disallow في robots.txt الصفحة؛ بل يمنع الزحف لا الفهرسة.
• لا تجمع Disallow مع noindex لأن Google لن ترى noindex.
• أداة إزالة Google لنحو 6 أشهر وBlock URLs في Bing لنحو 90 يومًا؛ وكلتاهما مؤقتة.
• يعمل 404 و410، وتعد 410 أسرع قليلًا.
• robots.txt هو الوسيلة المعتمدة لإزالة الصور عبر Googlebot-Image.
• لا تستخدم noindex لاختيار canonical داخل الموقع؛ فهو يحجب الصفحة كليًا.
• لا تعمل إلا أداة الإزالة فورًا؛ أما البقية فتنتظر إعادة الزحف.

النموذج الذهني في سطرين

1. تريد إخفاءها مع إبقائها صالحة؟ اسمح بالزحف وأضف noindex.
2. تريد إزالتها نهائيًا؟ احذفها بـ404/410. وعند الطوارئ استخدم أداة الإزالة أولًا، ثم وسيلة دائمة.

مقتطفات برمجية لأعمال إزالة الفهرسة

إضافة وسم noindex في <head> ضمن HTML

<meta name="robots" content="noindex">

ضبط noindex عبر X-Robots-Tag في Apache .htaccess لملفات PDF وغير HTML

<Files "private-report.pdf">
  Header set X-Robots-Tag "noindex"
</Files>

ضبط noindex عبر X-Robots-Tag في Nginx

location = /private-report.pdf {
  add_header X-Robots-Tag "noindex";
}

إرجاع 410 Gone لعنوان URL متوقف في Apache

Redirect 410 /old-retired-page/

إزالة صورة من Google عبر robots.txt، وهي وسيلة الصور المعتمدة

User-agent: Googlebot-Image
Disallow: /images/private-photo.jpg

فحص رمز حالة عنوان URL وترويسات الفهرسة في shell

# Confirm the server returns 404/410, or shows the X-Robots-Tag noindex header
curl -sI https://example.com/old-page/ | grep -iE 'HTTP/|x-robots-tag'

التحقق من أن robots.txt لا يحجب الصفحة قبل تطبيق noindex في shell

# Print the robots.txt so you can confirm the URL is NOT under a Disallow
curl -s https://example.com/robots.txt

العثور على توجيهات noindex والحجب في صفحة حية عبر وحدة تحكم Chrome DevTools

// Paste in the Console on the page you're auditing.
// Reports any robots meta tag and the value of the noindex directive.
const m = document.querySelector('meta[name="robots"], meta[name="googlebot"]');
console.log('robots meta:', m ? m.content : '(none)');
console.log('has noindex:', !!(m && /noindex/i.test(m.content)));

Bookmarklet للإبلاغ عن وجود noindex في الصفحة الحالية

javascript:(function(){var m=document.querySelector('meta[name="robots"],meta[name="googlebot"]');var c=m?m.content:'';alert('robots meta: '+(c||'(none)')+'\nnoindex: '+(/noindex/i.test(c)?'YES':'no'));})();

استخراج كل <a href> يشير إلى عنوان URL ستزيله عبر وحدة تحكم DevTools

// Find internal links to the page you're deindexing so you can update/remove them
// (a page with no inbound links is far less likely to linger via link-based indexing).
const target = '/old-page/';
[...document.querySelectorAll('a[href]')]
  .filter(a => a.getAttribute('href').includes(target))
  .forEach(a => console.log(a.getAttribute('href'), '←', a.textContent.trim()));

تذكّر: لكي يعمل noindex أو 404/410 يجب أن يظل عنوان URL قابلًا للزحف؛ فلا تجمع أيًا منها مع Disallow في robots.txt للعنوان نفسه.

مشكلات شائعة في إزالة الفهرسة

أعراض واقعية يواجهها القراء عند إزالة صفحة، مع السبب المرجح والإصلاح.

حالة “Indexed, though blocked by robots.txt” (الترجمة العربية) «مفهرسة رغم حظرها في robots.txt» في Search Console

• العَرَض: يعرض تقرير فهرسة الصفحات عنوان URL تحت هذه الحالة؛ فالعنوان مفهرس لكن المحتوى باهت أو لا يمكن معاينته.
• السبب المرجح: العنوان محظور في robots.txt، لكن Google اكتشفته عبر الروابط الواردة وفهرسته مع عجزها عن قراءة الصفحة ورؤية noindex.
• الإصلاح: حدد النتيجة المطلوبة. لإبقاء الصفحة خارج الفهرس أزل Disallow في robots.txt، واتركها قابلة للزحف، وأضف noindex أو احذفها. تحقق بأداة robots-txt-tester (/tools/robots-txt-tester) ثم راجع Search Console بعد إعادة الزحف.

ما زالت الصفحة تظهر بعد إضافة noindex

• العَرَض: أضفت وسم meta بقيمة noindex أو ترويسة X-Robots-Tag منذ أيام، لكن العنوان ما زال في بحث site: أو مفهرسًا في Search Console.
• السبب المرجح: لم تعد Google الزحف إلى الصفحة، أو أن robots.txt يحجبها فلا ترى الوسم.
• الإصلاح: تأكد من عدم حجب العنوان في robots.txt، ثم استخدم فحص عنوان URL لتشغيل “Test live URL” (الترجمة العربية) «اختبار عنوان URL المباشر» والتأكد من وجود الوسم، ثم “Request indexing.” (الترجمة العربية) «طلب الفهرسة». تقول Google إن بقاء الصفحة بعد noindex يعني عادة “we haven’t crawled the page since you added the rule.” (الترجمة العربية) «لم نزحف إلى الصفحة منذ إضافة القاعدة».

انتهى طلب أداة الإزالة وعادت الصفحة

• العَرَض: تعود صفحة أخفيتها بأداة الإزالة في GSC إلى النتائج بعد بضعة أشهر.
• السبب المرجح: الأداة مؤقتة بطبيعتها لنحو ستة أشهر، فإذا لم تطبق وسيلة دائمة خلال النافذة يصبح العنوان مؤهلًا للظهور عند انتهاء الطلب.
• الإصلاح: تحقق من تطبيق noindex أو 404/410 أو الحماية بكلمة مرور. إن لم يحدث، فطبّق إحداها وأرسل طلب إزالة جديدًا لسد الفجوة حتى تعمل.

صفحة محذوفة بـ404/410 ما زالت في النتائج

• العَرَض: ترجع الصفحة 404 أو 410 حقيقيًا عند فحصها، لكنها تظل مدرجة في النتائج.
• السبب المرجح: لم تعد Google الزحف إلى رمز الحالة ومعالجته؛ فالإزالة تقع “once they’re crawled and processed” (الترجمة العربية) «بعد الزحف إليها ومعالجتها»، لا لحظة تغيير الرمز.
• الإصلاح: تحقق عبر HTTP Status Checker (/tools/http-status-checker)، ثم اطلب إعادة الزحف عبر فحص عنوان URL. وفي الطوارئ استخدم أداة الإزالة مؤقتًا.

ما زالت صورة تظهر في صور Google بعد حظر robots.txt

• العَرَض: أضفت Disallow لـGooglebot-Image لكن الصورة ما زالت في نتائج صور Google.
• السبب المرجح: القاعدة لا تطابق مسار الصورة الفعلي، أو يوجد خطأ صياغة آخر في robots.txt، أو لم يُعد الزحف إلى الصورة وإسقاطها بعد.
• الإصلاح: تحقق من مطابقة المسار عبر robots-txt-tester (/tools/robots-txt-tester) وانتظر؛ تتحدث نتائج الصور وفق جدول إعادة الزحف المعتاد لا فورًا.

انخفض الترتيب بعد تطبيق noindex على صفحة «مكررة»

• العَرَض: طبقت noindex على صفحة ظننتها مكررة لتنظيف الفهرس، فانخفض ظهور المحتوى بدل توحيد الإشارات.
• السبب المرجح: لا يجمع noindex الإشارات في عنوان آخر، بل يزيل الصفحة كليًا من البحث. وإذا لم تكن الصفحتان متماثلتين فعلًا، أو احتجت إلى نقل الإشارات، فهو الأداة الخطأ.
• الإصلاح: للمكررات الحقيقية استخدم rel="canonical" إلى النسخة المراد إبقاؤها، وتحقق عبر Canonical Checker (/tools/canonical-checker).

أدوات أعمال إزالة الفهرسة

تحقق مباشرة من إشارات الزحف والفهرسة بدل التخمين.

• Robots.txt Tester — تحقق من حجب عنوان URL قبل الاعتماد على رؤية Google لـnoindex أو 404/410 أو canonical؛ فكلها تتطلب بقاء الصفحة قابلة للزحف.
• HTTP Status Checker — تأكد من أن العنوان «المحذوف» يرجع 404 أو 410 حقيقيًا لا soft-404 بحالة 200، وأن صفحة noindex ما زالت ترجع 200 مع الوسم.
• Canonical Checker — تحقق من العنوان الذي تعامل Google معه بصفته canonical عند توحيد المكررات بدل إزالتها.
• Google Search Console CSV Analyzer — راجع بيانات Page Indexing، بما فيها “Indexed, though blocked by robots.txt,” (الترجمة العربية) «مفهرسة رغم حظرها في robots.txt»، من دون البحث اليدوي في الواجهة.

ومن الأدوات الخارجية المفيدة: Google Search Console لأداة الإزالة وفحص عنوان URL وتقرير Page Indexing، وBing Webmaster Tools لأداة Block URLs، وScreaming Frog لتدقيق robots.txt ورموز الحالة ووسوم canonical على نطاق الموقع قبل حملة إزالة جماعية.

اختبارات التحقق — هل نفذت الإزالة فعلًا؟

فحوص قابلة للتحقق آليًا لكل وسيلة دائمة، حتى لا تفترض أن Google رأت التغيير.

اختبار: وسم noindex موجود والصفحة قابلة للزحف

• الاختبار: افحص العنوان عبر Robots.txt Tester (/tools/robots-txt-tester) للتأكد من عدم حجبه، ثم شغّل curl -sI https://example.com/page/، أو افحص <head> المعروض وترويسات الاستجابة، بحثًا عن meta بقيمة noindex أو X-Robots-Tag: noindex.
• النتيجة المتوقعة: العنوان مسموح في robots.txt، ويعرض وسم meta أو الترويسة noindex.
• تفسير الفشل: إذا حظر robots.txt العنوان فلن يُرى noindex؛ أصلح Disallow أولًا. وإذا غاب الوسم والترويسة فلا توجد قاعدة إزالة تعمل عليها Google.
• نافذة المراقبة: فوري لفحص الوسم أو الترويسة؛ ومن أسبوع إلى أسبوعين لإعادة زحف Google وخروج الصفحة.
• مشغل التراجع: لإعادة الصفحة أزل وسم أو ترويسة noindex واطلب الفهرسة مجددًا؛ ولا يوجد تغيير آخر يلزم التراجع عنه.

اختبار: الصفحة المحذوفة ترجع 404/410 لا soft-404

• الاختبار: استخدم HTTP Status Checker (/tools/http-status-checker) أو curl -I https://example.com/old-page/.
• النتيجة المتوقعة: رمز HTTP حقيقي 404 أو 410، لا 200 يعرض رسالة خطأ، أي soft 404.
• تفسير الفشل: حالة 200 مع محتوى خطأ تعني أن Google ما زالت ترى العنوان صفحة حية قابلة للفهرسة؛ المطلوب تغيير رمز الحالة لا النص المرئي فقط.
• نافذة المراقبة: فوري للرمز، ومن أسبوع إلى أربعة أسابيع لخروج العنوان من الفهرس بعد إعادة الزحف والمعالجة.
• مشغل التراجع: إن وجب استرجاع الصفحة، فأعد المحتوى وخدمة 200 ثم اطلب الفهرسة.

اختبار: robots.txt لا يحجب صفحة تريد إزالتها بـnoindex أو الحذف

• الاختبار: شغّل Robots.txt Tester (/tools/robots-txt-tester) على العنوان نفسه، أو curl -s https://example.com/robots.txt وافحص القواعد يدويًا.
• النتيجة المتوقعة: العنوان مسموح ولا يطابق Disallow.
• تفسير الفشل: إذا حُجب العنوان فلن ترى Google وسم noindex أو تغير رمز الحالة؛ وهذا أكثر أسباب فشل الإزالة شيوعًا.
• نافذة المراقبة: فورية.
• مشغل التراجع: n/a — لا ينطبق؛ فهذا اختبار شرط مسبق لا تغيير يستلزم التراجع.

اختبار: احترام توحيد canonical

• الاختبار: استخدم Canonical Checker (/tools/canonical-checker) على العنوان المكرر والمفضل، وافحص حقل “Google-selected canonical” (الترجمة العربية) «العنوان الأساسي الذي اختارته Google» في فحص عنوان URL.
• النتيجة المتوقعة: يطابق canonical الذي اختارته Google العنوان الذي أعلنته.
• تفسير الفشل: إذا اختارت Google عنوانًا آخر فهي ترجح إشارات مثل الروابط الداخلية وخرائط الموقع؛ أصلحها بدل إضافة noindex لفرض النتيجة.
• نافذة المراقبة: من أسبوعين إلى أربعة؛ اختيار canonical ليس فوريًا وقد يتغير مع إعادة تقييم الإشارات.
• مشغل التراجع: إذا سبب التوحيد انخفاض الظهور لمحتوى غير مكرر فعلًا، فأزل وسم canonical واترك العنوانين يفهرسان مستقلين.

اختبار: طلب أداة الإزالة نشط وتوجد وسيلة دائمة قبل انتهائه

• الاختبار: افحص حالة الطلب في Search Console عبر Indexing → Removals، وتحقق منفصلًا من عمل noindex أو 404/410 أو كلمة المرور بالاختبار المناسب أعلاه.
• النتيجة المتوقعة: يعرض إدخال أداة الإزالة “Removed” (الترجمة العربية) «تمت الإزالة»، وينجح اختبار الوسيلة الدائمة أيضًا.
• تفسير الفشل: إذا كان الطلب نشطًا وفشلت الوسيلة الدائمة فستعود الصفحة عند انتهاء نافذة الستة أشهر تقريبًا.
• نافذة المراقبة: افحص قبل بلوغ ستة أشهر بوقت كاف، واضبط تذكيرًا عند نحو أربعة أشهر للإصلاح قبل الانتهاء.
• مشغل التراجع: إذا كانت الإزالة خطأ، فألغ الطلب في Search Console وأزل الوسيلة الدائمة، سواء noindex أو حذف المحتوى أو جدار كلمة المرور.

خيارات إزالة الفهرسة عمليًا

إبقاء الصفحة للمستخدمين وإزالتها من البحث

قبل: ترجع صفحة حساب داخلية 200 ويمكن الوصول إليها علنًا وقد تظهر في البحث. بعد: أبقها قابلة للزحف وأرجع noindex؛ ولا تحجبها في robots.txt لأن على الزاحف جلبها كي يرى التوجيه.

حذف محتوى بلا بديل

قبل: ترجع صفحة منتهية 200 رغم زوال محتواها. بعد: أرجع 404 أو 410 وأزلها من الروابط الداخلية وخرائط الموقع. ولا تعِد توجيهها إلى صفحة رئيسية غير مرتبطة لمجرد تفادي 404.

توحيد مكرر حقيقي

قبل: عنوانان متكافئان قابلان للفهرسة ويتنافسان بصفتهما مرشحين مستقلين. بعد: أعد توجيه المكرر إن لم يحتجه المستخدمون، أو أبقه قابلًا للزحف مع canonical يشير إلى العنوان المفضل. هذا توحيد لا مهمة noindex.

إخفاء مادة حساسة فورًا وبصورة دائمة

قبل: مستند خاص متاح للعامة ومفهرس. بعد: قيّد الوصول أو أزله على الخادم، واستخدم أداة الإزالة في Search Console للحجب المؤقت من البحث، وأبق تحكم الوصول أو الإزالة الدائم قائمًا.

اختبر نفسك: إزالة الفهرسة

خمسة أسئلة عن إخراج صفحة من Google فعلًا. اختر إجابة لكل سؤال ثم تحقق.

موارد تستحق وقتك

كتاباتي ذات الصلة

• كيفية إزالة عناوين URL من بحث Google بخمس وسائل — شرحي للوسائل الخمس، ومنها مقارنة مدة أداتي Google وBing.
• قد تعني «مفهرسة رغم حظرها في robots.txt» أكثر من مجرد حظر robots.txt — لماذا تُفهرس الصفحات المحجوبة، والأسباب الأربعة المختلفة لحالة Search Console.
• Robots.txt وSEO: كل ما تحتاج إلى معرفته — ما يفعله robots.txt، أي الزحف، وما لا يفعله، أي الفهرسة.
• دليل المبتدئين إلى SEO التقني — موضع عناصر التحكم في الفهرسة ضمن الصورة الأكبر.

محاضراتي

• كيف يعمل البحث (SlideShare) — شرحي للزحف والعرض والفهرسة وتقديم النتائج، وموضع عناصر إزالة الفهرسة. وينطبق تنبيهي الدائم: “This is my understanding of systems… not going to be 100% complete or accurate.” (الترجمة العربية) «هذا فهمي للأنظمة… ولن يكون كاملًا أو دقيقًا بنسبة 100%».

رسمي

• Google — إزالة صفحة مستضافة على موقعك وحظر فهرسة البحث باستخدام noindex.
• Google — ملاحظة عن القواعد غير المدعومة في robots.txt (Gary Illyes، 2019) — إيقاف noindex داخل robots.txt.

من أنحاء الصناعة

• عند إلغاء فهرسة صفحات من Google استخدم noindex لا robots.txt (Search Engine Roundtable، Schwartz) — تغطية تغريدة John Mueller لعام 2021.
• John Mueller من Google يوضح كيفية إزالة الصفحات من البحث (Search Engine Journal، Southern) — نموذج «اسمح بالزحف ثم أضف noindex» وقوله “it works very quickly” (الترجمة العربية) «تعمل بسرعة كبيرة» عن أداة الإزالة.
• قد تغير Google طريقة عمل NoIndex في Robots.txt (Search Engine Roundtable) — أصل إيقاف 2019 وعبارة Gary Illyes “nun in a mosh pit” (الترجمة العربية) «كراهبة في ساحة رقص صاخبة».
• موقع John Mueller لم يعد في بحث Google (Search Engine Roundtable) — قصة مارس 2024 التحذيرية عن اختفاء موقع Mueller بسبب حالة طرفية في تحليل robots.txt.
• ما وسم Noindex؟ (مسرد Ahrefs) — مرجع مبسط لتوجيه noindex ولماذا canonical، لا noindex، هو أداة المحتوى المكرر.
• r/TechSEO — مجتمع تشخيص مشكلات الزحف والفهرسة وإزالتها.

سجل التغييرات