403 ممنوع

الخلاصة — يعني 403 Forbidden أن الخادم فهم الطلب لكنه يرفضه — فالشخص الذي طلب المورد لا يملك الإذن. وهو مختلف عن 404 («لا يوجد شيء هنا») وعن 401 («سجّل الدخول أولاً»). وبالنسبة إلى SEO، لن تُفهرس الصفحة التي تستمر في إعادة 403 إلى Googlebot، وإذا كانت مفهرسة من قبل فستخرج من الفهرس — لذلك تكون 403 مشكلة يجب إصلاحها إذا كنت تريد العثور على الصفحة.

ماذا يعني 403 فعلياً

إذا كنت زائراً صادف رمز 403 في موقع لا تديره: فهذه قاعدة من جهة الخادم، وليست مشكلة في متصفحك. جرّب شبكة أو جهازاً آخر، وتأكد من أنك لا تستخدم VPN يحظره الموقع، وامسح ملفات تعريف الارتباط — لكن إذا استمر الأمر، فالإصلاح من جهة مالك الموقع، وبقية هذا المقال موجهة إليه.

عندما تطلب أنت (أو روبوت محرك بحث) صفحة، يعيد الخادم رمز حالة. يعني 200 «ها هي الصفحة». أما 403 Forbidden فيعني «فهمت ما طلبته، لكنني أرفض إعطاءه لك». ولا يلزم أن يكون الرفض متعلقاً ببيانات الاعتماد — فقد يرفض الخادم لأسباب أخرى، بل يُسمح له بإعادة 404 إذا أراد إخفاء وجود مورد محظور أصلاً. Evidence for this claim A 403 response means the server understood the request but refuses to fulfill it, and authenticating does not necessarily make a difference. Scope: RFC 9110 defines the protocol semantics; it does not identify the application, firewall, or policy responsible for a specific response. Confidence: high · Verified: 2026-07-14 IETF: RFC 9110 §15.5.4 — 403 Forbidden

أسهل طريقة للتمييز بين رموز 4xx:

• 404 Not Found — «لا يوجد شيء هنا». الصفحة غير موجودة.
• 403 Forbidden — «هناك شيء هنا، لكن لا يمكنك الحصول عليه». حظر نشط.
• 401 Unauthorized — «تحتاج إلى تسجيل الدخول/المصادقة أولاً». و403 أقوى: حتى تسجيل الدخول لن يساعد.

إذن لا يعني 403 أن الخادم معطّل. إنه يعمل تماماً كما أُمر — والسؤال هو ما إذا كان قد أُمر بالشيء الصحيح.

لماذا يهم هذا الأمر بالنسبة إلى SEO

يجب أن يتمكن Googlebot من جلب الصفحة حتى يفهرسها. فإذا طلب صفحتك وحصل على 403، فلن يستطيع Google قراءة أي محتوى من تلك الاستجابة — إذ رُفض الطلب قبل أن يصل إلى ذلك. لن تفهرس Google صفحة تعيد 403، وستخرج الصفحة التي كانت مفهرسة من النتائج في النهاية إذا استمرت في إعادة الرمز. والنتيجة تشبه كثيراً إضافة noindex — تختفي الصفحة من Google — لكن الآلية مختلفة: يجب جلب وسم noindex وقراءته حتى يعمل، بينما يمنع 403 Google من قراءة أي شيء من البداية. Evidence for this claim Google does not index 4xx URLs and removes already-indexed 4xx URLs over time. Scope: Google's crawler documentation supports the indexing outcome for persistent 403 responses, not the article's analogy to noindex. Confidence: high · Verified: 2026-07-14 Google: How HTTP status codes affect Google's crawlers

هذه هي المفارقة التي تجعل فهم 403 مهماً: Googlebot لا يسجّل الدخول أبداً. فهو لا يرسل كلمات مرور أو بيانات اعتماد. لذلك لا يمكن أن يكون 403 — الذي يعني غالباً «لم تُقبل بيانات اعتمادك» — ناتجاً عن ذلك تحديداً بالنسبة إلى Googlebot. لكن هذا لا يعني تلقائياً أنه خطأ: قد يكون الحظر مقصوداً (موقع تجهيز أو منطقة إدارة أو محتوى محمي لم ترد زحفه). وما يعنيه هو أن 403 على صفحة تريدها عامة يستحق التحقيق — فقد تكون قاعدة أمنية أو جدار حماية أو إضافة قررت أن Googlebot يبدو مريباً. وتأتي إرشادات Google ضمن النطاق نفسه: إذا أردت فهرسة الصفحة، فاسمح بمرور Googlebot من دون طلب مصادقة.

ما الأسباب المعتادة؟

لا أملك بيانات صلبة عن السبب الأكثر شيوعاً — تعامل مع هذا كقائمة فحص، لا كقائمة مرتبة حسب الانتشار:

1. حظر CDN أو جدار حماية (WAF) للروبوت — كثيراً ما يكون Bot Fight Mode من Cloudflare هو المخطئ، إذ يلتقط Googlebot مع الروبوتات السيئة.
2. قاعدة على الخادم أو الاستضافة تحظر عناوين IP أو وكلاء مستخدم محددين.
3. ملف robots.txt أو .htaccess مُعدّ بشكل خاطئ.
4. إضافة أمنية (مثل Wordfence على WordPress) تتصرف بصرامة مفرطة.
5. بوابة تسجيل الدخول — كل ما يقع خلف المصادقة سيعيد 403 إلى الروبوت حسب التصميم، وغالباً ما يكون هذا مقصوداً لا خطأً.
6. أخطاء أذونات الملفات على الخادم.

مسار الإصلاح السريع

1. في Google Search Console، افتح تقرير فهرسة الصفحات وابحث عن “Blocked due to access forbidden (403).” (ترجمة) «محظور بسبب منع الوصول (403).»
2. مرّر عنوان URL عبر أداة فحص عنوان URL واضغط اختبار عنوان URL المباشر لمعرفة ما يتلقاه Googlebot الآن.
3. إذا كنت تستخدم Cloudflare أو CDN/جدار حماية آخر، فافحص سجلات الأمان بحثاً عن حظر Googlebot، واسمح بمرور روبوتات البحث المتحقق منها.
4. بعد إصلاح القاعدة، استخدم التحقق من الإصلاح في Search Console.

وهناك أمر لا ينبغي فعله: لا تستخدم 403 أبداً لمحاولة إبطاء Googlebot. فهذا لا يعمل وقد يزيل صفحاتك من الفهرس. إذا كان روبوت يضغط على خادمك، فهذه وظيفة 429 و503.

هل تريد النسخة الأعمق — تشخيص Cloudflare/WAF، ومفارقة 403 في robots.txt، وطريقة السماح للروبوتات في القائمة المسموح بها بشكل صحيح؟ انتقل إلى علامة التبويب Advanced.

الخلاصة — يعني 403 أن الخادم فهم الطلب ورفضه على أساس الوصول — وهو متميز عن 404 (المورد غير موجود) و401 (تجب المصادقة). وبالنسبة إلى الفهرسة، تشبه النتيجة noindex: لن تفهرس Google عنوان URL ذي 403، وتزيل العنوان الذي سبق فهرسته، مع أن الآلية (حظر من الخادم أو CDN أو WAF) لا تشبه وسم meta إطلاقاً. ولأن Googlebot لا يرسل بيانات اعتماد أبداً، فإن 403 إلى Googlebot يكون غالباً نتيجة إعداد خاطئ — وأشيع المرشحين فلترة الروبوتات في CDN/WAF، أو حظر IP/UA على الخادم، أو إضافات الأمان، أو أخطاء .htaccess/الأذونات. ولا يؤثر 403 في معدل الزحف بتاتاً — لا تستخدمه للخنق (فهذه وظيفة 429/503). وتهم حالة الانعكاس: يُعامل 403 على ملف robots.txt نفسه بتسامح، بينما يكون 403 على صفحة حظراً قاطعاً.

403 مقابل 401 مقابل 404 — صحّح النموذج الذهني أولاً

يُخلط بين هذه الرموز الثلاثة باستمرار، والتمييز بينها يقود التشخيص كله. يأتي التعريف الأساسي من مواصفة HTTP نفسها، RFC 9110 §15.5.4: فهم الخادم الطلب ورفض تنفيذه. وتوجد في القسم نفسه تفاصيل دقيقة أهم مما يمنحها كثيرون من اهتمام:

• لا يلزم أن يكون الرفض متعلقاً ببيانات الاعتماد. يسمح RFC 9110 بإعادة 403 لأسباب لا صلة لها بالمصادقة — فهو لا يثبت عالمياً أن مقدم الطلب «معروف» أو أن بيانات اعتماد استُخدمت أصلاً. لا تفسّر كل 403 كقصة مصادقة.
• لا يلزم أن يعترف 403 بوجود المورد. تسمح المواصفة صراحةً لخادم الأصل الذي يريد إخفاء ما إذا كان المورد المحظور موجوداً أصلاً أن يعيد 404 بدلاً منه. لذلك فالعكس صحيح أيضاً: لا يعني 404 دائماً أن «لا شيء كان هنا» — أحياناً يعني «هناك شيء هنا لا أريدك أن تعرفه».
• لا يقتصر الفرق بين 401 و403 على «أضعف مقابل أقوى». فـ401 هو تحديداً تحدي مصادقة — وتشترط المواصفة أن يأتي معه ترويسه WWW-Authenticate تخبر العميل بكيفية المصادقة. أما 403 فلا يتطلب ذلك؛ إنه رفض أوسع لا يعد بأن إعادة المصادقة (ببيانات الاعتماد نفسها أو غيرها) ستغير شيئاً. وتقول صياغة MDN المبسطة: “similar to 401, except that … authenticating or re-authenticating makes no difference. The request failure is tied to application logic, such as insufficient permissions.” (الترجمة العربية) «يشبه 401، إلا أن المصادقة أو إعادة المصادقة لا تُحدث فرقاً؛ ففشل الطلب مرتبط بمنطق التطبيق، مثل نقص الصلاحيات.» Evidence for this claim A 403 response means the server understood the request but refuses to fulfill it, and authenticating does not necessarily make a difference. Scope: RFC 9110 defines the protocol semantics; it does not identify the application, firewall, or policy responsible for a specific response. Confidence: high · Verified: 2026-07-14 IETF: RFC 9110 §15.5.4 — 403 Forbidden
• 404 Not Found، للمقارنة — الحالة العادية هي «لا يوجد شيء هنا»، مع ملاحظة نقطة الإخفاء أعلاه.

هذا الفرق جزء من سبب استحقاق 403 إلى Googlebot نظرة ثانية، لا أن يُعامل كالمعتاد. فـ401 إلى روبوت في صفحة للأعضاء فقط قد يكون يعمل كما ينبغي — المنطقة تحتاج إلى تسجيل دخول. أما 403 إلى روبوت على صفحة يُفترض أن تكون عامة، فيعني أن قاعدة ما قررت أن مقدم الطلب غير مرحب به — ومع ذلك يجدر بك، كما سيأتي، تأكيد أن الصفحة كان من المفترض فعلاً أن تكون عامة قبل أن تسمي ذلك خطأ.

كيف تتعامل Google مع 403 (النتيجة تشبه noindex؛ الآلية لا تشبهه)

تضم Google رمز 403 إلى بقية عائلة 4xx. وتقول وثائق Search Central: “Google doesn’t index URLs that return a 4xx status code, and URLs that are already indexed and return a 4xx status code are removed from the index.” (الترجمة العربية) «لا تفهرس Google عناوين URL التي تعيد رمز حالة 4xx، وتزيل من الفهرس العناوين المفهرسة سابقاً التي تعيد الرمز نفسه.» وتقول أيضاً: “All 4xx errors, except 429, are treated the same: Google crawlers inform the next processing system that the content doesn’t exist.” (الترجمة العربية) «تتعامل الزواحف مع جميع أخطاء 4xx، باستثناء 429، بالطريقة نفسها: تُبلغ نظام المعالجة التالي بأن المحتوى غير موجود.» كما تشير Google إلى أن تكرار الزحف إلى عنوان URL معروف ينخفض تدريجياً كلما استمر في إعادة 4xx — وهذا تأثير خاص بعنوان URL، منفصل عن معدل زحف موقعك الإجمالي (وسنعود إلى الفرق أدناه). Evidence for this claim Google does not index 4xx URLs and removes already-indexed 4xx URLs over time. Scope: Google's crawler documentation supports the indexing outcome for persistent 403 responses, not the article's analogy to noindex. Confidence: high · Verified: 2026-07-14 Google: How HTTP status codes affect Google's crawlers

إذن تشبه النتيجة noindex: لن تدخل الصفحة الفهرس، وإذا كانت فيه فستخرج منه بمرور الوقت. لكن الآلية مختلفة فعلاً، وليست مجرد اختلاف شكلي: يجب جلب وسم noindex وتحليله من HTML الصفحة حتى يسري، بينما يمنع 403 Google من قراءة أي محتوى على الإطلاق — فلا توجد صفحة تعالجها Google. طريقان مختلفان يلتقيان مصادفةً عند عدم ظهور النتيجة في البحث. ولهذا أصف 403 في دليلي عن رموز حالة HTTP وتأثيرها في SEO بأنه “the client is known but doesn’t have access rights,” (الترجمة العربية) «العميل معروف، لكنه لا يملك صلاحيات الوصول.» وأشير إلى أن أخطاء الفئة نفسها تُخرج الصفحات من الفهرس — مع أن «known» هناك اختصار في تقرير Google، وليس ادعاءً بأن كل 403 يتضمن مقدم طلب موثّق.

لماذا يستحق 403 إلى Googlebot التحقيق (وليس خطأً دائماً)

يعتمد هذا القسم على مستند Google للمساعدة بشأن فهرسة الصفحات: “HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly. The page will not be indexed.” (الترجمة العربية) «يعني 403 أن وكيل المستخدم قدّم بيانات اعتماد، لكنه لم يُمنح الوصول؛ ولا يقدّم Googlebot بيانات اعتماد، لذا يعيد الخادم الخطأ على نحو غير صحيح، ولن تُفهرس الصفحة.» لكن اقرأ ذلك في سياقه — فهو توجيه خاص بتقرير عن صفحة تفترض Search Console أنك تريد فهرستها، وليس ادعاءً عاماً بأن كل 403 إلى Googlebot خطأ. لا يصادق Googlebot، لذلك لا ينطبق عليه حرفياً 403 المصاغ على أنه «بيانات اعتمادك غير كافية» — لكن كثيراً من رموز 403 لا يتعلق ببيانات الاعتماد، ويمكن للخادم أن يقرر بصورة مشروعة ألا يمنح Googlebot (أو أي شخص آخر) مورداً، بلا استثناء.

لذلك قبل أن تطارد إصلاحاً: هل هذه صفحة تريدها فعلاً عامة ومفهرسة؟ إذا كانت بيئة تجهيز أو منطقة إدارة أو جدار دفع أو أي محتوى محمياً، فـ403 إلى Googlebot صحيح ولا شيء يحتاج إلى إصلاح (راجع «متى يكون 403 مقبولاً فعلاً» أدناه). أما إذا كانت صفحة يفترض أن تكون عامة، فأنت على الأرجح تنظر إلى قاعدة عملت على مقدم الطلب الخطأ — WAF صنّف الزاحف روبوتاً يجب حظره، أو حظر نطاق IP شمل نطاقات Google، أو افتراضية إضافة أمان شديدة الارتياب — لكنني لا أملك بيانات موثوقة عن تواتر أي سبب منها، فتعامل مع القائمة التالية كمرشحين للفحص لا كتشخيص. وإرشاد Google للصفحة التي ينبغي أن تكون عامة هو: السماح للمستخدمين غير المسجلين، أو السماح صراحةً بمرور Googlebot من دون مصادقة (بعد التحقق من هويته — وسنعود إلى ذلك أدناه).

لا يؤثر 403 في معدل الزحف — لا تستخدمه للخنق

يلجأ بعض الناس إلى 403 (أو 404) كي يتراجع Googlebot عن خادم متعثر. لا تفعل ذلك. تقول Google بوضوح: “Don’t use 401 and 403 status codes for limiting the crawl rate. The 4xx status codes, except 429, have no effect on crawl rate.” (الترجمة العربية) «لا تستخدم رمزي الحالة 401 و403 لتحديد معدل الزحف؛ فأخطاء 4xx، باستثناء 429، لا تؤثر في معدل الزحف.» ومن المهم تحديد النطاق بدقة: تقول Google أيضاً إن تواتر زحف عنوان URL معروف ينخفض تدريجياً كلما استمر في إعادة 4xx — لكن ذلك تضييق للاهتمام بعنوان URL واحد، وليس خنقاً لمعدل زحف الموقع كله. إذا كنت تحتاج إلى الأخير، فلن يحققه 403.

كتب Gary Illyes منشوراً كاملاً عن ذلك ( Don’t 404 my yum): “All 4xx HTTP status codes (again, except 429) will cause your content to be removed from Google Search.” (الترجمة العربية) «ستؤدي جميع رموز حالة HTTP من فئة 4xx، باستثناء 429، إلى إزالة المحتوى من بحث Google؛ والأسوأ أن تقديم robots.txt برمز 4xx سيجعله يُعامل كأنه غير موجود.» والرافعة الصحيحة للطوارئ هي 500 أو 503 أو 429 تُعاد لفترة قصيرة (ساعات، لا أياماً) — وحتى ذلك ليس تصريحاً مجانياً: تحذر Google من أن استجابات 5xx المستمرة عدة أيام قد تؤدي أيضاً إلى إسقاط الصفحات من الفهرس، لذا يهم النطاق والمدة، لا رمز الحالة الذي اخترته فقط. وقد لخّص Barry Schwartz مخاطر حادثة سابقة بعبارة مباشرة: المواقع “lost load[s] of their pages from our index because they were serving them with a 403 status code instead of a 503.” (الترجمة العربية) «فقدت مواقع كثيرة من صفحاتها من الفهرس لأنها كانت تقدمها برمز 403 بدلاً من 503.» يُفهم 503 على أنه مؤقت؛ أما 403 فيزيلك من الفهرس.

مفارقة robots.txt: إن 403 على robots.txt متسامح لا تقييدي

هناك تمييز تكاد كل المقالات المنافسة تفوّته، وهو يقلب الحدس. إن 403 على صفحة حظر قاطع. أما 403 على ملف robots.txt نفسه فيُعامل بالطريقة المعاكسة. تنص مواصفة robots.txt لدى Google: “Google’s crawlers treat all 4xx errors, except 429, as if a valid robots.txt file didn’t exist. This means that Google assumes that there are no crawl restrictions.” (الترجمة العربية) «تتعامل زواحف Google مع جميع أخطاء 4xx، باستثناء 429، كما لو أن ملف robots.txt صالحاً غير موجود؛ لذلك تفترض Google عدم وجود قيود زحف.»

لذلك إذا بدأ جدار الحماية بإعادة 403 إلى robots.txt، تستنتج Google أنه ليس لديك أي قواعد وتزحف بحرية — بما في ذلك المسارات التي قصدت منعها. أما الصياغة الملونة لـIllyes فتقول: إذا كانت لديك قاعدة تمنع الوصول إلى «غسيلك القذر»، فسيعرف Googlebot به الآن أيضاً. لا تخلط بين «أعاد ملف robots.txt لدي 403» (تتجاهل Google قواعدك الآن) و«أعادت صفحاتي 403» (تُزال عناوين URL تلك من الفهرس). تأثيرهما متعاكس، وتشخيص الخطأ بينهما يدفعك إلى إصلاح الشيء الخطأ.

كيف تتعامل Bing مع 403

بصراحة، توثيق Bing العام حول 403 تحديداً أضعف من توثيق Google، لذلك سأحصر النطاق بدلاً من حشوه. يُمنع Bingbot بالآليات نفسها التي تمنع Googlebot — قواعد robots.txt، وحظر IP/وكيل المستخدم على مستوى الخادم، وقواعد WAF/جدار الحماية. وتعرض Bing Webmaster Tools أخطاء الزحف ضمن تنبيهات أخطاء الزحف. والخلاصة العملية واحدة في المحركين: اسمح بمرور الزاحف المتحقق منه عبر طبقة الأمان، وتحقق من الروبوت عبر نطاقات IP المنشورة وDNS العكسي بدلاً من الوثوق بسلسلة وكيل المستخدم. وإذا كان في الأمر تذكير، فهو أن «إصلاح Googlebot» لا يعني تلقائياً «إصلاح كل الروبوتات» — افحص أدوات المحركين بعد تغيير WAF.

الأسباب الشائعة (ليست مرتبة — لا أملك بيانات انتشار بين المواقع)

حماية الروبوتات في CDN/WAF — السبب الأقل خدمةً في محتوى SEO الموجود. هنا أبدأ الفحص في 2026، مع أنني لا أستطيع تحديد مدى كونه السبب الفعلي مقارنةً بالأسباب التالية. فكثيراً ما تعيد وضع مكافحة الروبوتات ووضع مكافحة الروبوتات الفائق من Cloudflare، وقواعد WAF المُدارة، وقواعد جدار الحماية المخصصة، 403 إلى Googlebot وBingbot كضرر جانبي. والعلامة المميزة هي أن الحظر يقع عند الحافة، فيبدو خادم الأصل ونظام CMS نظيفين تماماً بينما يستمر GSC في الإبلاغ عن 403. افحص أحداث الأمان في لوحة CDN بحثاً عن تحدي الزاحف أو حظره.

2. حظر IP أو وكيل المستخدم على مستوى الخادم/الاستضافة. تحظر بعض الاستضافات حسب وكيل المستخدم أو تحد معدل الطلبات افتراضياً، وقد تلتقط حظورات نطاقات IP المقصودة للزيارات المسيئة نطاقات الزواحف.

3. إعداد خاطئ لـ robots.txt أو .htaccess. قد يمنع توجيه Deny from زائد أو قاعدة إعادة كتابة معطوبة دليلاً كاملاً. (وتذكر مفارقة robots.txt أعلاه.)

4. الإضافات الأمنية. تأتي Wordfence وiThemes Security وأدوات مشابهة بإعدادات افتراضية عدوانية لحظر الروبوتات قد تلتقط زواحف مشروعة.

5. بوابات تسجيل الدخول/المحتوى الموثّق. كل ما يقع خلف المصادقة يعيد استجابة محظورة إلى الروبوت حسب التصميم — فـGooglebot لا يسجل الدخول أبداً. وغالباً ما يكون هذا مقصوداً (راجع القسم الأخير).

6. أخطاء أذونات الملفات/الأدلة. السبب الكلاسيكي لدى مسؤولي الخوادم. في WordPress، يوثق Rank Math قيماً سليمة — الأدلة 755/750، والملفات 644/640، وwp-config.php بقيمة 400/440 — ويذكر «إعادة توليد .htaccess» عبر إعدادات Permalinks كإصلاح شائع.

7. برمجية خبيثة/موقع مخترق يحقن قواعد وصول سيئة، و8. حظر جغرافي يلتقط نطاق IP لزاحف من غير قصد.

تشخيص 403 — اعزل أي طبقة تصدره

تقفز معظم الأدلة مباشرةً إلى «عطّل إضافاتك». أما المهارة الحقيقية فهي العثور على الطبقة التي ترفض الطلب — ولا يخبرك رمز 403 المجرد بذلك وحده؛ فأنت تحتاج إلى ترويسات الاستجابة أو السجلات أو إدخال في حدث أمني يشير فعلاً إلى CDN أو WAF أو التطبيق أو الاستضافة أو الأذونات أو الموقع الجغرافي أو الذاكرة المؤقتة قبل أن تسمي السبب. لا تقفز إلى «غالباً هو WAF» من دون دليل. هكذا يختلف الإصلاح حسب الطبقة:

1. فهرسة الصفحات في GSC ← «محظور بسبب منع الوصول (403)» لرؤية عناوين URL المتأثرة، ثم فحص عنوان URL ← اختبار عنوان URL المباشر لرؤية الاستجابة الحية الحالية.
2. أعد إنتاج المشكلة باستخدام curl مع تبديل وكلاء المستخدم لتأكيد الحالة التي يعيدها الخادم فعلياً:

   # As a generic client
   curl -I https://example.com/page/
   # Spoofing Googlebot's UA (tests UA-based rules)
   curl -I -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/

   إذا حصل وكيل متصفح عادي على 200 بينما حصل وكيل Googlebot على 403، فقد وجدت قاعدة وكيل مستخدم.
3. تحقق من حالة robots.txt نفسه (هل يعيد هو أيضاً 403؟ هذه مشكلة مختلفة — راجع أعلاه).
4. راجع Security Events في CDN/WAF بحثاً عن تحدي الزاحف أو حظره.
5. تحقق من أن الزاحف هو Googlebot فعلاً عبر DNS العكسي + الأمامي، لا عبر سلسلة UA (التي يسهل انتحالها).
6. اعزل المشكلة بالتعطيل على مراحل — قاعدة WAF أو إضافة واحدة كل مرة — حتى يختفي 403.

إصلاح المشكلة — اسمح للروبوتات في القائمة الصحيحة

الإصلاح المغري هو السماح بسلسلة user-agent الخاصة بـGooglebot. لا تتوقف عند ذلك — فمن السهل انتحال سلاسل UA، والسماح اعتماداً على UA وحده ثغرة أمنية تتيح لأي كاشط يدّعي أنه Google الدخول مباشرةً. تحقق بالطريقة الصحيحة:

• تحقق من الروبوتات عبر DNS العكسي + DNS الأمامي أو بمقارنتها مع نطاقات IP المنشورة لدى Google/Bing.
• تقدم معظم شبكات CDN/WAF فئة “verified bots” التي تنفذ هذا التحقق نيابةً عنك — ففضّلها على قاعدة سماح UA خام.
• أصلح القاعدة المحددة (قاعدة WAF مُدارة أو قاعدة جدار حماية واحدة أو إعداد إضافة واحد) بدلاً من تعطيل الأمان كله.
• ثم شغّل التحقق من الإصلاح في تقرير فهرسة الصفحات في GSC، وإذا كان الأمر عاجلاً فاطلب إعادة الفهرسة عبر فحص عنوان URL.

متى يكون 403 مقبولاً فعلاً — لا «تصلح» هذه الحالات

ليست كل 403 مشكلة. يكون 403 صحيحاً ومقصوداً لمواقع التجهيز ومناطق الإدارة وأقسام الأعضاء الخاصة والمحتوى المدفوع/المحمي الذي لم ترد فهرسته أصلاً. وفي تدقيق Ahrefs أو Screaming Frog، لا يمثل 403 على تلك الموارد مشكلة — ولا يلزم الإصلاح إلا عندما تُحظر بالخطأ صفحة يُفترض أن تكون عامة وقابلة للفهرسة. لا «تحل» انعكاساً كل 403 يخرجه التدقيق؛ أكد أولاً أن الصفحة هي صفحة تريدها فعلاً في الفهرس.

للاطلاع على العائلة الأوسع — الفرق بين 4xx و5xx وموقع 403 بينها — راجع دليلي عن رموز حالة HTTP وتأثيرها في SEO، وكذلك الغوصين العميقين الشقيقين 401 Unauthorized و404 Not Found في هذه المجموعة.

ملخص الذكاء الاصطناعي

خلاصة مكثفة للنسخة المتقدمة:

• 403 = «فُهم الطلب، لكن رُفض». وفق RFC 9110، لا يلزم أن يكون الرفض متعلقاً ببيانات الاعتماد، ويمكن للخادم حتى إعادة 404 إذا أراد إخفاء وجود مورد محظور. وهو متميز عن 404 (غالباً غير موجود) و401 (تحدي مصادقة محدد يتطلب ترويسة WWW-Authenticate) — وإعادة المصادقة لا تصلح 403 بصورة موثوقة.
• تشبه نتيجة الفهرسة noindex، لكن تختلف الآلية. يجب جلب وسم noindex وقراءته حتى يعمل؛ أما 403 فيمنع Google من قراءة أي محتوى. وينتهي كلا المسارين بعدم ظهور الصفحة في البحث.
• يستحق 403 إلى Googlebot التحقيق، وليس افتراض أنه خطأ. افحص أولاً هل يفترض أن تكون الصفحة عامة. إن كانت كذلك، فالسبب المرجح قاعدة أخطأت في التطبيق (WAF أو حظر IP أو إضافة أمان) — لكن لا توجد بيانات موثوقة عن السبب الأكثر شيوعاً، فتعامل مع الأسباب كقائمة فحص لا كترتيب.
• لا يؤثر 403 في معدل زحف الموقع كله. ينخفض تواتر زحف عنوان URL المعروف تدريجياً كلما استمر في إعادة خطأ من هذه الفئة، لكن هذا ليس خنقاً للموقع بأكمله. لا تستخدم 401/403 لخنق Googlebot؛ استخدم 429/503/500 لفترة قصيرة بدلاً من ذلك — وحتى هذا قد يزيل الصفحات من الفهرس إذا طال.
• مفارقة robots.txt (أثر معاكس): 403 على صفحة حظر قاطع؛ و403 على robots.txt نفسه يُعامل بتسامح — تفترض Google عدم وجود قواعد زحف.
• شخّص بالدليل لا بالافتراض. لا يحدد 403 المجرد مصدره — أكد ذلك عبر ترويسات الاستجابة أو السجلات أو أحداث أمان CDN قبل لوم طبقة بعينها. فهرسة الصفحات في GSC + اختبار عنوان URL المباشر ← curl مع/من دون UA لـGooglebot ← أحداث أمان CDN ← تحقق من الروبوت عبر DNS/IP لا UA ← عطّل على مراحل.
• الإصلاح: اسمح للروبوتات المتحقق منها (DNS/IP أو فئة «الروبوتات المتحققة» في CDN)، لا سلسلة UA الخام. ثم شغّل التحقق من الإصلاح في GSC.
• بعض رموز 403 صحيحة: التجهيز والإدارة والأعضاء فقط والمحتوى المدفوع — لا «تصلح» هذه الحالات. تحقق من المقصود قبل افتراض وجود خطأ.

الوثائق الرسمية

وثائق المصادر الأولية حول كيفية تعامل 403 وعائلة 4xx معها.

البروتوكول

• RFC 9110 §15.5.4: 403 Forbidden — مواصفة HTTP الأساسية: لا يلزم أن يكون الرفض متعلقاً ببيانات الاعتماد، وقد يعيد الخادم الأصلي 404 لإخفاء مورد محظور.

Google

• كيف تؤثر رموز حالة HTTP في زواحف Google — التصريح الحاسم بأن عناوين URL ذات 4xx (باستثناء 429) تُزال من الفهرس ولا تؤثر في معدل الزحف.
• تقرير فهرسة الصفحات — مساعدة Search Console — حالة «محظور بسبب منع الوصول (403)» وشرح أن Googlebot لا يقدم بيانات اعتماد أبداً.
• لا تستخدم 403 أو 404 لتحديد المعدل — Gary Illyes، فبراير 2023، عن سبب كون 4xx أداة خاطئة لخنق الزحف.
• خفض معدل زحف Google — النهج الصحيح: إعادة 500/503/429 لفترة قصيرة، لا 403/404.
• كيف تفسر Google مواصفة robots.txt — التفصيل القائل إن 4xx على robots.txt يُعامل كأنه لا توجد قيود.
• التحقق من Googlebot — DNS العكسي ونطاقات IP المنشورة للسماح بالطريقة الصحيحة.

Bing / Microsoft

• قائمة تنبيهات أخطاء الزحف — أدوات مشرفي مواقع Bing — فئات تنبيهات أخطاء الزحف لدى Bing.

CDN/WAF

• كشف الروبوتات الزائفة الذي يحظر الطلبات المشروعة — توثيق Cloudflare لكيفية تسبب قواعد الروبوتات الزائفة المُدارة في حظر إيجابي كاذب، وهو مفيد لتأكيد طبقة الإصدار لا افتراضها.

مرجع ويب عام

• MDN — 403 ممنوع — التعريف الأساسي الموثوق والتمييز الواضح بين 401 و403.

اقتباسات من المصدر

تصريحات مسجلة على لسان أصحابها. كل رابط عميق يقفز إلى المقطع المقتبس في صفحة المصدر.

Google — كيفية التعامل مع 4xx / 403

نصوص Google المقتبسة كما وردت في المصادر:

• “Google doesn’t use the content from URLs that return 4xx status codes… Google doesn’t index URLs that return a 4xx status code, and URLs that are already indexed and return a 4xx status code are removed from the index.” (الترجمة العربية) «لا تستخدم Google محتوى العناوين التي تعيد رموز حالة 4xx؛ ولا تفهرس العناوين التي تعيد 4xx، وتزيل العناوين المفهرسة سابقاً التي تعيد الرمز نفسه.» — وثائق Google Search Central. انتقل إلى الاقتباس
• “All 4xx errors, except 429, are treated the same: Google crawlers inform the next processing system that the content doesn’t exist.” (الترجمة العربية) «تتعامل الزواحف مع جميع أخطاء 4xx، باستثناء 429، بالطريقة نفسها: تُبلغ نظام المعالجة التالي بأن المحتوى غير موجود.» انتقل إلى الاقتباس
• “Don’t use 401 and 403 status codes for limiting the crawl rate. The 4xx status codes, except 429, have no effect on crawl rate.” (الترجمة العربية) «لا تستخدم رمزي الحالة 401 و403 لتحديد معدل الزحف؛ فأخطاء 4xx، باستثناء 429، لا تؤثر في معدل الزحف.» انتقل إلى الاقتباس

Google — نقطة «Googlebot لا يصادق أبداً»

النص المقتبس من مساعدة Search Console:

• “HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly. The page will not be indexed.” (الترجمة العربية) «يعني 403 أن وكيل المستخدم قدّم بيانات اعتماد، لكنه لم يُمنح الوصول؛ ولا يقدّم Googlebot بيانات اعتماد، لذا يعيد الخادم الخطأ على نحو غير صحيح، ولن تُفهرس الصفحة.» — مساعدة Search Console، «محظور بسبب منع الوصول (403)». انتقل إلى الاقتباس

Gary Illyes، Google — لا تحد معدل الزحف باستخدام 4xx

التصريحات المقتبسة من مدونة Google Search Central:

• “All 4xx HTTP status codes (again, except 429) will cause your content to be removed from Google Search. What’s worse, if you also serve your robots.txt file with a 4xx HTTP status code, it will be treated as if it didn’t exist.” (الترجمة العربية) «ستؤدي جميع رموز حالة HTTP من فئة 4xx، باستثناء 429، إلى إزالة المحتوى من بحث Google؛ والأسوأ أن تقديم robots.txt برمز 4xx سيجعله يُعامل كأنه غير موجود.» — مدونة Google Search Central، فبراير 2023. انتقل إلى الاقتباس
• “Return a 500, 503, or 429 HTTP status code to Googlebot when it’s crawling too fast.” (الترجمة العربية) «أعد رمز حالة HTTP 500 أو 503 أو 429 إلى Googlebot عندما يزحف بسرعة كبيرة.» انتقل إلى الاقتباس

Google — انعكاس 403 على robots.txt

النص المقتبس من مواصفة robots.txt لدى Google:

• “Google’s crawlers treat all 4xx errors, except 429, as if a valid robots.txt file didn’t exist. This means that Google assumes that there are no crawl restrictions.” (الترجمة العربية) «تتعامل زواحف Google مع جميع أخطاء 4xx، باستثناء 429، كما لو أن ملف robots.txt صالحاً غير موجود؛ لذلك تفترض Google عدم وجود قيود زحف.» — «كيف تفسر Google مواصفة robots.txt». انتقل إلى الاقتباس

MDN — التعريف العام والتمييز بين 401 و403

النص المقتبس من MDN Web Docs:

• “The HTTP 403 Forbidden client error response status code indicates that the server understood the request but refused to process it. This status is similar to 401, except that for 403 Forbidden responses, authenticating or re-authenticating makes no difference.” (الترجمة العربية) «يشير رمز حالة خطأ العميل HTTP 403 إلى أن الخادم فهم الطلب لكنه رفض معالجته؛ وهو يشبه 401، باستثناء أن المصادقة أو إعادة المصادقة لا تُحدث فرقاً في استجابات 403.» — وثائق MDN على الويب. انتقل إلى الاقتباس

Barry Schwartz، موقع Search Engine Roundtable — شدة 403 مقابل 503 “Relayed reporting on a Google statement, not a first-party Google page; and note the source URL itself 403s automated fetchers (an on-topic irony) — confirm against a browser before treating as final.” (ترجمة) تغطية منقولة لتصريح من Google وليست صفحة Google من المصدر الأول؛ ولاحظ أن عنوان المصدر نفسه يعيد 403 لبرامج الجلب الآلية (مفارقة ذات صلة) — أكد ذلك عبر المتصفح قبل اعتباره نهائياً.

نقل تحذير Google كما ورد في التغطية:

• نقل تحذير Google: فقدت مواقع “lost load[s] of their pages from our index because they were serving them with a 403 status code instead of a 503.” (الترجمة العربية) «فقدت مواقع كثيرة من صفحاتها من الفهرس لأنها كانت تقدمها برمز 403 بدلاً من 503.» اقرأ التغطية

تشخيص 403 — شجرة القرار

ابدأ بما يتلقاه Googlebot فعلياً، ثم ضيّق النطاق حسب الطبقة.

السؤال 1. هل يقع 403 على صفحة تريد فهرستها؟

• لا (تجهيز أو إدارة أو أعضاء فقط أو محتوى مدفوع) → من المرجح أنه صحيح. اتركه. توقف هنا.
• نعم → تابع.

السؤال 2. هل الصفحة هي التي تعيد 403، أم robots.txt؟

• يعيد robots.txt الرمز 403 → مشكلة مختلفة: تتجاهل Google الآن كل قواعد الزحف (وتعامل robots.txt كأنه غير موجود). أصلح robots.txt ليعيد 200؛ وقد يكون 403 الصفحة مشكلة منفصلة.
• تعيد الصفحة 403 → تابع.

السؤال 3. هل يعيد curl إنتاج المشكلة — وهل تعتمد على وكيل المستخدم؟

curl -I https://example.com/page/
curl -I -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/

• UA المتصفح = 200، وUA Googlebot = 403 → قاعدة وكيل مستخدم تحظر الروبوت (WAF أو إعداد خادم أو إضافة). انتقل إلى السؤال 4.
• كلاهما = 403 → حظر أوسع (نطاق IP أو أذونات دليل أو .htaccess مع Deny). افحص إعداد الخادم وأذونات الملفات.
• كلاهما = 200 لكن GSC ما زال يعرض 403 → من المرجح أن الحظر من الحافة/CDN ويعتمد على IP أو حالة الروبوت المتحقق منه. انتقل إلى السؤال 4 وافحص أحداث أمان CDN.

السؤال 4. هل تعمل خلف CDN/WAF (مثل Cloudflare)؟

• نعم → افحص أحداث الأمان بحثاً عن تحدي الزاحف أو حظره. اشتبه في وضع مكافحة الروبوتات / الوضع الفائق لمكافحة الروبوتات أو قواعد WAF المُدارة أو قاعدة جدار حماية مخصصة. اسمح لروبوتات البحث المتحقق منها (لا سماح UA خاماً).
• لا → افحص حظورات IP/UA على مستوى الخادم، ثم الإضافات الأمنية (مثل Wordfence)، ثم .htaccess وأذونات الملفات.

السؤال 5. هل أصلحت القاعدة؟

• اسمح عبر روبوت متحقق منه / DNS / نطاق IP، وليس سلسلة UA وحدها → التحقق من الإصلاح في فهرسة الصفحات في GSC → اطلب إعادة الفهرسة عبر فحص عنوان URL إذا كان الأمر عاجلاً.

أنماط مضادة — أخطاء 403 التي أراها باستمرار

استخدام 403 (أو 404) لإبطاء Googlebot. الخرافة هي أن إعادة 403 تخنق الزحف. لا تفعل — لا يؤثر 4xx (باستثناء 429) بتاتاً في معدل الزحف، بل يزيل الصفحات التي أعدت إليها 403 من الفهرس. إذا احتجت إلى إبطاء الزحف، فأعد 429 أو 503 أو 500 لفترة قصيرة (من ساعات إلى يوم أو يومين)، أو استخدم تقارير معدل الزحف في Search Console. لا يكون 403 أداة للتحكم في الزحف، حتى مؤقتاً.

معاملة 403 تماماً مثل 404 في التدقيق. سيخرج كلاهما عنوان URL من الفهرس في النهاية، لذا من المغري وضعهما في الفئة نفسها. لكن 404 يعني عادةً «انتهى»، بينما يعني 403 «رُفض الوصول بنشاط» — وقد يكون خطأ إعداد قابلاً للإصلاح، وقد يكون حظراً مقصوداً. يؤدي جمعهما إلى إخفاء المشكلة الفعلية في الحالتين. شخّص السبب والمقصد، لا النتيجة وحدها.

افتراض أن Googlebot «فعل شيئاً مريباً» ليستحق الحظر. لا يرسل Googlebot بيانات اعتماد، لذلك لا ينطبق عليه فعلياً 403 المصاغ على أنه «بيانات اعتماد سيئة». لكن هذا لا يعني أن كل حظر خطأ — أكد أولاً أن الصفحة كان يفترض أن تكون عامة. وإذا كانت كذلك، فلا تبرر الحظر بأنه شيء فعّله Googlebot؛ بل اعثر على القاعدة التي عملت (WAF أو حظر IP أو إضافة).

السماح بالمرور اعتماداً على سلسلة user-agent وحدها. يسهل انتحال سلاسل UA، لذلك تدعو قاعدة allow if UA contains "Googlebot" كل كاشط يتظاهر بأنه Google إلى المرور من أمنك. تحقق عبر DNS العكسي + الأمامي أو نطاقات IP المنشورة، أو استخدم فئة verified-bots في CDN.

الخلط بين 403 على robots.txt و403 على صفحاتك. تأثيرهما متعاكس. 403 على صفحة حظر قاطع يزيلها من الفهرس. أما 403 على robots.txt فيجعل Google تفترض عدم وجود قواعد زحف — وقد تزحف إلى مسارات قصدت منعها. شخّص أيهما تراه فعلاً قبل إصلاح أي شيء.

«إصلاح» رموز 403 المقصودة. من المفترض أن تعيد مواقع التجهيز ومناطق الإدارة والأعضاء فقط والمحتوى المدفوع 403 إلى الزواحف. وقد يكشف حل كل 403 في التدقيق بشكل انعكاسي أشياء لم ترد فهرستها أبداً. أكد أولاً أن الصفحة ينبغي أن تكون عامة.

إطار المقصد والنطاق وطبقة الإصدار

يصبح تدقيق 403 أسرع عندما أجيب عن ثلاثة أسئلة بالترتيب:

1. المقصد: هل ينبغي أن يكون هذا المورد عاماً؟ اترك حظر منطقة خاصة مقصوداً كما هو. عامل 403 على صفحة قابلة للفهرسة كحادث.
2. النطاق: هل يؤثر الفشل في عنوان URL واحد، أو دليل واحد، أو وكيل مستخدم واحد، أو منطقة جغرافية واحدة، أو كل طلب؟ غالباً ما يحدد الحد القاعدة المسؤولة أسرع من تغيير الإضافات عشوائياً.
3. طبقة الإصدار: قارن حدث CDN/WAF وسجل وصول الأصل وسجل التطبيق وترويسات الاستجابة. غيّر الطبقة الأولى التي تصدر 403 فعلياً، لا كل طبقة يمكن أن تصدره.

بعد الإصلاح، تحقق من الوصول المجهول ووصول الزاحف المتحقق منه كلٌّ على حدة. يفيد ادعاء وكيل مستخدم Googlebot في إعادة إنتاج قاعدة UA، لكنه ليس دليلاً على هوية الزاحف.

موجه: اعزل 403 حسب الطبقة

Diagnose this HTTP 403 using only the evidence I paste. Classify the likely issuing
layer as CDN/WAF, web server, application/security plugin, filesystem permissions,
or intentional access control. Compare generic and claimed-bot responses, identify
which observation supports each conclusion, and give the smallest safe change plus
an anonymous curl test and Search Console validation. Do not recommend disabling all
security or trusting a user-agent string as identity.

[PASTE SANITIZED HEADERS, CURL OUTPUT, SECURITY EVENT, AND LOG LINES]

موجه: راجع استثناء WAF

Review this WAF rule intended to stop 403s for legitimate search crawlers. Check its
scope, whether crawler identity is verified, what non-crawler traffic it could admit,
and whether robots.txt behaves differently from page URLs. Return a least-privilege
rewrite, test cases, and rollback conditions. Do not invent provider syntax.

[PASTE RULE AND PROVIDER]

أدوات تشخيص استجابات 403

• فاحص حالات HTTP بالجملة: اعثر على ما إذا كان الحظر معزولاً أو يؤثر في نمط عناوين URL من دون حمل جلسة تسجيل الدخول.
• فاحص ترويسات HTTP: افحص بصمات CDN ومعرّفات الطلب وترويسات الأمان التي تساعد في تحديد طبقة الإصدار.
• Googlebot Verifier: تحقق من دليل IP قبل السماح بمرور زاحف؛ لا تعتبر وكيل المستخدم وحده دليلاً.
• فهرسة الصفحات في Search Console وفحص عنوان URL: احصل على مجموعة الموارد المتأثرة التي أبلغت عنها الأداة، واختبر الاستجابة الحالية مباشرةً، وتحقق بعد الإصلاح.
• أحداث أمان CDN/WAF مع سجلات الأصل: إذا سجّلت الحافة حظراً ولم يسجل الأصل أي طلب، فالإصلاح مكانه عند الحافة.

اختبر نفسك: 403 Forbidden

خمسة أسئلة سريعة عن معنى 403 وكيفية التعامل معه. اختر إجابة لكل سؤال، ثم تحقق من إجاباتك.

مصادر تستحق وقتك

كتاباتي ذات الصلة

• رموز حالة HTTP وتأثيرها في SEO — الجولة الكاملة في 4xx/5xx؛ وموقع 403 بين الرموز وآلية «إسقاط 4xx للصفحات من الفهرس».
• دليل المبتدئين إلى SEO التقني — موضع مشكلات الوصول إلى الزحف/الفهرسة مثل 403 في الصورة الأكبر.
• robots.txt وSEO: كل ما تحتاج إلى معرفته — مفارقة 403 في robots.txt وكيف تعمل ضوابط الزحف فعلياً.

حديثي

• How Search Works (SlideShare) — شرحي لمسار الزحف → العرض → الفهرسة → التقديم؛ و403 فشل عند البوابة الأولى. (إخلاء مسؤولية ثابت: “This is my understanding of systems… not going to be 100% complete or accurate.”)

من أنحاء المجال

• لا تستخدم 403 أو 404 لتحديد المعدل (مدونة Google Search Central) — Gary Illyes عن سبب كون 4xx أداة خاطئة لخنق الزحف.
• خفض معدل زحف Google (Google Search Central) — النهج الصحيح 500/503/429 للمقارنة.
• تحذر Google من إساءة استخدام رموز الحالة 403 (Search Engine Roundtable) — حكاية شدة 403 مقابل 503 (تحقق عبر المتصفح؛ فالصفحة تعيد 403 للروبوتات).
• Google: لا تستخدم استجابات 403/404 لتحديد معدل زحف Googlebot (Search Engine Journal) — تغطية إرشادات 2023.
• إصلاح «محظور بسبب منع الوصول (403)» في Google Search Console (SEOTesting) — بنية قوية للأسباب والإصلاح، بما في ذلك إطار «هل ينبغي إصلاح كل 403؟».
• إصلاح خطأ «محظور بسبب منع الوصول (403)» (Rank Math) — قيم chmod عملية وسير عمل Health Check.
• رموز حالة HTTP: لماذا لا يُزحف إلى موقعي؟ (Screaming Frog) — تشخيص من جهة الزاحف (تبديل UA، وعرض JS، والسماح بـIP/UA).

سجل التغييرات