اللغات

وسم Meta Robots

يضبط وسم meta robots كيفية فهرسة الصفحة وعرضها — بما يشمل كل توجيه، وقاعدة «الزحف ثم الامتثال»، وحل التعارضات، والفرق بين وسم meta وترويسة X-Robots-Tag.

نُشر أول مرة: 23 يونيو 2026 · آخر تحديث: 22 أغسطس 2026 · Advanced
اللغات
AIمن تأليفAI v2
دليل واحد في هذه الصفحة

يوضح وسم robots meta — أي <meta name="robots" content="noindex"> داخل <head> — لمحركات البحث كيفية فهرسة صفحة واحدة وعرضها. والقاعدة التي تُفسد كل شيء عند تجاهلها هي «الزحف ثم الامتثال»: فالصفحة المحظورة في robots.txt لا تُجلب، ولذلك لا يُرى توجيه noindex فيها. وعند غياب الوسم يكون الإعداد الافتراضي index, follow. وتُحسم القواعد المتعارضة لصالح الأكثر تقييدًا؛ وعند تعارض وسم باسم googlebot مع وسم robots العام، يطبّق Googlebot مجموع القواعد السلبية. هذا الوسم مخصص لـ HTML فقط — استخدم ترويسة X-Robots-Tag مع ملفات PDF والصور وغيرها من الموارد غير المكتوبة بـ HTML.

TL;DR — يتحكم <meta name="robots" content="…"> داخل <head> في كيفية فهرسة صفحة واحدة وعرضها؛ وعند غياب الوسم يكون الإعداد الافتراضي index, follow. إنه نظام الزحف ثم الامتثال: “these settings can be read and followed only if crawlers are allowed to access the pages” (ترجمة) لا يمكن قراءة هذه الإعدادات واتباعها إلا إذا سُمح للزواحف بالوصول إلى الصفحات — ولذلك لا تُجلب صفحة محظورة في robots.txt ولا يُرى noindex فيها (ولدي بيانات مباشرة عن الوجه الآخر لهذه الآلية). وتُحسم القواعد المتعارضة لصالح الأكثر تقييدًا؛ وعند اجتماع وسم googlebot مع وسم robots العام، يطبّق Googlebot مجموع القواعد السلبية. الوسم خاص بـ HTML — استخدم ترويسة X-Robots-Tag مع الموارد غير المكتوبة بـ HTML وعلى نطاق واسع. ولا تقرأ Google سوى رمزين مسميين للزواحف: googlebot وgooglebot-news، وتتجاهل كل قيمة أخرى، ومنها رموز محركات أخرى مثل bingbot.

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

ما هو الوسم، وأين يوضع، وما الإعداد الافتراضي؟

يتيح لك وسم robots meta، بحسب تعبير Google، “use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” (ترجمة) استخدام نهج دقيق خاص بكل صفحة للتحكم في كيفية فهرسة صفحة HTML منفردة وعرضها للمستخدمين في نتائج بحث Google. والموضع التقليدي المتوافق على نطاق واسع هو <head>:

<meta name="robots" content="noindex, nofollow">

وضع الوسم في head هو قاعدة التأليف التي تتوقعها كل المحركات، لكن Google توضح أنه ليس شرطًا صارمًا في بحث Google تحديدًا: “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (ترجمة) لا يفرض بحث Google وضع robots meta داخل رأس HTML، وسيحترم أيضًا وسوم robots meta الموجودة في قسم body من مستند HTML. تعامل مع ذلك كتسامح من Google، لا كنصيحة قابلة للتعميم — واكتب الوسم داخل <head> كي تقرأه بصورة صحيحة كل الزواحف وأدوات التحقق التي تتوقع الموضع القياسي.

سمة name تحدد الجمهور، وهنا تبالغ معظم الأدلة في وصف دعم Google. يخاطب name="robots" كل زاحف يقرأ الوسم. وما عدا ذلك، تدعم Google رمزين فقط مسميين للزواحف وتتجاهل كل قيمة أخرى: “Google supports two user agent tokens in the robots meta tag; other values are ignored: googlebot for all text results, and googlebot-news for news results.” (ترجمة) تدعم Google رمزين لوكيل المستخدم في وسم robots meta، وتتجاهل القيم الأخرى: googlebot لكل النتائج النصية، وgooglebot-news لنتائج الأخبار. لذلك فإن وسمًا باسم name="bingbot" ليس وسيلة تحكم موثقة لدى Google — يقرأ Bing رمزه وفق قواعده، لكن Google تتجاوز أي قيمة name لا تتعرف عليها. ولا تميز Google حالة الأحرف في سمتي name وcontent، ولا في أسماء ترويسات X-Robots-Tag وقيمها.

عند غياب وسم robots meta، يكون الإعداد الافتراضي index, follow (وهو توجيه all الذي تقول Google إنه “has no effect if explicitly listed” (ترجمة) لا يكون له أثر إذا ذُكر صراحةً). Evidence for this claim For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Scope: Google-supported robots meta rules; other crawlers publish their own support and defaults. Confidence: high · Verified: Google Search Central: Robots meta tag specifications ولا تحتاج إلى الوسم إلا لتغيير هذا الإعداد.

يمكنك الجمع بين القواعد بطريقتين: بفصلها بفواصل داخل وسم واحد (noindex, nofollow)، أو باستخدام عدة وسوم <meta>. تقول Google إنه يمكنك “create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” (ترجمة) إنشاء تعليمة متعددة القواعد بجمع قواعد وسم robots meta بفواصل أو باستخدام عدة وسوم meta.

القاعدة التي تُفسد كل شيء: يجب أن تزحف Google إلى الصفحة كي ترى الوسم

هذه هي خلاصة المقال كله. يعمل وسم robots meta وفق مبدأ الزحف ثم الامتثال. يجب أن تجلب Google الصفحة كي تقرأ الوسم — ولذلك فإن أي شيء يمنع الجلب يمنع تطبيق الوسم أصلًا. وهذا نص المواصفة:

“Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” (ترجمة) تذكّر أنه لا يمكن قراءة هذه الإعدادات واتباعها إلا إذا سُمح للزواحف بالوصول إلى الصفحات التي تتضمنها.

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

وهذه هي النتيجة كما وردت صراحةً:

“If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” (ترجمة) إذا مُنع الزحف إلى صفحة عبر ملف robots.txt، فلن يُعثر على أي معلومات عن قواعد الفهرسة أو العرض، ولذلك ستُتجاهل.

لذلك فإن الخطأ التقليدي — Disallow في robots.txt مع noindex على عنوان URL نفسه — يُبطل noindex بصمت. فلا تزحف Google إلى الصفحة، ولا ترى الوسم، وقد يظل عنوان URL في الفهرس (غالبًا كنتيجة مجردة بلا مقتطف إذا كان هناك رابط يشير إليه). وتقول وثيقة Google المصاحبة «حظر فهرسة البحث» الشيء نفسه بعبارة أوضح: لكي تعمل قاعدة noindex، فإن الصفحة “must not be blocked by a robots.txt file… If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results.” (ترجمة) يجب ألا تكون محظورة بملف robots.txt… وإذا حظرها ملف robots.txt أو تعذر على الزاحف الوصول إليها، فلن يرى الزاحف قاعدة noindex أبدًا، وقد تظل الصفحة ظاهرة في نتائج البحث.

لقد شاهدت الوجه الآخر لهذه الآلية يحدث في بيانات حقيقية. ففي تجربتي قصة حظر صفحتين مرتفعتي الترتيب باستخدام Robots.txt، حظرت عمدًا صفحتين كانتا تظهران في نتائج البحث عبر robots.txt. ولأن Google لم تعد تستطيع الزحف إليهما، لم تستطع تحديث أي معلومات عنهما — وظلت الصفحتان في ترتيب قريب من السابق: “We lost a position here or there and all of the featured snippets for the pages.” (ترجمة) خسرنا مركزًا هنا أو هناك، وخسرنا كل المقتطفات المميزة للصفحتين. وكان استنتاجي: “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” (ترجمة) من غير المرجح أن يؤثر كثيرًا في ترتيبك أن تحظر بالخطأ عبر robots.txt زحف صفحات ترتبها Google بالفعل، ومن المرجح أن تظل ظاهرة في نتائج البحث. وهذا هو الوجه نفسه لمشكلة noindex — فعنوان URL المحظور يتجمد. الحظر لا يعني الإزالة. وإذا أردت أن تختفي الصفحة فعلًا، فأنت تحتاج إلى noindex قابل للزحف، وهذا هو الغرض الكامل من الوسم.

هذا هو الحد الذي أوضحته علنًا بين اختصاص كل أداة. عندما سُئلت هل ينبغي أن تضيف Google دعم noindex إلى robots.txt، قلت: “Google was clear they want robots.txt for crawl control only.” (ترجمة) كانت Google واضحة في أنها تريد robots.txt للتحكم في الزحف فقط. الزحف هو وظيفة robots.txt، والفهرسة وظيفة وسم meta (أو الترويسة). ولا تتداخل الوظيفتان، كما أن توجيه noindex في robots.txt لم يكن مدعومًا رسميًا قط — وقد أوقفت Google تحليله في 1 سبتمبر 2019.

كل توجيهات robots meta (المرجع)

قيم Google المدعومة، مع أوصافها الحرفية من المواصفة:

الفهرسة

  • all — “There are no restrictions for indexing or serving. This rule is the default value and has no effect if explicitly listed.” (ترجمة) لا توجد قيود على الفهرسة أو العرض. هذه القاعدة هي القيمة الافتراضية ولا يكون لها أثر إذا ذُكرت صراحةً.
  • noindex — “Do not show this page, media, or resource in search results.” (ترجمة) لا تعرض هذه الصفحة أو الوسائط أو المورد في نتائج البحث.
  • none — “Equivalent to noindex, nofollow.” (ترجمة) مكافئ لـ noindex, nofollow.
  • indexifembedded — “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” (ترجمة) يُسمح لـ Google بفهرسة محتوى صفحة إذا كان مضمنًا في صفحة أخرى عبر iframe أو وسوم HTML مشابهة، رغم وجود قاعدة noindex. (وهذا هو التوجيه الوحيد الذي يتجاوز noindex للمحتوى المضمّن.)

الروابط

  • nofollow — “Do not follow the links on this page.” (ترجمة) لا تتبع الروابط في هذه الصفحة. وهذا توجيه على مستوى الصفحة — بنطاق مختلف عن rel="nofollow" الموضوع على رابط واحد.

العرض والمقتطفات

  • nosnippet — “Do not show a text snippet or video preview in the search results for this page.” (ترجمة) لا تعرض مقتطفًا نصيًا أو معاينة فيديو لهذه الصفحة في نتائج البحث. ونطاقه أوسع من المقتطف النصي التقليدي: تقول Google إنه «applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.» (ترجمة) ينطبق على جميع أشكال نتائج البحث لدى Google، وسيمنع أيضًا استخدام المحتوى مدخلًا مباشرًا في AI Overviews وAI Mode.
  • max-snippet:[number] — “Use a maximum of [number] characters as a textual snippet for this search result.” (ترجمة) استخدم حدًا أقصى قدره [number] حرفًا للمقتطف النصي في نتيجة البحث هذه. وله النطاق الموسع نفسه مثل nosnippet؛ فهو «applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.» (ترجمة) ينطبق على جميع أشكال نتائج البحث، ويحد أيضًا مقدار المحتوى الذي يمكن استخدامه مدخلًا مباشرًا في AI Overviews وAI Mode. وهذا تحكم في أهلية الإدخال المباشر لميزات بحث Google المعتمدة على الذكاء الاصطناعي — وليس إلغاء اشتراك عامًا في تدريب نماذج الذكاء الاصطناعي. فإبعاد المحتوى عن تدريب النماذج (مثل Google-Extended) أو عن وسيلة التحكم المنفصلة على مستوى الخاصية للذكاء الاصطناعي التوليدي في Search Console نظامان مختلفان بنطاقين مختلفين؛ فلا تعتبر nosnippet أو max-snippet شاملين لأي منهما.
  • max-image-preview:[setting] — “Set the maximum size of an image preview for this page in search results.” (ترجمة) اضبط الحجم الأقصى لمعاينة صورة هذه الصفحة في نتائج البحث. والإعدادات هي none أو standard أو large (“A larger image preview, up to the width of the viewport, may be shown.” (ترجمة) قد تُعرض معاينة صورة أكبر تصل إلى عرض إطار العرض.).
  • max-video-preview:[number] — “Use a maximum of [number] seconds as a video snippet for videos on this page in search results.” (ترجمة) استخدم حدًا أقصى قدره [number] ثانية كمقتطف فيديو لمقاطع هذه الصفحة في نتائج البحث.
  • notranslate — “Don’t offer translation of this page in search results.” (ترجمة) لا تعرض ترجمة لهذه الصفحة في نتائج البحث.
  • noimageindex — “Do not index images on this page.” (ترجمة) لا تفهرس الصور الموجودة في هذه الصفحة.
  • unavailable_after:[date/time] — “Do not show this page in search results after the specified date/time.” (ترجمة) لا تعرض هذه الصفحة في نتائج البحث بعد التاريخ/الوقت المحدد.

تاريخية — لم تعد وسائل تحكم فعالة لدى Google

لا تزال بعض التوجيهات تتكرر في الأدلة القديمة، لكن Google تقول إنها لم تعد تستخدمها. فلا تضفها متوقعًا أن تفعل شيئًا:

  • noarchive — “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” (ترجمة) لم يعد بحث Google يستخدم قاعدة noarchive للتحكم في عرض رابط مخزن مؤقتًا في نتائج البحث، إذ لم تعد ميزة الرابط المخزن مؤقتًا موجودة.
  • nocache (مرادف استخدمته بعض المحركات لـ noarchive) — “The nocache rule isn’t used by Google Search.” (ترجمة) لا يستخدم بحث Google قاعدة nocache.
  • nositelinkssearchbox — “The nositelinkssearchbox rule is no longer used by Google Search to control whether the sitelink search box is shown for a given page, as the feature no longer exists.” (ترجمة) لم يعد بحث Google يستخدم قاعدة nositelinkssearchbox للتحكم في إظهار مربع بحث روابط أقسام الموقع لصفحة معينة، إذ لم تعد الميزة موجودة.

على مستوى الفقرة (لا داخل وسم meta)

توجد وسيلة تحكم واحدة داخل الصفحة، هي سمة data-nosnippet. تقول Google إنه يمكنك “designate textual parts of an HTML page not to be used as a snippet… on span, div, and section elements.” (ترجمة) تحديد أجزاء نصية من صفحة HTML حتى لا تُستخدم كمقتطف… على عناصر span وdiv وsection. وكل ما في وسم meta ينطبق على الصفحة كلها؛ أما nosnippet / data-nosnippet فهو وسيلتك لمنع مقطع واحد من الظهور في المقتطف من دون المساس ببقية الصفحة.

جمع التوجيهات وحل التعارضات

تحكم قاعدتان ما يحدث عندما تتعارض التوجيهات.

1. القاعدة الأكثر تقييدًا هي التي تسود. “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” (ترجمة) عند تعارض قواعد robots تُطبّق القاعدة الأكثر تقييدًا. فإذا كانت في الصفحة قاعدتا max-snippet:50 وnosnippet، تُطبّق nosnippet. فـ nosnippet أكثر صرامة من حد 50 حرفًا، ولذلك تكون هي النتيجة.

2. googlebot مقابل robots — مجموع القواعد السلبية. هنا تخطئ معظم الأدلة. فالوسم المسمى googlebot لا يستبدل ببساطة وسم robots العام — وعند التداخل يطبّق Googlebot اتحاد القيود. تقول Google: “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” (ترجمة) في الحالات التي تُحدد فيها زواحف متعددة مع قواعد مختلفة، سيستخدم محرك البحث مجموع القواعد السلبية. وهذا مثالها العملي:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

“The page containing these meta tags will be interpreted as having a noindex, nofollow rule when crawled by Googlebot.” (ترجمة) ستُفسر الصفحة التي تحتوي هذه الوسوم على أنها تحمل قاعدة noindex, nofollow عندما يزحف إليها Googlebot. فيجتمع nofollow من robots مع noindex من googlebot ليصبحا noindex, nofollow لدى Googlebot. (وحين يضبط وسم googlebot ووسم robots التوجيه نفسه بصورة مختلفة، يكون الوسم المسمى بالزاحف هو المطبق على ذلك الزاحف.)

وسم robots meta مقابل X-Robots-Tag (ترويسة HTTP)

وسم robots meta خاص بـ HTML — فهو يحتاج إلى <head>. وأي شيء غير مكتوب بـ HTML يستخدم X-Robots-Tag التي تقدم مجموعة القواعد نفسها تمامًا في ترويسة استجابة HTTP. تقول Google: “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” (ترجمة) يمكن استخدام X-Robots-Tag عنصرًا في استجابة ترويسة HTTP لعنوان URL معين، ويمكن أيضًا تحديد أي قاعدة تصلح في وسم robots meta بوصفها X-Robots-Tag. وهذا سبب وجودها: “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” (ترجمة) يمكنك استخدام X-Robots-Tag للملفات غير المكتوبة بـ HTML مثل الصور، حيث يتعذر استخدام وسوم robots meta في HTML.

إذن:

  • ملف PDF أو صورة أو مورد آخر غير مكتوب بـ HTML؟ لا يمكنك إضافة وسم <meta> — استخدم الترويسة، مثل X-Robots-Tag: noindex.
  • أدلة أو أنماط كاملة؟ تُضبط الترويسة على مستوى الخادم أو CDN، ولذلك يمكن تطبيقها على مسارات كاملة بقاعدة إعداد واحدة.
  • محرك واحد؟ يمكن للترويسة استهداف زاحف أيضًا: X-Robots-Tag: googlebot: noindex, nofollow، ويمكن جمع عدة ترويسات X-Robots-Tag في استجابة واحدة.

القواعد نفسها بآليتي تسليم: وسم meta لصفحات HTML، والترويسة لكل ما عدا ذلك وللتطبيق على نطاق واسع.

ما التوجيهات التي يدعمها Bing والمحركات الأخرى؟

لا تفترض أن مجموعة التوجيهات عالمية — فهي ليست كذلك. يدعم Bing قواعد الفهرسة والعرض الأساسية: noindex وnofollow وnoarchive (ومرادفها nocache) وnosnippet، ويحترم X-Robots-Tag للموارد غير المكتوبة بـ HTML. لكنه لا يدعم اختصار none، ولذلك اكتب noindex, nofollow صراحةً لضمان التوافق بين المحركات. أما عائلة التحكم في المقتطفات والمعاينات — max-snippet وmax-image-preview وmax-video-preview — إلى جانب noimageindex وnotranslate وindexifembedded وunavailable_after، فهي عمليًا خاصة بـ Google. وعند الشك، اكتب التوجيهات كاملة وتعامل مع وسائل max-* بوصفها ميزات Google.

الأخطاء الشائعة (وكيفية إصلاحها)

  • Disallow مع noindex على عنوان URL نفسه. لن يُرى noindex. الحل: أبقِ الصفحة قابلة للزحف، واكتفِ بـ noindex.
  • noindex مع rel=canonical يشير إلى موضع آخر. إشارتان متعارضتان — فأنت تقول لـ Google «أسقط هذه الصفحة» و«ادمجها في صفحة أخرى» معًا. اختر واحدة. (المزيد في تحديد العنوان الأساسي.)
  • انتقال noindex شامل لبيئة الاختبار إلى الإنتاج. إلغاء كارثي لفهرسة الموقع كله. افحص ذلك قبل الإطلاق.
  • حقن noindex بواسطة JavaScript من جهة العميل فقط. يجب أن تعرض Google الصفحة كي تراه، وإذا اختلف HTML المعروض عما تتوقعه اختلف السلوك أيضًا. فضّل الوسم في HTML الخام أو الترويسة. (راجع العرض.)
  • توقع أن يحترم Bing توجيهات Google فقط (none وعائلة max-*).
  • توقع أن يؤدي توجيه robots وظيفة لا يملكها. لا تضمن قاعدة noindex أو nosnippet وحدها توفير ميزانية الزحف، أو السرية، أو تغير الترتيب، أو تطابق السلوك بين المحركات، أو موعد إزالة محدد، أو الاستبعاد من كل أسطح الذكاء الاصطناعي والبحث — فلكل نتيجة وسيلة تحكم مختلفة (المصادقة للسرية، وrobots.txt للزحف، ووثائق كل محرك للتوافق، وSearch Console أو Google-Extended للنطاقات الخاصة بالذكاء الاصطناعي). ولا تعطي Google موعدًا ثابتًا لخروج صفحة تحمل noindex؛ فهذا يعتمد على أولوية إعادة الزحف وقد «يستغرق أشهرًا» لصفحة أقل أهمية.

لوضع ذلك في الصورة الأكبر: تمثل robots.txt والزحف جانب التحكم في الزحف؛ وتمثل noindex والفهرسة جانب التحكم في الفهرسة؛ أما nosnippet / data-nosnippet وmax-snippet وmax-image-preview فهي وسائل التحكم في العرض عندما تريد إبقاء الصفحة مفهرسة مع ضبط شكل ظهورها. وX-Robots-Tag هي النظير في ترويسة HTTP للوسم نفسه مع الموارد غير المكتوبة بـ HTML.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.