اللغات

فاحص robots.txt

1. robots.txt
2. الصفحات المراد اختبارها
3. الروبوتات

بيانات مثال — استبدلها ببياناتك

يعمل بالكامل في متصفحك — لا يُرفع أو يُخزّن أي شيء تلصقه. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). قد تُستخدم عدادات النتائج المجهولة على مستوى التشغيل لأغراض البحث التجميعي؛ ولا تتضمن أبدًا عناوين URL أو النطاقات أو عناوين IP أو المعرّفات، ولا تُنشر أي إحصائية لأقل من 100 عملية تشغيل.

الملاحظات
الإبلاغ عن خطأ

هل وجدت شيئًا لا يعمل في فاحص robots.txt؟ أخبرنا بما حدث — يُرسل البلاغ مباشرة إلى قائمة فرز خاصة، وليس إلى قائمة عامة.

ما سيُرسل 
 لا تُرفق تلقائيًا مدخلات الأداة أو الملفات المرفوعة أو المصدر الملصق أو النتائج الكاملة أو معلمات الاستعلام أو أجزاء عنوان URL. يمكنك تعديل المقطع المحدد أعلاه أو إزالته. تُعالج البيانات الوصفية للمتصفح ومكافحة إساءة الاستخدام لمنع الرسائل المزعجة. 
  
 
  
 
 
  
 
 
   
      
 
       
     
        
 
     
    
    
 
حول هذه الأداة
Robots.txt gives لا تحذير عندما واحد misplaced منع hides نصف واحد موقع من Google. اختبار عناوين عنوان URL مقابل إنه مع واحد مطابق منقول من Google الخاص محلل.
مجاني, من دون تسجيل. Robots.txt gives لا تحذير عندما واحد misplaced منع hides نصف واحد موقع من Google — إنه فقط quietly يعمل. اختبار أي قائمة من عناوين عنوان URL مقابل إنه مع واحد مطابق منقول من Google الخاص open-source محلل — longest-match-wins, wildcards, sub-agent بديل احتياطي, و status-code دلالات تم التعامل معه بالضبط ال way Google يفعل إنه.
الميزات
  • Google-accurate مطابق: longest-match-wins, wildcards, sub-agent بديل احتياطي, status-code قواعد.
  • محظور/allowed مصفوفة عبر باعتباره كثير عناوين عنوان URL و bots باعتباره أنت مثل.
  • انقر أي حكم إلى انظر ال دقيق مطابق سطر highlighted في ال ملف.
  • One-click AI زاحف تدقيق من أجل ال رئيسي LLM و AI-search bots.
  • Built-in مدقق شكلي ذلك علامات شائع Robots.txt أخطاء.
  • جلب بواسطة نطاق, رفع واحد عنوان URL قائمة, أو سحب عناوين عنوان URL من واحد خريطة الموقع — بما في ذلك واحد منفصل حي Robots.txt من أجل كل مُدخل subdomain (up إلى 10 الأصول per شغّل).
  • خصوصية: مطابق هو بالكامل client-side — ملصق ملفات أبدًا اترك الخاص بك آلة.
كيفية العمل
ال مطابق هو منقول من Google open-source Robots.txt محلل, لذلك إنه يحدّد allow/block ال way Googlebot فعليًا يفعل — ليس مع واحد ساذج "الأول تطابق يفوز" قاعدة ذلك معظم testers استخدم. ذلك يعني longest-match-wins (ال معظم محدد Allow/Disallow مسار يأخذ أسبقية بغض النظر من ترتيب), * و $ wildcards, percent-encoding تطبيع, و sub-agent بديل احتياطي (واحد bot مع لا مجموعة من الخاص به الخاص يسقط رجوع إلى User-agent: *).
القيود
  • هذا تحقّقات Google-style Robots.txt مطابق فقط — إنه يخبر أنت ما إذا واحد bot هو allowed إلى زحف واحد عنوان URL, ليس ما إذا ال صفحة هو قابل للفهرسة (واحد صفحة يمكن يكون قابل للزحف و ما زال يحمل واحد Noindex). Fetch-by-domain يقرأ ال Robots.txt بالضبط باعتباره مُقدّم; إذا واحد موقع يعيد مختلف Robots.txt إلى مختلف user-agents أو regions, you'll انظر ال إصدار الخاص بك جلب received. واحد Robots.txt ملف هو محدود النطاق إلى الخاص به الأصل, لذلك جلب وضع طلبات كل مُدخل subdomain's الخاص ملف. لصق وضع عمدًا يستخدم ال واحد ملصق draft من أجل كل عنوان URL. Non-Google زاحف سلوك هو ليس مستنتج هنا; consult ذلك الزاحف الخاص توثيق قبل relying على system-specific امتدادات.
الأسئلة الشائعة
هل يمنع robots.txt فهرسة صفحة؟
لا. يمنع Disallow الزحف لا الفهرسة. فإذا ربطت صفحات أخرى بعنوان URL محظور، قد تظل Google تفهرسه، عادة بلا مقتطف. لإبقاء الصفحة خارج الفهرس، اسمح بزحفها وأضف وسم meta بقيمة noindex أو ترويسة X-Robots-Tag؛ وهذا يعني ألا تحظرها أيضًا، وإلا فلن ترى Google توجيه noindex أبدًا.
هل يهم ترتيب القواعد في robots.txt؟
ليس بالنسبة إلى Google. تطبق Google القاعدة الأكثر تحديدًا، أي أطول مسار مطابق، بغض النظر عن موضعها في الملف، لذلك يمكن لـ Allow تجاوز Disallow سابق. تطابق الأداة بالطريقة نفسها. تستخدم بعض الزواحف الأخرى أول تطابق، لذا اجعل القواعد واضحة غير ملتبسة.
ما الفرق بين Disallow وnoindex؟
يطلب Disallow في robots.txt من الزواحف عدم جلب عنوان URL. أما noindex، كوسم meta أو ترويسة HTTP في الصفحة، فيطلب منها عدم إبقائه في الفهرس. يحلان مشكلتين مختلفتين، والجمع بينهما يأتي بنتيجة عكسية: الصفحة المحظورة لا تُجلب، لذلك لا يظهر توجيه noindex فيها.
هل يضر حظر CSS أو JavaScript في robots.txt بتحسين محركات البحث؟
قد يضر. تعرض Google الصفحات لفهمها، فإذا تعذر عليها جلب CSS وJS اللازمين للصفحة، فقد تسيء تقدير التخطيط أو المحتوى أو التوافق مع الجوال. اسمح بالموارد اللازمة لعرض الصفحات، ولا تحظر إلا المسارات غير الضرورية فعلًا.
كيف أحظر زواحف الذكاء الاصطناعي باستخدام robots.txt؟
أضف مجموعة user-agent لكل روبوت ذكاء اصطناعي، مثل GPTBot وGoogle-Extended وClaudeBot وCCBot وPerplexityBot، مع Disallow: /. استخدم زر تدقيق زواحف الذكاء الاصطناعي لتحميلها وتأكيد مطابقة قواعدك. تذكّر أن الالتزام بـ robots.txt طوعي؛ فالروبوتات الموثوقة تحترمه، لكنه ليس وسيلة تحكم في الوصول.
 
الخطوة التاليةمولّد robots.txt — generate a replacement robots.txt with the directives you meant to ship.
الإرشادات متاحة باللغة الإنجليزية.
ما يستكشفه الآخرون أيضًا
أداةمولّد robots.txtأداةمحلل ملفات السجلأداةفاحص وصول زواحف الذكاء الاصطناعي
       
 
المشكلات الشائعة وكيفية إصلاحها
 
     
  •  تحذير توجيه هو مصطلح الإصلاح: مصطلح ال توجيه مصطلح إلى واحد مصطلح اسم so زواحف do ليس مصطلح إنه. 
  •  تحذير مصطلح Noindex توجيه هو مستخدم الإصلاح: أزل Noindex من robots.txt و استخدم واحد meta Robots tag أو X-Robots-Tag على قابل للزحف عناوين عنوان URL بدلًا من. 
  •  معلومة Crawl-delay هو مصطلح بواسطة Google الإصلاح: أزل Crawl-delay من أجل Google و مصطلح Googlebot زحف مصطلح من خلال بحث وحدة تحكم أو خادم مصطلح ضوابط. 
  •  خطأ قاعدة مصطلح قبل أي user-agent مصطلح الإصلاح: مصطلح ال قاعدة مصطلح ال User-agent سطر من أجل ال زاحف مصطلح ذلك ينبغي مصطلح إنه. 
  •  تحذير سطر مصطلح لا مصطلح مصطلح الإصلاح: أضف ال مفقود مصطلح بين ال توجيه اسم و قيمة so مصطلح يمكن اقرأ ال سطر. 
  •  معلومة غير معروف توجيه هو مصطلح الإصلاح: أزل ال مصطلح توجيه أو مصطلح إنه مع واحد مصطلح robots.txt توجيه ذلك مصطلح ال مصطلح زحف قاعدة. 
  •  معلومة زاحف مصطلح مصطلح لا قواعد الإصلاح: أضف ال مصطلح Allow أو منع قواعد إلى هذا مصطلح, أو أزل ال مصطلح so ال زاحف يمكن مصطلح من خلال إلى ال مصطلح مصطلح. Disallow 
  •  خطأ قاعدة نمط يمكن أبدًا مطابقة الإصلاح: ابدأ ال مسار نمط مع / أو * so مطابق يمكن مصطلح في ال ابدأ من ال عنوان URL مسار. 
  •  تحذير مصطلح مصطلح مصطلح مصطلح واحد نمط الإصلاح: مصطلح $ إلى ال مصطلح من ال نمط if إنه ينبغي مصطلح ال مسار, أو أزل إنه if واحد مصطلح مصطلح مصطلح كان ليس intمصطلحed. 
  •  معلومة User-agent هو مصطلح عبر مصطلح الإصلاح: مصطلح قواعد من أجل ال نفس user-agent إلى واحد مصطلح so ال مصطلح سياسة هو مسح و مصطلح. 
  •  خطأ خريطة الموقع عنوان URL هو ليس مطلق الإصلاح: مصطلح ال نسبي خريطة الموقع مصطلح مع واحد مصطلح مصطلح عنوان URL بما في ذلك https:// و ال مصطلح. 
  •  خطأ Robots ملف مصطلح 500 KiB الإصلاح: مصطلح robots.txt مصطلح 500 KiB بواسطة مصطلح مصطلح و مصطلح مصطلح قواعد قبل Google’s اقتطاع مصطلح. 
  •  معلومة Robots ملف هو مصطلح الإصلاح: مصطلح ال ملف مصطلح if كل زحف هو مصطلح مصطلح; مصطلح أضف مصطلح user-agent مصطلح و ال مصطلح مطلوب قواعد. 
  •  خطأ اختبار عنوان URL هو محظور من أجل ال مختار زاحف الإصلاح: أزل أو مصطلح ال مصطلح منع قاعدة, أو أضف واحد أكثر مصطلح Allow قاعدة, عندما ال مصطلح عنوان URL ينبغي يكون قابل للزحف. Disallow 
    •