مولّد robots.txt
إنشاء الملف
اختر مجموعات الزحف المراد حظرها. تظل برامج زحف البحث مسموحة ما لم تخترها صراحةً.
يُدرج هذا التوجيه غير القياسي لـ Bingbot فقط. لا يعالجه Google; يوثّق Bing قيمًا من 1–20 ثانية. ويُحذف إذا حظرت Bingbot.
يعمل بالكامل في متصفحك — لا يُرفع أو يُخزّن أي شيء تلصقه. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. قد تُستخدم عدادات النتائج المجهولة على مستوى التشغيل لأغراض البحث التجميعي؛ ولا تتضمن أبدًا عناوين URL أو النطاقات أو عناوين IP أو المعرّفات، ولا تُنشر أي إحصائية لأقل من 100 عملية تشغيل.
ملف robots.txt المُنشأ
الحظر ≠ الإزالة من الفهرس. يطلب Disallow من برامج الزحف التي تلتزم به عدم جلب عنوان URL؛ ولا يزيل عنوان URL معروفًا بالفعل لمحرك بحث.
معاينة المطابقة المباشرة
تحتاج إلى مصفوفة كاملة للروبوتات وعناوين URL؟ افتح أداة اختبار robots.txt ←حول هذه الأداة
بناء واحد مسح Robots.txt مع زاحف presets, حي Google-style عنوان URL مطابق, واحد خريطة الموقع سطر, و جاهز للنسخ مخرجات.
مجاني, من دون تسجيل. مجموعة واحد بسيط افتراضي سياسة, اختر ال bot مجموعات إلى حظر, ثم اختبار تمثيلي عناوين عنوان URL مقابل ال منشأ ملف قبل نشر إنه.
الميزات
- مجمّع بحث, تدريب الذكاء الاصطناعي, مساعد, و archive-crawler presets.
- حي Google-style عنوان URL مطابق مقابل عينة عناوين عنوان URL و واحد bot اسم.
- اختياري مطلق خريطة الموقع عنوان URL و موثق Bingbot crawl-delay.
- جاهز للنسخ Robots.txt مخرجات مع واحد تسليم إلى ال Robots.txt فاحص.
كيفية العمل
يُنشئ هذا المولّد مجموعات User-agent منفصلة وقواعد Allow: / وDisallow: /، ما يجعل السياسة سهلة التدقيق. ويستخدم مُطابقًا بأسلوب Google نفسه المستخدم في أداة اختبار robots.txt، بما في ذلك سلوك فوز المطابقة الأطول.
القيود
- Robots.txt هو ليس الأمان, و إنه هو ليس واحد deindexing الأداة. يفعل ليس قائمة sensitive مسارات expecting هم إلى يبقى سر; ال ملف هو عام. استخدم وصول ضوابط من أجل خاص مادة و Noindex من أجل فهرس إزالة.
الأسئلة الشائعة
هل يؤدي حظر روبوت إلى إزالة صفحاتي من الفهرس؟
لا. يتحكم robots.txt في الزحف، لا في بقاء عنوان URL مفهرسًا. استخدم توجيه noindex في صفحة قابلة للزحف عندما تحتاج إلى إشارة إزالة من الفهرس.
هل سيلتزم كل زاحف بهذا الملف؟
لا. robots.txt تفضيل عام وطوعي للزحف، وليس وسيلة للتحكم في الوصول. استخدم المصادقة أو WAF أو تحديد المعدل لحماية المحتوى الخاص.
لماذا أحتاج إلى سطر Sitemap؟
يمنح الزواحف عنوان URL مطلقًا وصريحًا لخريطة موقع XML الخاصة بك. وهو اختياري، لكنه مفيد عادة للاكتشاف.
المشكلات الشائعة وكيفية إصلاحها
- تحذير منشأ سياسة يحظر واحد مختار AI زاحف الإصلاح: أزل قاعدة Disallow الخاصة بزاحف AI المحدد، أو قصّرها على المسارات التي ينبغي أن تظل غير متاحة له.
- تحذير منشأ سياسة يحظر واحد بحث زاحف الإصلاح: أزل قاعدة Disallow الخاصة بـ Googlebot/Bingbot أو ضيّق نطاقها كي تبقى الصفحات المخصصة للبحث المجاني قابلة للزحف.
- تحذير المسار الحساس غير محظور الإصلاح: أضف قواعد Disallow صريحة لمسارات الإدارة أو الاختبار أو السلة أو البحث الداخلي غير العامة، واحمِ البيانات الحساسة فعلًا بالمصادقة بدلًا من robots.txt.
- معلومة الملف المُنشأ لا يتضمن تعريفًا لخريطة الموقع الإصلاح: أضف تعريفًا مطلقًا بصيغة Sitemap: https://…/sitemap.xml يشير إلى خريطة الموقع الأساسية المتاحة للعامة أو إلى فهرسها.
- تحذير تحتوي المجموعات المُنشأة على قواعد متعارضة الإصلاح: ادمج قواعد وكيل المستخدم نفسه في مجموعة واحدة، وحل تداخل مسارات السماح/Disallow للتعبير عن سياسة مقصودة واحدة.