Permission
Is the crawler allowed?
فاحص وصول زواحف الذكاء الاصطناعي
Free, no signup. “Am I letting ChatGPT, Claude, Perplexity, and Google’s AI read this page — and did I mean to?” Enter a URL and get the answer for every major AI crawler, with the exact robots.txt rule that decided it.
Five separate tests · registry 2026-07-29
Crawler access is only the first layer
Extractability
Are useful facts present in raw HTML?
Renderability
Does JavaScript successfully expose them?
Operability
Can an agent identify and use semantic controls?
Commerce readiness
Do page, schema, feed and checkout facts agree?
HTML remains primary. llms.txt, UCP, and other protocol files are optional distribution layers and cannot compensate for inaccessible or unextractable HTML.
Validate a protocol response
Upload verified-bot log evidence
Expected columns: crawler, timestamp, url, status, verification. A user-agent string alone is never treated as verified identity.
No log evidence uploaded.
robots.txt is advisory, not a lock. It tells cooperating crawlers what you prefer — it does
not enforce anything. Some crawlers below are reported to ignore it (flagged ⚠). To actually stop a
crawler, block it at your CDN/WAF and verify it's genuine by IP.
تُجرى الفحوصات من خادمنا؛ نجلب عنوان URL الذي تدخله ولا نحتفظ بالنتائج. قد تُستخدم عدادات النتائج المجهولة على مستوى التشغيل لأغراض البحث التجميعي؛ ولا تتضمن أبدًا عناوين URL أو النطاقات أو عناوين IP أو المعرّفات، ولا تُنشر أي إحصائية لأقل من 100 عملية تشغيل.
+ يحفظ الموقع أو الصفحة الحالية. استخدم ☆ بجانب أي موقع أو صفحة أو قائمة محفوظة لإضافتها إلى المفضلة. يظهر سجل الفحوصات الأخيرة أدناه.
إنشاء قائمة مسماة
تمت تعبئة الهدف من اختياراتك المحلية.
جواز الموقع السياق المحلي لهذا الموقع المحفوظ
البيانات المحلية
تبقى الأهداف المحفوظة والقوائم المسماة وملخصات الفحوصات الأخيرة في هذا المتصفح فقط.
Google AI Overviews: there is no separate AI Overviews crawler and no full AI-Overviews-only opt-out that leaves ordinary Search unchanged. Blocking Googlebot prevents crawling but does not by itself guarantee that a known URL disappears from Search.
nosnippet, max-snippet, and data-nosnippet can limit preview/use but also affect normal Search snippets. Google-Extended only controls Gemini/Vertex training and grounding, not Search or Overviews.
Engine-specific limits: this checker evaluates the currently fetched file. Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days and may behave as if the file is absent when they cannot fetch it; a failed checker fetch is not proof that Amazon saw the same failure. Page-level controls are separate: Apple says
nosnippet can block content from generative-model context without preventing title-based discovery, while Bing documents AI-answer/training effects for noarchive and noindex. Use the page audit or extension to inspect those meta and HTTP-header directives.
Search & answer citation
These fetch pages to answer questions and cite sources. Blocking a cooperating crawler can prevent that crawler from accessing the page, but it does not guarantee absence from every answer or citation.
User-triggered assistant fetches
Model training
These collect pages for model training. A provider's documented robots control governs future crawling; it does not remove content already collected or guarantee deletion from an existing training dataset.
تقييم هذه الأداة
Set your posture → robots.txt block
Pick what to block; copy the generated rules into your robots.txt.
Blocking here means “documented posture,” not enforcement — a cooperating crawler will honor it; a hostile one may not.
Crawler roster last reviewed . Data is hand-maintained and editable (src/data/ai-crawlers.json).
حول هذه الأداة
انظر ما إذا ChatGPT, Claude, Perplexity, و Google AI يمكن اقرأ واحد صفحة — و ما إذا أنت meant هم إلى — مع ال دقيق Robots.txt قاعدة ذلك حُسم إنه.
مجاني, من دون تسجيل. “Am I letting ChatGPT, Claude, Perplexity, و Google AI اقرأ هذا صفحة — و فعل I يعني إلى?” أدخل واحد عنوان URL و احصل ال إجابة من أجل كل رئيسي AI زاحف, مع ال دقيق Robots.txt قاعدة ذلك حُسم إنه.
الميزات
- Per-crawler Allowed/Blocked حكم من أجل كل رئيسي AI زاحف, مع ال دقيق فائز قاعدة و سطر number.
- زواحف مجمّع بواسطة غرض — حي استرجاع & citation vs. نموذج تدريب — لذلك أنت مجموعة كل وضعية على غرض.
- علامات زواحف مُبلّغ عنه إلى تجاهل Robots.txt, و وسوم كل باعتباره قابل للتحقق أو غير قابل للتحقق بواسطة IP (cross-referenced مع ال Googlebot متحقّق قائمة).
- تحقّقات من أجل واحد llms.txt و يبلّغ إنه بصدق (لا زاحف هو موثق إلى اقرأ إنه, لذلك إنه تغييرات لا حكم).
- وضعية مولّد: tick تدريب و/أو استرجاع, مجموعة واحد مسار, و نسخ واحد جاهز Robots.txt حظر. إنه يفعل ليس أضف واحد Googlebot منع لأن ذلك سيكون يمنع محرك Google من زحف متأثر عناوين عنوان URL.
- تشغيل مقابل أي عام عنوان URL — لا sign-in, لا شيء مخزّن; مشاركة واحد تم التحقق منه عنوان URL via واحد copyable رابط.
كيفية العمل
مطابق تشغيل في الخاص بك متصفح مع واحد مطابق منقول من Google open-source Robots.txt محلل — ال نفس محرك خلف ال الموقع Robots.txt فاحص و تصيير فجوة الأداة — لذلك أحكام اتبع Google فعلي أسبقية قواعد (الأكثر تحديدًا مسار يفوز, ليس أول تطابق). ال فقط خادم عمل هو واحد صغير نقطة نهاية ذلك يجلب ال المستهدف Robots.txt و تحقّقات من أجل واحد llms.txt, لأن واحد متصفح لا يمكنه طلب آخر النطاق ملفات مباشرة (CORS). إذا Robots.txt هو مفقود أو يعيد واحد 4xx, كل زاحف الإعدادات الافتراضية إلى allowed (Google سلوك). إذا إنه يعيد واحد 5xx أو هو غير قابل للوصول, محرك Google يعالج ال كامل موقع باعتباره مؤقتًا ممنوع. ال الأداة يعرض كهرماني ليس مُقيَّم صفوف و يحجب وصول أحكام حتى ال ملف يمكن يكون مجلوب بنجاح مرة أخرى.
القيود
- Robots.txt هو advisory, ليس واحد lock — إنه يخبر متعاون زواحف ما أنت يفضّل و enforces لا شيء. واحد زاحف tagged “⚠ يتجاهل Robots” قد جلب واحد “محظور” صفحة anyway; إلى فعليًا أوقف إنه أنت يجب حظر في الخاص بك CDN/WAF و تحقّق بواسطة IP. ال قائمة هو مُدار يدويًا, لذلك واحد brand-new زاحف قد ليس يظهر حتى إنه مضاف. و واحد قابل للتحقق وسم يعني ال مشغّل ينشر واحد way إلى تحقّق هوية — إنه يفعل ليس يضمن أي معطى طلب هو حقيقي.
الأسئلة الشائعة
هل يؤدي حظر GPTBot إلى منع ChatGPT من الاستشهاد بموقعي؟
ليس بمفرده. GPTBot هو زاحف التدريب لدى OpenAI؛ حظره يستبعد محتواك من تدريب النماذج مستقبلًا، لكنه لا يوقف روبوتات الاسترجاع المباشر التي تجلب الصفحات للإجابة عن الأسئلة والاستشهاد بالمصادر. وهما OAI-SearchBot لنتائج بحث ChatGPT واستشهاداته، وChatGPT-User لجلب الصفحة عندما يتبع المستخدم رابطًا. ولإبقاء موقعك خارج إجابات ChatGPT ستحتاج إلى حظرهما أيضًا، وتعرضهما الأداة بصورة منفصلة تحت «الاسترجاع المباشر واستشهاد الإجابة».
هل يمكنني استبعاد موقعي من Google AI Overviews باستخدام robots.txt؟
لا يوجد زاحف منفصل لـAI Overviews، ولا توفر Google استبعادًا كاملًا خاصًا بها مع إبقاء الصفحة دون تغيير في بحث. يمنع حظر Googlebot الزحف، لكنه لا يضمن وحده اختفاء عنوان URL معروف من بحث. كما تؤثر عناصر التحكم في المقتطفات في مقتطفات بحث العادية. ويتحكم Google-Extended بصورة منفصلة في تدريب Gemini/Vertex والإسناد، لا في بحث أو AI Overviews.
هل يوقف robots.txt زاحف AI فعلًا؟
robots.txt إرشادي وليس قفلًا. فهو يخبر الزواحف المتعاونة بتفضيلك ولا يفرضه. يحترمه المشغلون المنضبطون، لكن تشير تقارير إلى أن بعض الزواحف تتجاهله، وتعلّمها الأداة بوسم «⚠ يتجاهل robots». لإيقاف زاحف فعليًا، احظره عند CDN أو WAF، وتحقق من أصالة الطلب عبر IP بدل الوثوق بنص مستخدم-وكيل.
لماذا يظهر زاحف بوصفه «غير قابل للتحقق»؟
يعكس وسم «قابل للتحقق» أو «غير قابل للتحقق» ما إذا كان المشغل ينشر وسيلة لفحص ادعاء الزاحف، مثل نطاقات IP الحالية أو DNS العكسي مع تأكيد أمامي FCrDNS، بالرجوع إلى قائمة Bot Verifier. يمكن دائمًا انتحال مستخدم-وكيل وحده. تنشر Anthropic الآن قائمة رسمية لعناوين IP لزواحفها في claude.com/crawling/bots.json، لذلك يمكن فحص حركة Claude مقابل النطاق المنشور؛ وهذا ليس تأكيد DNS عكسيًا.
هل يغيّر ملف llms.txt أيًا من هذه الأحكام؟
لا. llms.txt اتفاقية مجتمعية مقترحة، ولا يوجد توثيق بأن أي زاحف AI رئيسي يقرأها، لذلك لا يؤثر وجودها أو غيابها في السماح لأي زاحف أو حظره. تعرض الأداة وجود llms.txt في النطاق للمعلومات فقط، بينما تحدد robots.txt وحدها كل أحكام الوصول.
المشكلات الشائعة وكيفية إصلاحها
- خطأ مختار AI زاحف هو محظور الإصلاح: أزل أو مصطلح ال مختار AI crawler’s منع قاعدة من أجل محتوى أنت مصطلح إنه إلى مصطلح, مصطلح أعد الاختبار ذلك دقيق user-agent و مسار. Disallow
- تحذير مختار AI زاحف هو محظور على بعض مسارات الإصلاح: مصطلح كل محظور مسار و مصطلح ال مصطلح-مصطلح منع مصطلح so فقط مصطلح خاص مصطلح يبقى مستبعد. Disallow
- خطأ مصطلح قواعد حظر AI زواحف الإصلاح: تعديل ال User-agent: * مصطلح لأن الخاص به منع قواعد أيضًا مصطلح إلى AI زواحف من دون واحد أكثر مصطلح مصطلح سياسة. Disallow
- تحذير مصطلح و مصطلح زاحف سياسات تعارض الإصلاح: مصطلح مصطلح و مصطلح-مصطلح مصطلح إلى واحد مصطلح مصطلح-مصطلح سياسة, مصطلح اختبار تمثيلي مصطلح و محظور مسارات.
- معلومة زاحف هو ليس في ال حالي مصطلح الإصلاح: مصطلح ال bot’s مصطلح user-agent و مصطلح مصطلح قبل مصطلح واحد مصطلح مصطلح أو مصطلح مصطلح قواعد.