محلل ملفات السجل
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
يعمل بالكامل في متصفحك — لا يُرفع أو يُخزّن أي شيء تلصقه. Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. قد تُستخدم عدادات النتائج المجهولة على مستوى التشغيل لأغراض البحث التجميعي؛ ولا تتضمن أبدًا عناوين URL أو النطاقات أو عناوين IP أو المعرّفات، ولا تُنشر أي إحصائية لأقل من 100 عملية تشغيل.
Oldest successful bot range check .
جواز الموقع السياق المحلي لهذا الموقع المحفوظ
البيانات المحلية
تبقى الأهداف المحفوظة والقوائم المسماة وملخصات الفحوصات الأخيرة في هذا المتصفح فقط.
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
تقييم هذه الأداة
حول هذه الأداة
تحليلات لا يمكنه يخبر أنت ما زواحف فعليًا يفعل على الخاص بك موقع. إسقاط في واحد خادم سجل و انظر زحف ميزانية, مهدور حالة رموز, و منتحل bot طلبات.
مجاني, من دون تسجيل. خادم سجلات إجابة واحد سؤال الخاص بك تحليلات لا يمكنه: ما هي زواحف فعليًا doing على الخاص بك موقع. إسقاط واحد في و انظر زحف ميزانية بواسطة bot و بواسطة قسم, كيف كثير هو مهدور على 404s و عمليات إعادة التوجيه, كيف AI زواحف قارن إلى بحث محركات, و أي طلبات هي منتحلون faking واحد زاحف user-agent.
الميزات
- Auto-detects nginx/Apache المُجمَّع & شائع, IIS/W3C ممتد, و JSON (Cloudflare Logpush) سجلات; متعددة ملفات في بعد.
- زحف ميزانية بواسطة bot مع تم التحقّق منه/منتحل/غير قابل للتحقق أعداد, فريد IPs, حالة مزيج, و هدر نسبة مئوية.
- AI-vs-search breakdown لذلك أنت يمكن انظر كيف كثير من الخاص بك ميزانية AI زواحف الآن يستهلك مقابل traditional بحث.
- منتحل تقرير إدراج crawler-UA طلبات من out-of-range IPs, مع واحد حي per-IP reverse-DNS + ASN تحقّق button.
- زحف ميزانية بواسطة قسم و واحد most-wasted-عناوين عنوان URL جدول pinpointing ال الأعلى تأثيرًا إصلاحات.
- يومي crawl-over-time اتجاه مخطط عندما ال سجل يحمل timestamps.
- مرتّب توصيات مع copy-paste Robots.txt أسطر, بالإضافة CSV تصدير من bots و مهدور عناوين عنوان URL.
كيفية العمل
مُحلَّل في الخاص بك متصفح. واحد ويب Worker تدفقات ال ملف جزء بواسطة جزء و يحلل كل سطر — nginx/Apache المُجمَّع & شائع, IIS/W3C ممتد, و JSON (بما في ذلك Cloudflare Logpush). ال ملف هو أبدًا مرفوع. كل طلب هو مصنّف: ال user-agent هو مطابق إلى واحد معروف زاحف, ثم ال مصدر IP هو تم التحقق منه مقابل ذلك المشغّل published نطاقات — ال نفس محدّث أسبوعيًا قوائم ال Googlebot متحقّق يستخدم. واحد زاحف UA من واحد IP خارج الخاص به نطاقات هو موسوم باعتباره واحد على الأرجح منتحل. طلبات هي مجمّع, ليس مخزّن, إلى زحف ميزانية, status-code هدر, قسم و AI-vs-search تفصيلات, و واحد منتحل تقرير. إغلاق ال علامة تبويب و إنه ذهب. من أجل واحد مريب IP أنت يمكن شغّل واحد كامل forward-confirmed reverse-DNS تحقّق و ASN بحث — ال فقط خطوة ذلك جهات اتصال واحد خادم, rate-limited, واحد IP في واحد وقت.
القيود
- إنه analyses ما هو في ال سجل — إنه لا يمكنه انظر طلبات الخاص بك خادم أبدًا مسجّل, و إنه لا يمكنه يخبر أنت لماذا واحد زاحف chose واحد عنوان URL. تحقّق هو فقط باعتباره جيد باعتباره ال operators' published نطاقات: زواحف مع لا published نطاقات هي موسوم غير قابل للتحقق بدلًا من judged, و واحد determined منتحل استخدام واحد genuine-crawler IP لن يكون caught بواسطة قائمة مطابق بمفرده (استخدم ال reverse-DNS فحص موضعي من أجل تلك). أقسام هي مستنتج من عنوان URL مسارات, لذلك الخاص بك الموقع بنية يحدّد كيف نظيف ال grouping هو. إنه يبلّغ زحف سلوك, ليس الفهرسة نتائج — زوج إنه مع بحث وحدة تحكم إلى يربط واحد مُزحوف عنوان URL إلى ما إذا إنه فعليًا يرتّب.
الأسئلة الشائعة
هل تُرفع ملفات السجل الخاصة بي إلى أي مكان؟
لا. تجري عملية التحليل بالكامل في متصفحك عبر Web Worker؛ إذ يُقرأ الملف من القرص وتُعالَج أجزاؤه محليًا، ولا يُرسل شيء إلى خادم. الاستثناء الوحيد هو الفحص الاختياري لعنوان IP منفرد في تقرير الانتحال، حيث يُرسل عنوان IP واحد فقط (وليس ملف السجل) إلى واجهة API للتحقق من DNS العكسي المؤكد بإعادة التوجيه وASN. عند إغلاق علامة التبويب تُحذف جميع البيانات المحللة.
ما تنسيقات السجلات التي تدعمها الأداة؟
تكتشف الأداة التنسيق تلقائيًا. وهي تقرأ تنسيقات nginx وApache المدمجة والشائعة، وIIS / W3C Extended، وسجلات JSON بما فيها Cloudflare Logpush. يمكنك إسقاط عدة ملفات دفعة واحدة، كما تُعالَج السجلات الكبيرة على أجزاء كي لا يؤدي سجل وصول حجمه عدة غيغابايت إلى تجميد علامة التبويب.
كيف تميّز الأداة الزاحف الحقيقي من الزاحف المنتحل؟
تطابق الأداة كل طلب مع زاحف معروف بالاعتماد على معرّف المستخدم، ثم تتحقق من عنوان IP المصدر مقابل نطاقات IP التي نشرها المشغّل، وهي القوائم نفسها التي تحدّثها أداة التحقق من Googlebot أسبوعيًا. فإذا أرسل طلبٌ، مثلًا، معرّف مستخدم خاصًا بـ Googlebot من عنوان خارج نطاقات Google، يُعلَّم باعتباره انتحالًا محتملًا. بعض المشغّلين، مثل Bytespider التابع لـ ByteDance، لا ينشرون نطاقاتهم، لذلك تُعلَّم زياراتهم بأنها غير قابلة للتحقق بدلًا من اعتبارها منتحلة.
ما الذي يُعد هدرًا في ميزانية الزحف؟
كل طلب زاحف يتلقى إعادة توجيه، باستثناء إعادة تحقق مفيدة برمز 304، أو خطأ 4xx مثل 404 أو 410، أو خطأ خادم 5xx. تجمع الأداة الهدر حسب الروبوت والقسم وعنوان URL الفردي، لتعرف أين توجد الإصلاحات الأعلى أثرًا.
هل يمكنني حظر المنتحلين باستخدام robots.txt؟
لا. يرسل المنتحلون معرّف مستخدم خاصًا بزاحف كي يتجاهلوا robots.txt أصلًا، لذلك لا يؤثر فيهم سطر Disallow. احظرهم بدلًا من ذلك حسب IP أو ASN عند الحافة أو جدار الحماية. أما robots.txt فهو مناسب للزواحف الحقيقية التي تهدر الميزانية في أقسام لا تريد زحفها، وتُنشئ لوحة التوصيات أسطر Disallow جاهزة للنسخ لهذه الحالات تحديدًا.
المشكلات الشائعة وكيفية إصلاحها
- تحذير هوية الزاحف المعلَنة خارج النطاق المنشور للمشغّل الإصلاح: اعتبر الزاحف غير متحقَّق منه واحظره أو افحصه حتى يطابق عنوان IP الخاص به النطاق المنشور للمشغّل.
- تحذير الزاحف ينفق طلبات على عناوين URL غير المفيدة الإصلاح: احظر عناوين URL منخفضة القيمة التي تحتوي على معلمات أو فلاتر أو عمليات بحث أو تكرارات، أو اجعلها تشير إلى النسخة الأساسية، ثم عزّز الروابط إلى عناوين URL التي ينبغي للزواحف إعطاؤها الأولوية.
- تحذير الزاحف يتلقى استجابات خطأ بشكل متكرر الإصلاح: أصلح أو أعد توجيه عناوين URL الأكثر طلبًا من الزواحف والتي تُرجع استجابات 4xx/5xx، وأزل الروابط الداخلية إلى عناوين URL التي ينبغي أن تبقى محذوفة.
- يحتاج إلى مراجعة الزاحف يواجه عددًا مفرطًا من عمليات إعادة التوجيه الإصلاح: حدّث الروابط الداخلية وإدخالات خريطة الموقع لتشير مباشرةً إلى عناوين URL النهائية، واختصر سلاسل إعادة التوجيه إلى قفزة واحدة.
- يحتاج إلى مراجعة الزاحف يزور عنوان URL خارج مجموعة العناوين المتوقعة الإصلاح: أضف عنوان URL الذي اكتشفه الزاحف إلى مجموعة الروابط الداخلية وخريطة الموقع الأساسية، أو أعد توجيهه أو أزله إذا كان غير مقصود.
- يحتاج إلى مراجعة عنوان URL مهم ومتوقع لا يتلقى أي زيارات من الزواحف الإصلاح: أضف روابط داخلية قابلة للزحف وإدخالًا أساسيًا في خريطة الموقع لعنوان URL المتوقع، ثم تحقّق من حواجز robots.txt والمصادقة.
- تحذير نشاط الزاحف ينخفض بشكل ملحوظ الإصلاح: قارن تاريخ الانخفاض بتغييرات robots.txt والحالة وخريطة الموقع والنشر وسعة الخادم، ثم أعد مسار الزحف المتأثر.
- يحتاج إلى مراجعة نشاط الزاحف يرتفع بشكل ملحوظ الإصلاح: حدّد نمط عناوين URL الذي يسبب الارتفاع، واحتوِ المعلمات والفخاخ ومسارات إعادة التوجيه أو الزحف المكررة التي ظهرت حديثًا.
- يحتاج إلى مراجعة أزمنة استجابة الزاحف بطيئة الإصلاح: استخدم التخزين المؤقت أو حسّن نقاط النهاية الأبطأ للزواحف، وقلّل زمن استجابة المصدر قبل طلب زحف جديد.