Logdatei-Analysator
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
Wird vollständig in deinem Browser ausgeführt – nichts, was du einfügst, wird hochgeladen oder gespeichert. Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. Anonyme Ergebniszähler auf Ausführungsebene können für aggregierte Forschung verwendet werden; URLs, Domains, IP-Adressen und Kennungen werden nie einbezogen, und Statistiken werden erst ab 100 Ausführungen veröffentlicht.
Oldest successful bot range check .
Website-Pass Lokaler Kontext für diese gespeicherte Website
Lokale Daten
Gespeicherte Ziele, benannte Listen und Zusammenfassungen der letzten Prüfungen bleiben nur in diesem Browser.
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
Dieses Werkzeug bewerten
Über dieses Werkzeug
Lade ein Serverzugriffsprotokoll hoch und erkenne, welche Bots und URL-Bereiche dein Crawl-Budget verbrauchen. Die Analyse trennt traditionelle Suche, KI-Suche und Training, zählt Statuscode-Verschwendung und zeigt verdächtige User-Agents mit IP- und DNS-Nachweis.
Nginx-, Apache-, IIS/W3C- und JSON-Formate werden lokal geparst; nichts wird hochgeladen und die Auswertung beschreibt Crawl-Verhalten, nicht Indexierung.
Funktionen
- Crawl-Budget nach Bot mit verifiziert-, gefälscht- und nicht verifizierbaren Zählungen sowie Statusmix und Verschwendungsquote
- Aufschlüsselung von Such-, KI-Such- und Trainings-Bots nach Bereich und täglichem Zeitverlauf
- Spoofer-Bericht mit Reverse-DNS- und ASN-Prüfung für verdächtige IPs
- Gerankte Empfehlungen mit kopierbaren robots.txt-Zeilen sowie CSV-Export für Bots und verschwendete URLs
So funktioniert es
Ziehe eine oder mehrere Logdateien in den Upload-Bereich oder lade Beispieldaten. Das Format wird automatisch erkannt, große Dateien werden gestreamt und jede Zeile erhält Bot-, IP-, Status- und Pfadmerkmale. Danach berechnet der Analyzer Budgets, Verschwendung und Trends, prüft verdächtige IPs live und ordnet konkrete Reparaturen.
Einschränkungen
- Das Werkzeug sieht nur Anfragen, die dein Server protokolliert hat, und kann nicht sagen, warum ein Crawler eine URL auswählte oder ob sie indexiert wurde.
- Crawler ohne veröffentlichte IP-Bereiche bleiben nicht verifizierbar, statt als echt oder gefälscht beurteilt zu werden.
- URL-Bereiche werden aus Pfaden abgeleitet; die Gruppierung ist eine Sicht auf dein Protokoll und kein vollständiger Zustandsbericht der Website.
Häufig gestellte Fragen
Werden meine Logdateien irgendwo hochgeladen?
Nein. Das Parsen und die Analyse laufen vollständig in deinem `Browser` über einen `Web Worker` — die Datei wird lokal von der Festplatte gelesen und in Blöcken gestreamt; nichts wird an einen Server gesendet. Die einzige Ausnahme ist die optionale `per-IP`-Stichprobe im Nachahmerbericht: Dabei wird eine einzelne `IP`-Adresse (nicht dein Protokoll) an die `verifier`-API gesendet, um eine vorwärtsbestätigte `reverse-DNS`- und `ASN`-Abfrage auszuführen. Schließe das Fenster, dann sind alle analysierten Daten verschwunden.
Welche Logformate werden unterstützt?
Das Datenformat wird automatisch erkannt. Es verarbeitet `nginx`- und `Apache`-Varianten mit `combined` und `common`, `IIS`/`W3C Extended` sowie `JSON`-Protokolle einschließlich `Cloudflare Logpush`. Du kannst mehrere Dateien gleichzeitig ablegen, und große Protokolle werden in Blöcken gestreamt, sodass ein sehr großes Zugriffsprotokoll das Fenster nicht blockiert.
Kann ein echter Crawler als Spoofer erscheinen?
Ja, wenn sich seine Bereiche geändert haben oder die Liste veraltet ist. Umgekehrt kann eine gefälschte `User`-`Agent`-Zeichenfolge von einer echten `IP` stammen; nutze die `Reverse-DNS`- und `ASN`-Prüfung und aktualisiere die Quellen. Jede Anfrage wird anhand des `user-agent` einem bekannten Crawler zugeordnet; seine Quell-IP wird mit den veröffentlichten IP-Bereichen des Betreibers verglichen – denselben wöchentlich aktualisierten Listen, die der Googlebot-Verifizierer verwendet. Eine Anfrage, die etwa einen Googlebot-`user-agent` von einer IP außerhalb der Google-Bereiche sendet, wird als wahrscheinlicher Nachahmer markiert. Einige Betreiber wie `ByteDance` mit `Bytespider` veröffentlichen keine Bereiche; solche Treffer werden daher als nicht verifizierbar statt als gefälscht markiert.
Was gilt als verschwendetes Crawl-Budget?
Jede Crawler-Anfrage, die eine Weiterleitung (außer einer nützlichen `304 Not Modified`-Neuvalidierung), einen 4xx-Fehler wie `404` oder `410` oder einen 5xx-Serverfehler erhält. Das Werkzeug fasst die Verschwendung nach Crawler, Bereich und einzelner `URL` zusammen, damit du die wirkungsvollsten Maßnahmen erkennst.
Kann ich Spoofer mit robots.txt blockieren?
Nein. Nachahmer senden absichtlich einen Crawler-`user-agent`, damit sie `robots.txt` ignorieren können; eine `Disallow`-Zeile bewirkt bei ihnen nichts – blockiere sie stattdessen am Randnetz oder an der `firewall` nach `IP` oder `ASN`. `robots.txt` ist das richtige Werkzeug für echte Crawler, die Budget für Bereiche verschwenden, die du nicht crawlen lassen willst; das Empfehlungsfeld erzeugt dafür kopierbare `Disallow`-Zeilen.
Häufige Probleme und ihre Behebung
- Warnung Crawler behauptung ist außerhalb die betreiber’s veröffentlicht bereich Lösung: Behandle den Crawler als nicht verifiziert und blockiere oder untersuche ihn, bis seine IP dem veröffentlichten Bereich des Betreibers entspricht.
- Warnung Der Crawler verwendet Anfragen für nicht nützliche URLs Lösung: `Disallow` oder kanonisiere URLs mit minderwertigen Abfragewerten sowie Such- und Duplikatmuster und stärke anschließend die Links zu den URLs, die Crawler priorisieren sollen.
- Warnung Der Crawler erhält wiederholt Fehlerantworten Lösung: Repariere oder leite die am häufigsten angeforderten Crawler-URLs mit 4xx/5xx-Antworten weiter und entferne interne Links zu URLs, die verschwunden bleiben sollen.
- Prüfung erforderlich Der Crawler stößt auf übermäßig viele Weiterleitungen Lösung: Aktualisiere interne Links und Sitemap-Einträge, sodass sie direkt auf endgültige URLs zeigen, und verkürze Weiterleitungsketten auf einen Sprung.
- Prüfung erforderlich Der Crawler besucht eine URL außerhalb der erwarteten URL-Menge Lösung: Füge die vom Crawler entdeckte URL dem kanonischen internen Link- und Sitemap-Satz hinzu oder leite sie weiter/entferne sie, wenn sie unbeabsichtigt ist.
- Prüfung erforderlich Die erwartete wichtige URL erhält keine Crawler-Treffer Lösung: Füge crawlbare interne Links und einen kanonischen `sitemap`-Eintrag für die erwartete URL hinzu und prüfe dann `robots` und Authentifizierungssperren.
- Warnung Crawler-Aktivität nimmt deutlich ab Lösung: Vergleiche das Datum des Rückgangs mit Änderungen an `robots`, `status`, `sitemap`, Bereitstellung und Serverkapazität und stelle dann den betroffenen Crawl-Pfad wieder her.
- Prüfung erforderlich Crawler-Aktivität nimmt deutlich zu Lösung: Ermittle das URL-Muster, das den Anstieg verursacht, und begrenze neu offengelegte Parameter, Fallen, Weiterleitungen oder doppelte Crawl-Pfade.
- Prüfung erforderlich Die Antwortzeiten des Crawlers sind langsam Lösung: Zwischenspeichere oder optimiere die langsamsten Crawler-Endpunkte und verringere die Latenz des Ursprungsservers, bevor du einen neuen Crawl anforderst.