Analyseur de fichiers journaux SEO
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
S’exécute entièrement dans votre navigateur : rien de ce que vous collez n’est envoyé ni stocké. Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. Des compteurs anonymes de résultats par exécution peuvent servir à la recherche agrégée ; les URL, domaines, adresses IP et identifiants ne sont jamais inclus, et aucune statistique issue de moins de 100 exécutions n’est publiée.
Oldest successful bot range check .
Passeport du site Contexte local de ce site enregistré
Données locales
Les cibles enregistrées, les listes nommées et les résumés des vérifications récentes restent uniquement dans ce navigateur.
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
Évaluer cet outil
À propos de cet outil
Importez un journal d’accès serveur pour voir comment les robots explorent réellement votre site : URLs demandées, codes d’état, groupes de robots, fréquence, octets et indices de vérification.
Fonctionnalités
- Analyse des formats de journaux courants avec regroupement par robot, URL, statut et période.
- Vérification prudente des user-agents et des plages publiées lorsque les preuves le permettent.
- Repérage des chemins coûteux, erreurs, redirections, llms.txt et comportements d’exploration atypiques.
- Résultats exportables avec séparation nette entre comportement de crawl et résultat d’indexation.
Fonctionnement
L’outil parse les lignes, normalise horodatage, méthode, URL, code et user-agent, puis regroupe les requêtes par robot et chemin. Il rapproche les preuves de vérification connues sans transformer un nom de robot en identité authentifiée.
Limites
- Un journal montre ce que votre serveur a reçu ; il ne prouve pas à lui seul l’indexation, le classement ou l’intention d’un opérateur.
- Un user-agent peut être usurpé et une plage publiée peut évoluer ; les constats restent bornés par la preuve disponible.
- Les formats incomplets, les proxys et l’échantillonnage peuvent masquer une partie du trafic réel.
Questions fréquentes
Mes fichiers journaux sont-ils envoyés quelque part ?
Non. L’analyse s’exécute entièrement dans votre navigateur au moyen d’un Web Worker : le fichier est lu sur le disque et traité localement par blocs, sans rien envoyer à un serveur. Le seul cas particulier est la vérification ponctuelle facultative d’une IP dans le rapport sur les usurpateurs ; elle envoie une seule adresse IP, et non votre journal, à l’API de vérification pour effectuer un DNS inverse confirmé par recherche directe et une recherche ASN. Fermez l’onglet et toutes les données analysées disparaissent.
Quels types de journaux l’outil prend-il en charge ?
Le type est détecté automatiquement. L’outil lit les structures combinées et communes de nginx et Apache, IIS / W3C Extended, ainsi que les journaux JSON, notamment Cloudflare Logpush. Vous pouvez déposer plusieurs fichiers à la fois ; les journaux volumineux sont traités par blocs afin qu’un journal d’accès de plusieurs gigaoctets ne bloque pas l’onglet.
Comment distingue-t-il un vrai robot d’exploration d’un robot usurpé ?
Chaque requête est associée à un robot connu d’après son identifiant, puis l’adresse IP source est comparée aux plages publiées par l’opérateur : ce sont les mêmes listes actualisées chaque semaine que celles utilisées par le vérificateur Googlebot. Une requête qui se présente, par exemple, comme Googlebot depuis une IP hors des plages de Google est signalée comme usurpation probable. Certains opérateurs, comme Bytespider de ByteDance, ne publient aucune plage ; leurs visites sont donc marquées comme impossibles à vérifier plutôt que comme usurpées.
Qu’est-ce qu’un gaspillage du budget d’exploration ?
Toute requête de robot qui reçoit une redirection, sauf lorsqu’un contrôle conditionnel utile renvoie 304 parce que la ressource n’a pas changé, ou qui reçoit une erreur 4xx comme 404 ou 410, ou une erreur serveur 5xx. L’outil regroupe ce gaspillage par robot, par rubrique et par URL individuelle afin d’indiquer où les corrections auront le plus d’impact.
Puis-je bloquer les usurpateurs avec robots.txt ?
Non. Les imposteurs envoient précisément un identifiant de robot afin d’ignorer robots.txt ; une directive Disallow ne leur fait donc rien. Bloquez-les plutôt par IP ou ASN au niveau du réseau ou du pare-feu. robots.txt convient aux robots authentiques qui gaspillent leur budget dans les rubriques que vous ne souhaitez pas faire explorer ; le panneau Recommandations génère des directives Disallow prêtes à copier-coller pour ces cas.
Problèmes courants et solutions
- Avertissement L’identité annoncée du robot se trouve hors des plages publiées par l’opérateur Solution : Traitez le robot comme non vérifié et bloquez-le ou examinez-le jusqu’à ce que son IP corresponde à la plage publiée par l’opérateur.
- Avertissement Le robot consacre des requêtes à des URL sans valeur Solution : Bloquez ou canonisez les URL à faible valeur contenant des paramètres, des filtres, des recherches ou des doublons, puis renforcez les liens vers les URL que les robots doivent privilégier.
- Avertissement Le robot reçoit régulièrement des réponses d’erreur Solution : Réparez ou redirigez les URL de robots les plus demandées qui renvoient des réponses 4xx/5xx et supprimez les liens internes vers les URL qui doivent rester supprimées.
- À vérifier Le robot rencontre trop de redirections Solution : Mettez à jour les liens internes et les entrées sitemap pour pointer directement vers les URL finales, puis réduisez les chaînes de redirection à un seul saut.
- À vérifier Un robot visite une URL en dehors de l’ensemble attendu d’URL Solution : Ajoutez l’URL découverte par le robot à l’ensemble canonique de liens internes et du sitemap, ou redirigez-la/supprimez-la si elle est indésirable.
- À vérifier Une URL importante attendue ne reçoit aucune visite de robot Solution : Ajoutez des liens internes explorables et une entrée canonique dans le sitemap pour l’URL attendue, puis vérifiez les barrières robots et d’authentification.
- Avertissement L’activité du robot diminue nettement Solution : Comparez le jour de la baisse avec les fichiers robots, l’état, le sitemap, le déploiement et les changements de capacité du serveur, puis restaurez le chemin d’exploration concerné.
- À vérifier L’activité du robot augmente nettement Solution : Identifiez le motif d’URL à l’origine du pic et contenez les paramètres, pièges, redirections ou chemins d’exploration dupliqués nouvellement exposés.
- À vérifier Les temps de réponse du robot sont lents Solution : Mettez en cache ou optimisez les points d’accès les plus lents des robots et réduisez la latence du serveur source avant de demander une nouvelle exploration.