ログファイルアナライザー
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
完全にブラウザー内で実行され、貼り付けた内容はアップロードも保存もされません。 Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. 匿名化した実行単位の結果件数を集計調査に使う場合があります。URL、ドメイン、IPアドレス、識別子は含めず、100回未満の実行から統計を公開しません。
Oldest successful bot range check .
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
このツールを評価
このツールについて
サーバーアクセスログから、ボットとセクション別のクロールバジェット、ステータスコードの無駄、AI対検索の内訳を確認します。
クローラーのユーザーエージェントを偽装するスプーファーを報告し、nginx、Apache、IIS／W3C、JSONログをブラウザー内で解析します。アップロードは行いません。
機能
- ボット・セクション別のクロールバジェット
- ステータスコードの無駄と応答内訳
- AIクローラーと検索クローラーの比較
- クローラー偽装のスプーファーレポート
仕組み
ログ形式を判定し、タイムスタンプ、URL、ステータス、ユーザーエージェント、任意のIPを正規化します。クローラー種別とセクションで集計し、無駄なステータス、AI対検索の比率、検証が必要な偽装候補を分けて表示します。
制限事項
- 結果は入力ログの形式、期間、サンプリング、ユーザーエージェントに依存します。IPや逆引きの証拠がない場合、ボットの身元を保証できません。
- 解析はログの観測事実を要約するもので、検索順位、クロールの将来、サイト全体のセキュリティを保証しません。
よくある質問
ログファイルはどこかへアップロードされますか？
いいえ。解析は Web Worker を通じて完全にブラウザー内で実行されます。ファイルはディスクから読み込まれ、ローカルで分割してストリーミングされるため、サーバーへ送信されることはありません。唯一の例外は、偽装者レポートで任意に行う IP 別スポットチェックです。この場合、ログではなく 1 件の IP アドレスを検証 API へ送り、正引き確認済みの逆引き DNS と ASN の照会を行います。タブを閉じると、解析済みデータはすべて消去されます。
どのログ形式に対応していますか？
形式は自動検出されます。nginx と Apache の combined/common 形式、IIS / W3C Extended、Cloudflare Logpush を含む JSON ログを読み取れます。複数ファイルを一度に追加でき、大きなログは分割してストリーミングされるため、数 GB のアクセスログでもタブが固まりません。
本物のクローラーと偽装クローラーをどのように区別しますか？
各リクエストをユーザーエージェントから既知のクローラーへ照合し、送信元 IP を運営者が公開する IP 範囲と比較します。これは Googlebot 検証ツールが使用する、毎週更新される一覧と同じです。たとえば Google の範囲外の IP から Googlebot のユーザーエージェントを送ったリクエストは、偽装の可能性ありと表示されます。ByteDance の Bytespider など、範囲を公開していない運営者もあるため、そのアクセスは偽装ではなく検証不能とされます。
無駄なクロールバジェットと見なされるものは何ですか？
有用な 304（未変更）の再検証を除くリダイレクト、404 や 410 などの 4xx エラー、または 5xx サーバーエラーを受け取ったクローラーリクエストです。ツールはボット別、セクション別、個別 URL 別に無駄を集計するため、効果の大きい修正箇所を確認できます。
robots.txt で偽装クローラーをブロックできますか？
いいえ。偽装者は robots.txt を無視するためにクローラーのユーザーエージェントを名乗るので、Disallow 行は効果がありません。代わりにエッジまたはファイアウォールで IP か ASN 単位でブロックしてください。robots.txt は、クロールさせたくないセクションで予算を浪費する本物のクローラーに適しており、推奨事項パネルはその用途のコピー可能な Disallow 行を生成します。
よくある問題と修正方法
- 警告 クローラーの申告が運営元の公開IP範囲外です 修正: このクローラーを未検証として扱い、IPが運営元の公開範囲と一致するまでブロックまたは調査してください。
- 警告 クローラーが有用でないURLにリクエストを費やしています 修正: 価値の低いパラメータ、フィルター、検索、重複URLをクロール拒否または正規化し、クローラーが優先すべきURLへのリンクを強化してください。
- 警告 クローラーがエラー応答を繰り返し受信しています 修正: 4xx／5xxを返す、最もリクエストの多いクローラーURLを修正またはリダイレクトし、残すべきでないURLへの内部リンクを削除してください。
- 要確認 クローラーが過剰なリダイレクトに遭遇しています 修正: 内部リンクとサイトマップ項目を最終URLへ直接向け、リダイレクトチェーンを1回に短縮してください。
- 要確認 クローラーが想定URLセット外のURLにアクセスしています 修正: クローラーが発見したURLを正規の内部リンクとサイトマップに追加するか、意図しないURLであればリダイレクトまたは削除してください。
- 要確認 想定される重要URLにクローラーのアクセスがありません 修正: 想定URLへのクロール可能な内部リンクと正規のサイトマップ項目を追加し、robotsと認証の障壁を確認してください。
- 警告 クローラーの活動が大幅に減少しています 修正: 減少した日付をrobots、ステータス、サイトマップ、デプロイ、サーバー容量の変更と照合し、影響を受けたクロール経路を復旧してください。
- 要確認 クローラーの活動が大幅に急増しています 修正: 急増の原因となるURLパターンを特定し、新たに露出したパラメータ、トラップ、リダイレクト、重複クロール経路を抑制してください。
- 要確認 クローラーへの応答時間が遅くなっています 修正: 最も遅いクローラー向けエンドポイントをキャッシュまたは最適化し、新しいクロールを要求する前にオリジンの遅延を減らしてください。