Ngôn ngữ

Log File phân tích

Cách đọc máy chủ của bạn thô access logs để see chính xác điều gì Googlebot, Bingbot, và AI các crawler thực ra fetched — verifying real bots, finding crawl waste và orphans, và vì sao logs là đó ground truth đó crawl tools và Search Console chỉ approximate.

Xuất bản lần đầu: 22 thg 6, 2026 · Cập nhật lần cuối: 8 thg 8, 2026 · Advanced
Ngôn ngữ
AIĐược viết bởiAI v2
1 tín hiệu bằng chứng trên trang này

Log file analysis là reading máy chủ của bạn thô access logs — đó unsampled, ground-truth record of mỗi yêu cầu đó máy chủ đã nhận — để see chính xác mà URLs Googlebot, Bingbot, và AI các crawler thực ra fetched, cách thường, và với điều gì mã trạng thái. Đó non-negotiable đầu tiên step là verifying đó bots là real (reverse + forward DNS, hoặc Google published IP ranges), vì người dùng agents là spoofed all đó time. Thì bạn tìm crawl waste, hầu hết/least-được crawl URLs, các mã trạng thái by frequency, orphan các trang, và đó mobile-so với-desktop split. Logs complement GSC Crawl Số liệu; they không replace điều này. Hầu hết nhỏ các trang không cần này — đây là một lớn-site, ecommerce, và migration tool.

TL;DR — Logs là đó unsampled ground truth cho crawling: mỗi yêu cầu, mỗi bot, mỗi mã trạng thái. Đó non-negotiable đầu tiên step là verifying Googlebot/Bingbot qua reverse + forward DNS (hoặc Google published IP-range JSON) — người dùng agents là spoofed constantly, và bạn làm all crawl math on đó verified set chỉ. Thì đọc đó logs cho hầu hết/least-được crawl URLs và sections, crawl frequency theo thời gian, các mã trạng thái prioritized by frequency, crawl waste (params, facets, internal tìm kiếm, infinite pagination), orphan và uncrawled các trang (cross-referenced so với một crawl), và đó mobile-so với-desktop Googlebot split. Bing publishes không chính thức IP ranges, so DNS để *.search.msn.com là đó phương thức ở đó. Logs complement GSC Crawl Số liệu — they không replace điều này. Và trong 2026, AI bots là hiện tại một huge share of điều gì cho thấy lên.

Evidence for this claim Web-server access logs record HTTP requests and commonly include request, response-status, user-agent, and timing fields depending on configuration. Scope: Apache HTTP Server access-log behavior; other servers vary by configuration. Confidence: high · Verified: Apache HTTP Server: Log Files Evidence for this claim User-agent text alone does not authenticate Googlebot; Google recommends DNS verification or matching published IP ranges. Scope: Google crawler verification, applicable when classifying log traffic. Confidence: high · Verified: Google Search Central: Verify Googlebot

Vì sao logs là đó ground truth

Có three ways để “see” cách các công cụ tìm kiếm crawl bạn, và they không phải equal:

  • MỘT crawl tool (Screaming Frog SEO Spider, Ahrefs Site Audit) simulates một crawl. Điều này tells bạn điều gì một bot có thể tìm, không điều gì Google đã làm fetch.
  • GSC Crawl Số liệu summarizes đó real điều, nhưng đây là sampled, được tổng hợp, và capped (khoảng 1 000 các hàng, ~90 days, không theo-URL export).
  • Máy chủ logs record đó real điều — mỗi yêu cầu, cho mỗi bot, với đó chính xác URL, timestamp, và mã trạng thái.

Đó Ahrefs log-file hướng dẫn I reviewed diễn đạt điều này plainly: máy chủ logs là “the most trustworthy source of information to understand the URLs that search engines have crawled.” (bản dịch) «đó hầu hết trustworthy nguồn of information để understand đó URLs đó các công cụ tìm kiếm có được crawl.» đó là đó toàn bộ reason này technique tồn tại. Khi I muốn để know điều gì Googlebot thực ra đã làm — không điều gì điều này có thể làm, không một rounded summary — I go để đó logs.

MỘT typical log line carries đó IP address, người dùng agent, URL path, timestamp, phương thức yêu cầu (GET/POST), và HTTP mã trạng thái. Mọi thứ dưới là chỉ slicing những các trường intelligently.

Khi bạn thực ra cần điều này (và khi bạn không)

Là honest với yourself ở đây. Log file analysis là một lớn-site tool. Điều này earns của nó giữ on các trang với tens of thousands of URLs, ecommerce và faceted navigation, các trang mid-migration, và các trang stuck trong Discovered – currently not indexed. As I wrote trong my ngân sách crawl hướng dẫn, “Most sites don’t need to worry about crawl budget, but there are few cases where you may want to take a look.” (bản dịch) «Hầu hết các trang không cần để worry về ngân sách crawl, nhưng có một vài cases nơi bạn có thể muốn để take một look.» Daniel Waisberg of Google có đã làm một similar point về Crawl Số liệu — theo Công cụ tìm kiếm Journal coverage, đó báo cáo không nhiều of một concern cho các trang dưới ~1 000 các trang.

Nếu của bạn một vài-hundred-trang site là đang được crawl fine, skip này và go cách sửa điều gì đó với hơn leverage.

Cách nhận của bạn logs (đó hardest part là access)

Logs trực tiếp wherever đó yêu cầu thực ra terminated:

  • Apache & Nginx → đó Apache “combined” log format (đó hầu hết phổ biến).
  • Microsoft IIS → W3C format.
  • AWS ELB/ALB → ELB format.
  • CDNs (Cloudflare, Fastly, Akamai) → của họ own log exports. Này matters: tại một CDN-fronted site, an origin-chỉ log misses edge-được lưu đệm hits, so pull logs tại đó layer đó bot thực ra reached.

Aim cho 30 days minimum, 90 ideal, để capture crawl-frequency biến động. Và plan cho friction — getting access để máy chủ logs là thường đó genuinely hard part (DevOps gatekeeping). Ngay cả Googlers, trong một migration episode of Tìm kiếm Off đó Record, flagged cách hard log files có thể là để obtain trong thực tế. Budget time cho đó yêu cầu.

Logs không chỉ bot traffic — they capture mỗi yêu cầu, including real khách truy cập, và có thể carry query-string các giá trị, session identifiers, hoặc other sensitive dữ liệu alongside đó URL path. OWASP logging hướng dẫn là blunt về này: authentication credentials, access tokens, và personally identifiable information generally không nên land trực tiếp trong một log; they nên là đã xóa, masked, hoặc hashed đầu tiên. Xây dựng đó vào của bạn access controls và export xử lý trước khi bạn hand một log file để anyone cho analysis, không sau.

Step 1 — Verify đó bots là real (làm này trước bất cứ điều gì khác)

Này là đó step hầu hết các hướng dẫn wave tại trong một line. Không. Nhiều bots pretend để là Googlebot để nhận past firewalls (Ahrefs). Người dùng agent là unauthenticated text; treat mỗi “Googlebot” line as một claim để là proven.

Googlebot — hai hợp lệ các phương thức:

  1. Reverse + forward DNS (đó bidirectional kiểm tra). Google own steps: chạy một reverse DNS lookup on đó IP từ của bạn logs với đó host command; verify đó domain là googlebot.com, google.com, hoặc googleusercontent.com; thì chạy một forward DNS lookup on đó hostname và verify điều này resolves lại để đó original IP. Đó forward step là điều gì làm này trustworthy — một spoofer có thể point reverse DNS tại một *.googlebot.com name, nhưng chỉ đó round-trip lại để đó giống nhau IP proves điều này. (Commands cho macOS/Linux và Windows là trong đó Scripts tab.)
  2. Match so với Google published IP ranges. Google publishes JSON files of của nó crawler IPs trong CIDR format — common-crawlers.json cho Googlebot và friends, plus special-crawlers.json, người dùng-triggered-fetcher files, và an all-Google goog.json. As I noted trong my Googlebot hướng dẫn, Google “provided a list of public IPs you can use to verify the requests are from Google… You can compare this to the data in your server logs.” (bản dịch) «provided một list of công khai IPs bạn có thể dùng để verify đó các yêu cầu là từ Google… Bạn có thể so sánh này để đó dữ liệu trong máy chủ của bạn logs.»

Bingbot — DNS chỉ. Này là đó key contrast: Bing không officially publish IP ranges. Bing own wording là đó “…like other search engines, Bing does not publish a list of IP addresses or ranges from which we crawl the Internet,” (bản dịch) «…như other các công cụ tìm kiếm, Bing không publish một list of IP addresses hoặc ranges từ mà we crawl đó Internet,» vì “the IP addresses or ranges we use can change any time.” (bản dịch) «đó IP addresses hoặc ranges we dùng có thể thay đổi bất kỳ time.» So cho Bingbot bạn làm reverse + forward DNS để một hostname ending trong *.search.msn.com (e.g. msnbot-157-55-33-18.search.msn.com), hoặc dùng đó Verify Bingbot tool. (Microsoft có since đã phát hành một bingbot IP JSON, nhưng của nó chính thức verification hướng dẫn vẫn centers on DNS precisely vì IPs thay đổi.)

Thì throw out đó fakes. Làm all of của bạn crawl math on đó verified set chỉ. Unverified “Googlebot” là gần như luôn một scraper hoặc một spoofed bot và belongs trong một security review, không của bạn crawl-waste analysis.

Step 2 — Điều cần tìm

Khi bạn là hoạt động với verified hits, ở đây đó đọc:

  • Hầu hết & least được crawl URLs và sections. Xếp hạng các yêu cầu by URL và by directory. Này là nơi của bạn ngân sách crawl là thực ra going — và đây là thường surprising.
  • Crawl frequency theo thời gian. Trend crawl by URL/section để catch drops (một migration broke điều gì đó) hoặc spikes (một new section, hoặc một spider trap spinning lên infinite URLs).
  • Các mã trạng thái bots hit, prioritized by frequency. Quantify 200 so với. 301/302 (và chains), 404, và 5xx. MỘT 404 hit 5 000×/week là một khác nhau vấn đề hơn một 404 hit khi — cách sửa by crawl frequency, không by mere existence.
  • Crawl waste. Faceted nav, URL parameters, internal kết quả tìm kiếm, và infinite calendars/pagination có thể eat một lớn share of ngân sách crawl on bad offenders. Logs cho thấy chính xác mà junk patterns đó bots là burning time on.
  • Orphan & uncrawled các trang. Này cần cả hai datasets. Cross-reference logs so với một site crawl: URLs trong đó logs nhưng không trong đó crawl = orphans, old các chuyển hướng, hoặc externally-linked các trang; URLs trong đó crawl nhưng không trong đó logs = các trang Google có không bao giờ fetched.
  • Mobile so với. desktop Googlebot. Split by người dùng agent. Post mobile-đầu tiên, điều này nên là majority Googlebot Smartphone — một desktop-nặng split là worth một look.
  • Thời gian phản hồi & crawl health. Rising average thời gian phản hồi correlates với reduced crawling. Theo SEJ ghi-lên of Waisberg hướng dẫn: “Watch out for a consistent increase in average response time. Google says it might not affect crawl rate immediately, but it’s a good indicator that your servers might not be handling all the load.” (bản dịch) «Watch out cho một consistent increase trong average thời gian phản hồi. Google says điều này có thể không ảnh hưởng tốc độ crawl immediately, nhưng đây là một good indicator đó của bạn các máy chủ có thể không là xử lý all đó load.»

Điều gì logs không tell bạn

Giữ những straight hoặc bạn’ll over-đọc đó dữ liệu:

  • Crawl ≠ chỉ mục. MỘT URL Googlebot fetches daily có thể stay unindexed indefinitely. Logs prove fetching, không chỉ mục status — pair them với GSC Trang Lập chỉ mục / URL Inspection để learn đó chỉ mục side.
  • Crawl ≠ xếp hạng, và hơn crawling không help. As I’ve đã nói repeatedly, “The rate of crawling isn’t going to impact your rankings.” (bản dịch) «Đó rate of crawling không going để impact của bạn thứ hạng.» không chase crawl volume as nếu điều này đã là một xếp hạng lever.
  • noindex không reduce crawling. noindex controls indexation, không crawling — để thực ra dừng đó crawl bạn dùng robots.txt hoặc một mã trạng thái.
  • Crawl ≠ model training hoặc citation. MỘT verified hit từ GPTBot, ClaudeBot, hoặc PerplexityBot proves đó yêu cầu happened — một fetch tại đó layer. Điều này không prove đó trang đã là được dùng để train một model, retained anywhere downstream, hoặc cited trong một chat câu trả lời. Những là tách biệt, unobserved outcomes; không stretch một verified log line further hơn điều này goes.

Đó 2026 wrinkle: AI bots là all over của bạn logs hiện tại

Đó cast of characters trong một modern log file có changed. Trong my analysis of Cloudflare Radar dữ liệu (Đáp ứng đó New Web Các crawler), tìm kiếm-engine bots vẫn crawl đó hầu hết — nhưng AI bots là firmly trong second place và on track để overtake them trong một couple of năm. GPTBot, ClaudeBot, PerplexityBot, và friends hiện tại cho thấy lên heavily. Khi bạn segment của bạn verified hits by người dùng agent, không là surprised để tìm AI các crawler rivaling đó tìm kiếm engines cho share of các yêu cầu. (Screaming Frog’s Log File Analyser có đã thêm một dedicated AI-bot tutorial cho chính xác này.)

Cách này fits với đó rest of crawling

Logs là đó diagnostic layer dưới đó toàn bộ crawling cluster. họ là cách bạn thực ra đo lường đó ngân sách crawl spend đó engines mô tả trong đó abstract (Gary Illyes defines điều này as “the number of URLs Googlebot can and is willing or is instructed to crawl” (bản dịch) «đó number of URLs Googlebot có thể và là willing hoặc là instructed để crawl»). họ là cũng cách bạn catch spider traps red-handed — an infinite URL space từ một calendar hoặc facet cho thấy lên as một flood of near-giống hệt các yêu cầu — và cách bạn xác nhận liệu của bạn crawl frequency hoạt động (chính xác lastmod, liên kết nội bộ để quan trọng các trang) thực ra changed bot behavior. Và remember they complement, không replace, GSC Crawl Số liệu: Crawl Số liệu là đó sampled on-ramp; logs là đó unsampled, multi-bot, theo-URL detail.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.