Crawl Số liệu Báo cáo

Tóm tắt — Crawl Số liệu báo cáo hiển thị Cách Google có là crawling của bạn trang web over cuối cùng 90 days — Cách nhiều times nó asked Đối với các trang, Cách nhiều nó downloaded, và Cách fast của bạn máy chủ responded. bạn tìm nó under Settings trong Google Search Console, và nó là khả dụng cho root-level property rather hơn path-scoped property. cho phần lớn các trang nó health kiểm tra, không điều gì đó bạn cần optimize.

Điều gì Crawl Số liệu báo cáo là

Khi Google crawler — Googlebot — visits của bạn trang web, mỗi yêu cầu nó làm nhận logged on Google side. Crawl Số liệu báo cáo là nơi Google hiển thị bạn summary của đó activity: Cách thường nó came by, Điều gì nó downloaded, và liệu nó ran vào các vấn đề.

bạn’ll tìm nó trong Google Search Console under Settings → Crawl số liệu (nó không trong main sidebar với khác các báo cáo). nó covers roughly cuối cùng 90 days.

nơi để tìm nó (và Vì sao bạn có thể không see nó)

phần lớn phổ biến reason mọi người có thể’t tìm báo cáo là đơn giản: nó chỉ hiển thị up cho root-level properties. đó covers domain property (chỉ domain, không https:// prefix) và URL-prefix property verified tại trang web root (như https://example.com). nếu bạn đã thêm URL-prefix property pointing tại subfolder hoặc subpath, bạn sẽ không nhận báo cáo.

khắc phục là để verify root-level property — domain hoặc root URL-prefix. giống nhau trang web, khác property loại — và báo cáo xuất hiện.

three numbers up top

• Total các yêu cầu crawl — Cách nhiều times Googlebot asked cho URL on của bạn trang web, liệu nó succeeded hoặc không.
• Total download size — Cách nhiều bytes Google downloaded trong khi crawling.
• Average phản hồi time — Cách dài, on average, của bạn máy chủ took để respond.

những điều này là trends để watch, không targets để hit. có không “right” number. Điều gì matters là shape của line theo thời gian.

nên bạn even worry về điều này?

Probably không, honestly. có một lot of anxiety khoảng “crawl budget,” (bản dịch) «ngân sách crawl,» nhưng hầu hết các trang không bao giờ cần to think về điều này. Đó báo cáo là far hơn hữu ích as an sớm-warning hệ thống cho máy chủ các vấn đề hơn as một dashboard to optimize.

điều để watch cho là của bạn máy chủ struggling. nếu của bạn average phản hồi time climbs hoặc bạn bắt đầu seeing máy chủ các lỗi, Google notices và crawl bạn ít hơn để tránh đang làm điều tệ hơn. So nếu các trang suddenly không phải getting picked up, điều này báo cáo là một của đầu tiên places I’d look.

có cũng Host status summary ở đây đó flags liệu Google có trouble reaching của bạn trang web tại all (fetching robots.txt, DNS, connecting để máy chủ). đó phần lớn quan trọng block — nếu nó red, khắc phục đó đầu tiên.

Muốn đầy đủ chỉ số-by-chỉ số breakdown và Điều gì mỗi pattern có nghĩ là? Switch để Nâng cao tab.

Tóm tắt — Crawl Số liệu (Settings → Crawl số liệu, root-level properties chỉ — Domain hoặc root URL-prefix) các báo cáo total các yêu cầu crawl, total download size, và average phản hồi time over ~90 days, plus breakdowns by phản hồi, file loại, Googlebot loại, và purpose (Discovery so với Refresh). đọc nó as máy chủ-health monitor, không crawl-budget vanity dashboard: rising phản hồi time hoặc 5xx làm Google reduce crawl capacity, và sustained robots.txt thất bại có thể halt crawling. nó closest GSC nhận để log dữ liệu, nhưng nó covers Google các crawler chỉ và không phải guaranteed để là yêu cầu-hoàn tất — cho all bots, người dùng, và hoàn tất record bạn vẫn cần máy chủ nhật ký. Google scopes của nó own crawl-budget hướng dẫn để lớn, frequently-thay đổi các trang; cho phần lớn nhỏ hơn các trang, trong my experience, nó gần như không bao giờ matters.

Điều gì nó là và nơi nó lives

Google own framing là trực tiếp: “The Crawl Stats report shows you statistics about Google’s crawling history on your website.” (bản dịch) «Đó Crawl Số liệu báo cáo cho thấy bạn statistics về Google crawling history on của bạn website.» Bạn nhận to điều này under Settings → Crawl số liệu — không trong đó main báo cáo sidebar, mà trips một lot of mọi người up.

Đó single biggest reason mọi người think đó báo cáo là “missing” hoặc “hỏng”: Google chỉ cho thấy điều này cho root-level properties. Trong của họ words, “This report is available only for root-level properties.” (bản dịch) «Này báo cáo là khả dụng chỉ cho root-level properties.» Đó covers cả hai một Domain property và một URL-prefix property verified tại đó site root (ví dụ, https:// example.com) — điều này không limited to giao thức-ít hơn Domain properties. Nếu bạn verified một URL-prefix property scoped to một subfolder hoặc subpath, re-verify tại đó root level và điều này xuất hiện. có không có gì wrong với trang web của bạn.

nên bạn care? crawl-budget reframe

phần lớn các trang không cần để optimize ngân sách crawl, và báo cáo thực giá trị là health monitoring thay vì budget tuning. Google scopes của nó own crawl-budget hướng dẫn để lớn các trang (1M+ unique các trang) và medium-hoặc-lớn hơn các trang (10k+ các trang với daily thay đổi). Dưới đó, Đây là diagnostic, không project.

Google cũng frames báo cáo itself as được xây dựng cho Nâng cao người dùng, và nói các trang under roughly 1 000 các trang generally không cần để dig vào nó tại điều này granularity — nhỏ hơn threshold hơn crawl-budget hướng dẫn trên. My own rule của thumb là looser: cho phần lớn các trang under về 10 000 các trang, I vẫn sẽ không spend nhiều time on ngân sách crawl. Treat đó as practitioner judgment, không chính thức cutoff.

Tốc độ crawl là governed by hai điều hoạt động together — crawl capacity limit và crawl demand. Capacity là điều gì máy chủ của bạn có thể xử lý. Google defines đó capacity limit as “The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (bản dịch) «Đó maximum number of simultaneous parallel connections đó Google có thể dùng to crawl một site, cũng như đó time delay giữa fetches.» Demand là cách nhiều Google wants to crawl, driven by factors như popularity và staleness. Đó báo cáo là nơi đó consequences of cả hai cho thấy up. (Hơn on đó concept trong ngân sách crawl.)

một vài phạm vi details worth knowing trước khi bạn đọc numbers: báo cáo được tính thực tế URL Googlebot requested thay vì canonical nó resolves để, và nó được tính duplicate các yêu cầu và mỗi máy chủ-side chuyển hướng hop riêng (client-side các chuyển hướng không phải counted as chuyển hướng các phản hồi ở đây). nó scoped để property hoặc host bạn’re viewing — các tài nguyên on khác domains, và đôi khi sibling hoặc child domains, có thể là under- hoặc over-represented depending on property loại. và theo Google own tài liệu, báo cáo reflects phần lớn các yêu cầu crawl nhưng có thể omit some, so nhỏ mismatch so với của bạn own máy chủ nhật ký là dự kiến, không bug.

Đây là closest điều Search Console cho bạn để log-file dữ liệu — nhưng nó Google các crawler chỉ, aggregated, và không guaranteed để là yêu cầu-hoàn tất. nếu bạn muốn hits từ all bots và người dùng, hoặc guaranteed hoàn tất record, bạn cần của bạn máy chủ nhật ký. Treat Crawl Số liệu as free đầu tiên look trước khi bạn invest trong log analysis.

three top-line các chỉ số

đọc những điều này as trends, không targets:

• Total các yêu cầu crawl — “The total number of crawl requests issued for URLs on your site, whether successful or not.” (bản dịch) «Đó total number of các yêu cầu crawl issued cho URLs trên trang web của bạn, liệu successful hoặc không.» Mỗi yêu cầu được tính, including đó ones đó errored.
• Total download size — “Total number of bytes downloaded from your site during crawling, for the specified time period.” (bản dịch) «Total number of bytes downloaded từ trang web của bạn during crawling, cho đó specified time period.»
• Average thời gian phản hồi — “Average response time for all resources fetched from your site during the specified time period.” (bản dịch) «Average thời gian phản hồi cho all các tài nguyên fetched từ trang web của bạn during đó specified time period.» Này là effectively một máy chủ-health proxy. MỘT sustained spike là một performance alarm, và Google có thể respond by dropping của bạn crawl capacity limit — so đó SEO harm là gián tiếp (chậm hơn, ít hơn crawling), tách biệt từ any trang-speed xếp hạng factor.

Breakdown: By phản hồi

Này bảng, trong Google words, cho thấy “the responses that Google received when crawling your site, grouped by response type, as a percentage of all crawl responses.” (bản dịch) «đó các phản hồi đó Google đã nhận khi crawling trang web của bạn, grouped by phản hồi loại, as một percentage of all crawl các phản hồi.» Đó phản hồi types bao gồm OK (200), Đã chuyển vĩnh viễn (301), Moved temporarily (302), Không tìm thấy (404), Máy chủ lỗi (5XX), và robots.txt không khả dụng.

Cách I đọc mỗi pattern:

• 200 nên là lớn majority. Google không publish cụ thể đích percentage, so judge điều này so với của bạn own baseline và watch cho sustained shifts thay vì chasing chính xác number.
• Lots của 404s không phải fatal nhưng các tín hiệu wasted crawl — Google spending các yêu cầu on các URL đó không exist.
• Lots của 301s points tại chuyển hướng chains hoặc liên kết nội bộ vẫn aimed tại old các URL. khắc phục links để point tại cuối đích.
• ** 5xx spike** là phần lớn damaging pattern trong báo cáo. của bạn máy chủ là erroring under crawl load, mà drops capacity limit, mà có nghĩ là ít hơn crawling. Sustained 5xx có thể effectively throttle Google để crawl.
• robots.txt không khả dụng không nên hiển thị up trong bất kỳ sustained, có ý nghĩa way. Google không publish fixed đích percentage, nhưng persistent share có nghĩ là Google periodically không thể fetch của bạn robots.txt. đó matters vì nếu của bạn robots.txt vẫn giữ không khả dụng, Google sẽ conservatively pause crawling cho trong khi thay vì guess. (cho Điều gì robots.txt làm và không control, see robots.txt.)

Breakdown: By file loại

Google groups crawling by file loại — HTML, image, JavaScript, CSS, JSON, PDF, và others. Đây là diagnostic lead, không proof của waste on của nó own — Cách nhiều JS, CSS, image, hoặc JSON crawling là thông thường phụ thuộc vào Cách của bạn trang web là được xây dựng ( JS-nặng app legitimately cần nhiều hơn tài nguyên crawling hơn static HTML trang web). JS/CSS/image share đó cao relative để của bạn own baseline, hoặc đó jumps suddenly, là worth investigating as có thể render-tài nguyên overhead. Unexpected file types cho thấy up có thể reveal crawl trap — infinite hoặc near-infinite URL space generating junk.

Breakdown: By Googlebot loại

điều này splits crawling by mà Googlebot đã làm fetching — smartphone, desktop, image, video, trang tài nguyên load, và AdsBot. Google không document bắt buộc mix, nhưng trong mobile-đầu tiên crawl, Smartphone typically leads cho phần lớn các trang. desktop-nặng profile, hoặc unexpected volume từ Image hoặc AdsBot, là lead worth investigating thay vì violation by itself — nó có thể có nghĩa là Google không phải treating của bạn trang web as mobile-đầu tiên, đó quảng cáo/image crawling là eating vào budget bạn’d rather spend on nội dung, hoặc chỉ đó của bạn trang web có unusual tài nguyên cần.

Breakdown: By purpose — Discovery so với Refresh

Hai categories, và Google defines them chỉ by prior crawl history — labels alone không tell bạn liệu mix là healthy:

• Discovery — “The URL requested was never crawled by Google before.” (bản dịch) «Đó URL requested đã là không bao giờ được crawl by Google trước.»
• Refresh — “A recrawl of a known page.” (bản dịch) «MỘT recrawl of một known trang.»

rise trong Discovery là dự kiến during launch hoặc migration (Google là finding của bạn new các URL); giống nhau rise là vấn đề nếu nó coming từ infinite-space hoặc parameter các URL — đó ngân sách crawl going để garbage. Refresh-nặng mix là thông thường cho established trang web đó không phải xuất bản nhiều new nội dung. Judge either so với của bạn own baseline và Điều gì bạn know changed, không so với fixed “healthy” ratio.

Host status — phần lớn actionable block

Host status summarizes liệu Google hit availability các vấn đề trying để crawl bạn, grouped vào three sub-kiểm tra: robots.txt fetch, DNS resolution, và máy chủ connectivity. red host status là một của phần lớn actionable các tín hiệu trong báo cáo — nó thường có nghĩ là Google là blocked hoặc throttled tại infrastructure level, trước khi nó bao giờ đã nhận để của bạn nội dung, during đó window. nó aggregate alert, though, không proof đó mỗi URL là affected hoặc đó vấn đề là vẫn happening hiện tại — kiểm tra timeline và xác nhận hiện tại status ( trực tiếp fetch, URL Inspection, hoặc của bạn nhật ký) trước khi bạn cân nhắc nó fixed. vẫn, treat red host status as đầu tiên điều để investigate. (Covered trong của nó own right under Host status.)

Reading spikes và drops

mechanism để internalize: của bạn máy chủ behavior feeds back vào Cách nhiều Google crawl. nếu trang web responds quickly và reliably, Google capacity limit có thể rise; nếu nó làm chậm xuống hoặc bắt đầu returning máy chủ các lỗi, limit drops. So:

• phản hồi-time spike → capacity limit có thể drop → ít hơn crawling.
• 5xx surge → capacity limit drops → ít hơn crawling; sustained, nó có thể throttle bạn hard.
• robots.txt không khả dụng → nếu nó vẫn giữ không khả dụng, Google pauses crawling conservatively.

None của Đây là xếp hạng penalty. damage là gián tiếp: nếu các trang không phải được crawl và được lập chỉ mục, họ có thể’t xếp hạng tại all — nhưng extra crawling không lift thứ hạng either. (See ngân sách crawl concept cho đầy đủ capacity-plus-demand model.)

Crawl Số liệu so với máy chủ nhật ký

Crawl Số liệu là closest GSC nhận để nhật ký, nhưng gaps quan trọng:

nếu bạn outgrow Crawl Số liệu — bạn cần theo-URL dữ liệu, non-Google bots, hoặc lâu hơn history — đó Khi bạn graduate để log file analysis. Crawl Số liệu tells bạn điều gì đó off; nhật ký tell bạn chính xác nơi.

Cách điều này relates để rest của crawling

Crawl Số liệu báo cáo là của bạn view vào crawling sau khi fact. cho lập chỉ mục side của Điều gì happens tiếp theo, trang lập chỉ mục báo cáo là companion — Crawl Số liệu hiển thị Điều gì Google fetched; trang lập chỉ mục hiển thị Điều gì đã làm nó vào chỉ mục. và Host status, surfaced bên trong điều này báo cáo, là infrastructure-level tín hiệu worth leading với.

AI summary

condensed take on Nâng cao version:

• nơi nó là: Search Console → Settings → Crawl số liệu. Covers ~90 days. chỉ khả dụng cho root-level properties — Domain property hoặc URL-prefix property verified tại trang web root — Đó là lý làm nó “missing” cho URL-prefix subfolders.
• Three top-line các chỉ số: total các yêu cầu crawl, total download size, average phản hồi time. đọc them as trends, không targets.
• Four breakdowns: By phản hồi (200/301/404/5xx/robots.txt không khả dụng), By file loại (HTML/JS/CSS/image/PDF…), By Googlebot loại (smartphone/desktop/image/video/AdsBot), By purpose (Discovery so với Refresh).
• nó máy chủ-health monitor, không budget dashboard. Rising phản hồi time hoặc 5xx làm Google drop của nó crawl capacity limit và crawl ít hơn; sustained robots.txt unavailability có thể pause crawling.
• Host status (robots.txt fetch, DNS, máy chủ connectivity) là phần lớn actionable block — khắc phục red host status đầu tiên.
• Crawl ≠ xếp hạng: nhiều hơn crawling không lift thứ hạng, nhưng uncrawled các trang có thể’t xếp hạng tại all.
• Closest GSC nhận để nhật ký, nhưng nó Google-chỉ, aggregated, và không guaranteed yêu cầu-hoàn tất — cho all bots/người dùng và theo-URL detail, sử dụng máy chủ nhật ký.
• Google scopes chính thức crawl-budget hướng dẫn để lớn, frequently-thay đổi các trang (và even flags báo cáo itself as unnecessary detail cho các trang under ~1 000 các trang). Practitioner rule của thumb: phần lớn các trang well under 10k các trang không cần để optimize ngân sách crawl — nhưng đó judgment, không chính thức cutoff.

Tài liệu chính thức

Chính-nguồn tài liệu từ Google.

Google

• Crawl Số liệu báo cáo — Search Console Help trang cho điều này báo cáo: các chỉ số, breakdowns, host status, và root-level-property requirement.
• Optimize của bạn ngân sách crawl — crawl capacity limit + crawl demand, và ai thực ra cần để manage budget.
• Crawling và lập chỉ mục — rộng hơn hub cho robots, sitemaps, và crawl controls.

Quotes từ nguồn

On—record statements từ Google. mỗi link là deep link đó jumps để quoted passage on nguồn trang.

Google — Điều gì báo cáo hiển thị

• “The Crawl Stats report shows you statistics about Google’s crawling history on your website.” (bản dịch) «Đó Crawl Số liệu báo cáo cho thấy bạn statistics về Google crawling history on của bạn website.» — Google Search Console Help. Jump to quote
• “This report is available only for root-level properties.” (bản dịch) «Này báo cáo là khả dụng chỉ cho root-level properties.» Jump to quote

Google — three các chỉ số

• “The total number of crawl requests issued for URLs on your site, whether successful or not.” (bản dịch) «Đó total number of các yêu cầu crawl issued cho URLs trên trang web của bạn, liệu successful hoặc không.» Jump to quote
• “Total number of bytes downloaded from your site during crawling, for the specified time period.” (bản dịch) «Total number of bytes downloaded từ trang web của bạn during crawling, cho đó specified time period.» Jump to quote
• “Average response time for all resources fetched from your site during the specified time period.” (bản dịch) «Average thời gian phản hồi cho all các tài nguyên fetched từ trang web của bạn during đó specified time period.» Jump to quote

Google — breakdowns

• “This table shows the responses that Google received when crawling your site, grouped by response type, as a percentage of all crawl responses.” (bản dịch) «Này bảng cho thấy đó các phản hồi đó Google đã nhận khi crawling trang web của bạn, grouped by phản hồi loại, as một percentage of all crawl các phản hồi.» Jump to quote
• “Discovery: The URL requested was never crawled by Google before.” (bản dịch) «Discovery: Đó URL requested đã là không bao giờ được crawl by Google trước.» Jump to quote
• “Refresh: A recrawl of a known page.” (bản dịch) «Refresh: MỘT recrawl of một known trang.» Jump to quote

Google — crawl capacity ( budget mechanism behind numbers)

• Crawl capacity limit: “The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (bản dịch) «Đó maximum number of simultaneous parallel connections đó Google có thể dùng to crawl một site, cũng như đó time delay giữa fetches.» — Google Search Central, lớn-site ngân sách crawl hướng dẫn. Jump to quote

Reading Crawl Số liệu báo cáo — checklist

nhanh truyền để nhận tín hiệu out của báo cáo:

• bạn’re on domain (root-level) property — nếu không báo cáo sẽ không hiển thị.
• Host status là green (robots.txt fetch, DNS, máy chủ connectivity all OK). khắc phục bất kỳ red ở đây đầu tiên.
• Average phản hồi time là ổn định, không trending up.
• By phản hồi là lớn majority 200; 5xx và robots.txt-không khả dụng hiển thị không sustained, có ý nghĩa share (Google publishes không fixed đích — watch của bạn own trend).
• Không surprise volume của 404s (wasted crawl) hoặc 301s (chuyển hướng chains / stale liên kết nội bộ).
• By Googlebot loại generally leans Smartphone trong mobile-đầu tiên crawl — có không chính thức bắt buộc mix, nhưng sudden shift là worth look.
• By file loại không phải dominated by JS/CSS/image relative để của bạn own baseline, và hiển thị không surprise file types (có thể crawl trap).
• By purpose: judge Discovery so với Refresh so với của bạn own baseline và Điều gì changed (launch, migration, sitemap cập nhật) — unexplained jump either way là worth kiểm tra cho parameter/infinite-URL waste hoặc stalled recrawling.
• nếu bạn cần theo-URL detail, non-Google bots, hoặc lâu hơn history, graduate để máy chủ log analysis.

mental models

1. nó health monitor, không scoreboard. numbers là trends để watch, không targets để maximize. bạn’re looking cho shape của curve — sudden spikes và drops — không “good” absolute giá trị.

2. máy chủ feedback loop. Fast, ổn định máy chủ → capacity limit có thể rise → nhiều hơn crawling. Chậm máy chủ hoặc 5xx → capacity limit drops → ít hơn crawling. phản hồi time và lỗi rate là levers đó âm thầm govern mọi thứ khác trong báo cáo.

3. Host status đầu tiên, sau đó các phản hồi, sau đó rest. Triage trong order của leverage: red host status blocks mọi thứ → khắc phục nó. sau đó by phản hồi (5xx và robots.txt-không khả dụng là dangerous ones). chỉ sau đó worry về file-loại/Googlebot-loại/purpose nuance.

4. Crawl Số liệu so với nhật ký — graduation rule. Crawl Số liệu tells bạn điều gì đó là off (Google-chỉ, aggregated, không guaranteed hoàn tất, 90 days). máy chủ nhật ký tell bạn chính xác Điều gì (all bots/người dùng, mỗi yêu cầu, theo-URL). Bắt đầu với Crawl Số liệu; move để nhật ký Khi bạn cần precision.

5. Đó “should I care?” (bản dịch) «nên I care?» gate. Google frames đó báo cáo itself cho advanced người dùng và flags điều này as unnecessary cho các trang under ~1 000 các trang; chính thức crawl-budget hướng dẫn targets nhiều lớn hơn, frequently-thay đổi các trang. My own practitioner rule of thumb là looser — under ~10k các trang, ngân sách crawl basically không apply — nhưng treat đó as judgment, không an chính thức cutoff. Either way, dùng đó báo cáo cho máy chủ-health sớm warning, và dừng optimizing một number đó không move thứ hạng.

Crawl Số liệu báo cáo — bảng tra nhanh

nơi & phạm vi

• Settings → Crawl số liệu trong Search Console. ~90 days. Root-level properties chỉ — Domain hoặc root URL-prefix.

Three top-line các chỉ số

• Total các yêu cầu crawl — all các yêu cầu, thành công hoặc không.
• Total download size — bytes downloaded.
• Average phản hồi time — máy chủ-health proxy; sustained spike → ít hơn crawling.

By phản hồi — Điều gì mỗi pattern có nghĩ là

By file loại — HTML, Image, JavaScript, CSS, JSON, PDF, others. cao share relative để của bạn own baseline là diagnostic lead, không proof của waste; watch cho tài nguyên overhead và surprise types (crawl traps).

By Googlebot loại — Smartphone (typically leads, không chính thức bắt buộc mix), Desktop, Image, Video, trang tài nguyên load, AdsBot.

By purpose — Discovery (URL không bao giờ được crawl trước khi) so với Refresh (recrawl của known trang).

Host status — robots.txt fetch · DNS resolution · máy chủ connectivity. Red = khắc phục đầu tiên.

Fast facts

• Báo cáo “missing”? bạn’re on URL-prefix property scoped để subfolder — re-verify tại root level (Domain property hoặc root URL-prefix property).
• nhiều hơn crawling ≠ tốt hơn thứ hạng; nhưng uncrawled = unrankable.
• Closest GSC nhận để nhật ký, nhưng Google các crawler chỉ, aggregated, không guaranteed yêu cầu-hoàn tất, 90 days.

Tools cho seeing Cách Google crawl bạn

• Google Search Console — Crawl Số liệu báo cáo — subject của điều này trang: Settings → Crawl số liệu, cho root-level properties (Domain hoặc root URL-prefix).
• Google Search Console — URL Inspection — kiểm tra Cách single URL là được crawl, được kết xuất, và được lập chỉ mục.
• Google Search Console — trang lập chỉ mục báo cáo — companion view: Điều gì đã làm nó từ crawl vào chỉ mục.
• máy chủ log file analysis — ground truth, covering all bots và người dùng. Tools: Screaming Frog Log File Analyser, hoặc pipe nhật ký vào BigQuery / log nền tảng.
• Các crawler / trang web audits — Ahrefs trang web Audit và Screaming Frog SEO Spider simulate crawl và surface chuyển hướng chains, blocked các URL, và trap-như patterns.
• Ahrefs Quản trị viên web Tools — free crawl + audit cho các trang bạn verify.

Tự kiểm tra: Crawl Số liệu

SOP: Weekly crawl-health review

sử dụng điều này as ngắn recurring kiểm tra—không reason để optimize crawl volume cho của nó own sake.

1. Open đó correct property. Go to đó root-level Search Console property, thì Settings → Crawl số liệu.
2. Set context. Note deployments, migrations, outages, traffic events, và sitemap thay đổi đó overlap đó chart.
3. Kiểm tra Host status đầu tiên. Triage robots.txt fetch, DNS, hoặc máy chủ-connectivity warnings trước interpreting đó rest of đó báo cáo.
4. So sánh đó three trends. Review các yêu cầu, download size, và thời gian phản hồi so với đó property own prior weeks—không một generic benchmark.
5. Open “By response.” (bản dịch) «By phản hồi.» Investigate sustained 5xx, robots.txt unavailability, chuyển hướng growth, và newly rising 404 patterns.
6. Review đó mix. Xem file loại, Googlebot loại, và Discovery versus Refresh cho unexplained shifts hoặc crawl traps.
7. Correlate downstream. Kiểm tra URL Inspection và Trang Lập chỉ mục cho representative URLs. Hơn các yêu cầu không quan trọng nếu quan trọng các trang vẫn uncrawled hoặc unindexed.
8. Escalate khi aggregates là insufficient. Pull máy chủ logs cho theo-URL evidence, chính xác timestamps, người dùng agents, và non-Google traffic.
9. Record đó finding. Save đó date, anomaly, có khả năng nguyên nhân, owner, action, và đó chỉ số đó nên normalize. Close đó vấn đề chỉ sau đó trend recovers.

Crawl Số liệu khắc phục sự cố

báo cáo là missing

có khả năng nguyên nhân: bạn’re viewing path-level URL-prefix property. khắc phục: open hoặc verify root-level property. báo cáo absence từ hẹp hơn property nói không có gì về liệu Google là crawling trang web.

Average phản hồi time rises trong khi các yêu cầu crawl fall

có khả năng nguyên nhân: Google là backing off as origin, CDN, hoặc application làm chậm under load. khắc phục: correlate timestamp với monitoring và nhật ký, identify chậm routes hoặc tài nguyên types, restore reliable capacity, sau đó watch liệu phản hồi time falls trước khi expecting crawl volume để recover.

5xx các phản hồi spike

có khả năng nguyên nhân: outage, rate limiter, overloaded origin, hoặc bot-cụ thể security rule là failing Googlebot các yêu cầu. khắc phục: inspect chính xác log entries, validate Googlebot Khi needed, xóa accidental blocking, và kiểm thử affected các URL từ bên ngoài application session.

“robots.txt not available” (bản dịch) «robots.txt không khả dụng» xuất hiện

có khả năng nguyên nhân: DNS, TLS, CDN, chuyển hướng, hoặc máy chủ failures prevented Google từ fetching file—không nhất thiết bad directive bên trong nó. khắc phục: yêu cầu /robots.txt trực tiếp across affected hosts, xác nhận ổn định thành công phản hồi, và kiểm tra Host status plus nhật ký cho thất bại window.

Discovery climbs unexpectedly

có khả năng nguyên nhân: new launch hoặc migration là hoạt động as dự kiến, hoặc Google tìm thấy unbounded URL space chẳng hạn như parameters, filters, calendars, hoặc internal-tìm kiếm các trang. khắc phục: sample nhật ký và liên kết nội bộ để identify new URL pattern. Bảo toàn intentional discoveries; constrain crawl traps tại của họ nguồn.

báo cáo looks healthy, nhưng quan trọng các trang không phải được lập chỉ mục

có khả năng nguyên nhân: aggregate host health là fine trong khi individual các URL có discovery, canonical, quality, hoặc lập chỉ mục các vấn đề. khắc phục: sử dụng URL Inspection và trang lập chỉ mục cho những điều đó các trang. Crawl Số liệu không thể prove đó particular URL là được chọn cho chỉ mục.

Đo lường crawl health as trends, không quotas

có không universal “good” number của các yêu cầu crawl. Xây dựng baseline cho điều này trang web và annotate nó với deployments và incidents.

Define thành công so với incident bạn là solving. sau khi máy chủ vấn đề, thành công là ổn định availability và normalized phản hồi time followed by recovered crawling. sau khi closing crawl trap, thành công là ít hơn các yêu cầu để unwanted pattern không có reducing discovery hoặc refresh của quan trọng các URL. Extra các yêu cầu by themselves không phải SEO outcome, và Crawl Số liệu alone không thể đo lường xếp hạng hoặc chỉ mục quality.

các tài nguyên worth của bạn time

My related writing

• Khi nên bạn Worry về Ngân sách crawl? — my take on ngân sách crawl, nơi Crawl Số liệu fits, và Vì sao phần lớn các trang không cần để obsess over nó.
• Điều gì là Googlebot & Cách Làm nó Hoạt động? — crawler behind mỗi number trong điều này báo cáo.
• Người mới bắt đầu Hướng dẫn để kỹ thuật SEO — nơi crawling và Search Console fit trong bigger picture.

Chính thức

• Crawl Số liệu báo cáo — Search Console Help — chính nguồn cho mỗi chỉ số và breakdown.
• Optimize của bạn ngân sách crawl — capacity + demand, và size thresholds.

từ khoảng ngành

• Googlebot Ngân sách crawl Explained by Google Gary Illyes — công cụ tìm kiếm Journal coverage của Gary Illyes’ crawl-budget explainer; hữu ích context cho interpreting Điều gì drives numbers trong báo cáo.
• Ngân sách crawl Đối với SEO: Mọi thứ bạn cần Know — công cụ tìm kiếm Journal deep dive on ngân sách crawl concepts, capacity, và demand.
• Crawling và lập chỉ mục — Google Search Central hub cho all chính thức crawling tài liệu, robots.txt, và sitemaps.
• Tìm kiếm Off Record: Cách Googlebot Crawl Web — Gary Illyes và Martin Splitt on crawling infrastructure và Cách scheduler reacts để của bạn máy chủ.
• r/TechSEO — community cho crawl/chỉ mục gỡ lỗi.

Podcasts

• Tìm kiếm Off Record (Google Search Relations) — Cách Googlebot crawl web. Gary Illyes và Martin Splitt on crawling infrastructure, conditional các yêu cầu, và Cách crawl scheduler reacts để của bạn máy chủ — hữu ích background cho Điều gì drives numbers trong điều này báo cáo. Listen

Videos

• Google Search Central (YouTube) — Martin Splitt crawling/kết xuất explainers và Cách Google Search Hoạt động series. Good grounding cho Điều gì Googlebot là đang làm trước khi nó bao giờ reaches Crawl Số liệu báo cáo. Channel

Nhật ký thay đổi