Host Status (Crawl Số liệu)
Điều gì đó Host status indicator trong Google Search Console's Crawl Số liệu báo cáo có nghĩa là — đó three availability kiểm tra, đó three trạng thái, và vì sao một red status là an emergency.
Ngôn ngữ
Host status là đó availability indicator tại đó top of GSC Crawl Số liệu báo cáo — một lịch sử record of điều gì Google observed, không một trực tiếp uptime kiểm tra. Điều này kiểm tra three điều — robots.txt fetching, DNS resolution, và máy chủ connectivity — over đó cuối cùng 90 days. Green có nghĩa là không significant các vấn đề; yellow có nghĩa là một vấn đề happened hơn một week ago (điều này typically ages out of đó báo cáo on của nó own); red có nghĩa là một happened trong đó cuối cùng week. Đó highest-stakes failure là an unreachable robots.txt: Google dừng crawling cho ~12 hours, thì falls back để đó cuối cùng good được lưu đệm copy — nếu một tồn tại — cho lên để ~30 days, sau mà behavior phụ thuộc vào trang web của bạn rộng hơn availability. đây là đó underlying robots.txt, DNS, hoặc máy chủ failure đó throttles crawling of đó toàn bộ site, không đó host-status label itself, và đó state aging back để green không proof crawling, lập chỉ mục, hoặc thứ hạng có fully recovered.
Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Crawl Stats reportTL;DR — Host status là một little indicator tại đó top of Google Search Console Crawl Số liệu báo cáo đó tells bạn liệu Google có thể reach của bạn site over đó cuối cùng 90 days — đây là một lịch sử record, không một trực tiếp “is my site up right now” (bản dịch) «là my site lên hiện tại» kiểm tra. Green là good. Yellow có nghĩa là ở đó đã là một vấn đề, nhưng điều này đã là hơn một week ago. Red có nghĩa là ở đó đã là một vấn đề trong đó cuối cùng week. Điều này kiểm tra three điều: của bạn
robots.txtfile, của bạn DNS, và liệu máy chủ của bạn responds.
Điều gì host status là
Host status là Crawl Số liệu availability summary covering robots.txt fetching, DNS resolution, và máy chủ connectivity over báo cáo window. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Crawl Stats report nó là host-cấp độ diagnostic thay vì theo-URL lập chỉ mục verdict. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Crawl Stats report
Khi Google wants để crawl của bạn trang web, một vài điều có để hoạt động trước khi nó có thể
ngay cả bắt đầu: nó có để tìm của bạn robots.txt file, của bạn domain name có để
resolve để máy chủ, và đó máy chủ có để câu trả lời. Host status là Google
summary của liệu tất cả đó worked over cuối cùng 90 days.
bạn’ll tìm nó trong Google Search Console dưới Settings → Crawl số liệu, sitting right tại top của Crawl Số liệu báo cáo. nó single colored indicator, và nó kiểm tra three điều:
- robots.txt fetching — có thể Google download của bạn
robots.txtfile? - DNS resolution — làm của bạn domain name point để máy chủ?
- máy chủ connectivity — làm của bạn máy chủ thực ra respond?
three colors
- Green — Google đã không chạy vào bất kỳ significant các vấn đề reaching trang web của bạn trong đó cuối cùng 90 days. Không có gì để làm.
- Yellow (“Host had problems in the past” (bản dịch) «Host đã có các vấn đề trong đó past») — ở đó đã là một vấn đề, nhưng điều này happened hơn một week ago. Thường này các cách sửa itself: khi một week goes by không có điều này happening again, điều này turns back để green on của nó own.
- Red — ở đó đã là một vấn đề trong đó cuối cùng week. Này một worth looking vào, vì nếu Google không thể reach trang web của bạn, điều này crawl điều này ít hơn.
chính xác colors và labels là interface detail Google có thể tweak; Điều gì vẫn giữ durable là underlying meaning — Cách recently significant vấn đề happened.
Vì sao điều này quan trọng
Host status không phải về một hỏng trang — nó về liệu Google có thể connect
để của bạn toàn bộ trang web. scariest version là Khi Google có thể’t download của bạn
robots.txt file. Khi đó happens, Google không chỉ shrug nó off; nó
làm chậm xuống hoặc dừng crawling của bạn đểàn bộ trang web cho đến khi nó có thể đọc đó file
again. So nó đó underlying robots.txt, DNS, hoặc máy chủ thất bại — không
host-status label itself — đó âm thầm chokes off crawling mọi nơi.
good news: có không button để press để khắc phục nó. sau khi của bạn trang web là reachable again, Google typically resumes thông thường crawling on của nó own — Google không publish fixed recovery window, so không expect instant flip back để green. của bạn job là chỉ để hình out mà của three kiểm tra thất bại và khắc phục underlying vấn đề.
Một điều host status là không: xếp hạng hình phạt. nó crawling tín hiệu, không strike so với bạn. Muốn deeper version — chính xác crawl-pause timeline, 4xx-so với-5xx phân biệt, và khắc phục sự cố tree? Switch để Nâng cao tab.
Tự kiểm tra: host status
Five nhanh các câu hỏi on reading và responding để Crawl Số liệu host-status indicator. Pick câu trả lời cho mỗi, sau đó kiểm tra.
Tóm tắt — Host status là availability lens tại top của GSC Crawl Số liệu báo cáo — lịch sử record của Điều gì Google observed, không trực tiếp uptime kiểm tra — assessed over cuối cùng 90 days trên three kiểm tra: robots.txt fetching, DNS resolution, và máy chủ connectivity. Green = không significant các vấn đề; yellow = vấn đề nhiều hơn week ago (typically ages out của báo cáo on của nó own); red = vấn đề trong cuối cùng week. highest-stakes thất bại là unreachable
robots.txt: Google dừng crawling cho đầu tiên 12 hours, sau đó falls back để cuối cùng good được lưu đệm copy — nếu một tồn tại — cho lên để ~30 days, sau khi mà behavior phụ thuộc trên trang web củ bạn rộng hơn availability.4xxrobots.txt là fine (Google crawl freely);5xx/timeout/DNS thất bại là Điều gì pauses crawling — đó underlying thất bại, không host-status label, là Điều gì throttles crawling. có không reset button, và state returning để green không phải proof crawling, lập chỉ mục, hoặc thứ hạng có fully recovered.
Điều gì host status thực ra measures
Search Console documents host status trong Crawl Số liệu và evaluates availability over trước đó 90 days. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Crawl Stats report Diagnose individual URL outcomes riêng trong URL Inspection hoặc trang lập chỉ mục. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Crawl Stats report
Host status các câu trả lời một hẹp câu hỏi: over đó cuối cùng 90 days, có thể Googlebot reach đó host tại all? đó là một khác nhau câu hỏi từ “is this page indexed” (bản dịch) «là này trang được lập chỉ mục» hoặc “does this URL throw an error.” (bản dịch) «làm này URL throw an lỗi.» đây là site/host-cấp độ availability, không theo-URL crawl các lỗi — mà là chính xác vì sao I giữ điều này mentally tách biệt từ Trang Lập chỉ mục.
Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Crawl Stats reportđây là cũng worth đang precise về điều gì kind of “availability” (bản dịch) «availability» này là. Host status là một lịch sử record of điều gì Google observed during crawling, không một trực tiếp uptime monitor — một green state hiện tại không prove trang web của bạn là reachable này second, và một red state không prove đây là xuống hiện tại, chỉ đó một significant vấn đề crossed Google ngưỡng sometime trong đó cuối cùng week. Cho một trực tiếp kiểm tra of đó hiện tại moment, bạn cần một trực tiếp probe, không này báo cáo.
nó lives tại top của Crawl Số liệu báo cáo (Settings → Crawl số liệu), mà là chỉ khả dụng cho domain hoặc root-cấp độ property access — không URL-prefix subfolders. rộng hơn Crawl Số liệu báo cáo covers volume và performance (total các yêu cầu crawl, download size, average phản hồi time, crawl purpose, file loại, phản hồi codes); host status là tighter availability slice. Khi I’m diagnosing crawl slump, host status tells me liệu Google có thể connect; rest của báo cáo và my máy chủ nhật ký tell me Điều gì happened.
three kiểm tra
Google assesses host availability trên three categories, mỗi với của nó own thất bại-rate graph trong host details:
- robots.txt fetching — “The graph shows the failure rate for robots.txt requests during a crawl.” (bản dịch) «Đó graph cho thấy đó failure rate cho robots.txt các yêu cầu during một crawl.» Này là đó highest-stakes kiểm tra (hơn dưới).
- DNS resolution — “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” (bản dịch) «Đó graph cho thấy khi của bạn DNS máy chủ đã không recognize của bạn hostname hoặc đã không respond during crawling.»
- Máy chủ connectivity — “The graph shows when your server was unresponsive
or did not provide a full response for a URL during a crawl.” (bản dịch) «Đó graph cho thấy khi máy chủ của bạn đã là unresponsive hoặc đã không cung cấp một đầy đủ phản hồi cho một URL during một crawl.» Think
5xx, timeouts, và truncated/một phần các phản hồi.
three trạng thái
indicator summarizes những điều đó kiểm tra over rolling 90-day window:
- Green — “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (bản dịch) «Google đã không encounter bất kỳ significant crawl availability các vấn đề trên trang web của bạn trong đó past 90 days—good job!»
- Yellow / “had problems in the past” (bản dịch) «đã có các vấn đề trong đó past» — Google encountered ít nhất một significant crawl-availability vấn đề trong đó cuối cùng 90 days, nhưng điều này occurred hơn một week ago. Này state thường self-heals: khi một week truyền với không recurrence, điều này trả về để green. Bạn generally không cần để làm bất cứ điều gì beyond confirming đó nguyên nhân là đã biến mất.
- Red / “problems now” (bản dịch) «các vấn đề hiện tại» — Google encountered ít nhất một significant crawl-availability vấn đề trong đó cuối cùng week. Này là đó một để triage.
So yellow/red split là thực sự chỉ timing phân biệt: red = trong cuối cùng week (“hiện tại”), yellow = trước đó trong 90-day window (“trong đó past”). chính xác color names và icon labels là interface details Google có thể thay đổi; Điều gì durable là đó recency-based meaning.
mỗi category chỉ được tính as “significant” vấn đề sau khi của nó thất bại rate crosses ngưỡng Google draws as dotted line on đó category graph. Google cho DNS failures trên 5% của day các yêu cầu as một ví dụ của nơi đó line sits — nó illustration cho DNS, không được ghi lại universal ngưỡng đó áp dụng giống nhau way để robots.txt fetching và máy chủ connectivity.
Vì sao robots.txt failures là phần lớn dangerous
Nếu Google không thể nhận an acceptable robots.txt phản hồi, “Google will slow or
stop crawling your site until it can get an acceptable robots.txt response.” (bản dịch) «Google sẽ chậm hoặc dừng crawling trang web của bạn until điều này có thể nhận an acceptable robots.txt phản hồi.»
đó là một toàn bộ-site pause, không một một-URL vấn đề — mà là điều gì làm một red host
status driven by robots.txt an emergency.
detailed timeline lives trong Google robots.txt spec. Khi robots.txt
trả về 5xx, máy chủ các lỗi, hoặc network failures:
- đầu tiên 12 hours: Google dừng crawling trang web nhưng giữ trying để fetch
robots.txtfile. - tiếp theo ~30 days: nếu Google có thể’t fetch new version, nó falls back để
cuối cùng good được lưu đệm version trong khi vẫn trying để fetch fresh một.
503trong particular triggers fairly frequent retrying; nếu có không được lưu đệm version khả dụng, Google assumes có không crawl restrictions. - sau khi 30 days: behavior diverges dựa trên overall trang web health. nếu trang web
generally phục vụ fine, Google behaves as nếu có không
robots.txt(và giữ kiểm tra); nếu trang web có rộng hơn availability các vấn đề, Google dừng crawling trang web trong khi vẫn periodically requestingrobots.txt.
cốt yếu nuance — và phổ biến myth — là 4xx so với 5xx phân biệt.
Google HTTP status-code xử lý cho robots.txt:
- 2xx (thành công): các crawler xử lý
robots.txtas phân phối. - 3xx (chuyển hướng): Google follows ít nhất five chuyển hướng hops, sau đó xử lý nó
as
404. - 4xx (except
429): được xem như nếu hợp lệrobots.txtkhông exist — i.e. Google crawl freely. - 5xx /
429/ network / DNS: được xem như máy chủ các lỗi → crawl-pause timeline trên.
So một bị thiếu robots.txt (một sạch 404) làm không pause crawling. An
unreachable một (5xx, timeout, DNS failure) làm. Và critically, “a
robots.txt file which cannot be fetched due to DNS or networking issues, such as
timeouts, invalid responses, reset or interrupted connections, and HTTP chunking
errors, is treated as a server error.” (bản dịch) «một robots.txt file mà không thể là fetched due để DNS hoặc networking các vấn đề, such as timeouts, không hợp lệ các phản hồi, reset hoặc interrupted connections, và HTTP chunking các lỗi, là treated as một máy chủ lỗi.» MỘT flaky DNS provider có thể stall của bạn
crawl chính xác như một 5xx.
DNS và máy chủ connectivity
DNS và máy chủ-connectivity failures là nhiều hơn intuitive nhưng không ít hơn thực. DNS
resolution failures có nghĩa là Google resolvers không thể turn của bạn hostname vào
address tại some point trong window. Treat cụ thể nguyên nhân as hypothesis để
xác nhận, không được cho — candidates bao gồm bad nameservers, outage tại của bạn
DNS provider, hoặc DNS-cấp độ rate limiting của Googlebot, và telling them apart
cần của bạn DNS records, nameserver nhật ký, và provider status history alongside
Crawl Số liệu graph. máy chủ-connectivity failures là 5xx, 429, timeouts,
và một phần/truncated các phản hồi; likewise, overloaded origin và CDN/WAF
throttling Googlebot’s IP ranges là cả hai plausible explanations đó của bạn
origin và edge nhật ký — không graph alone — có để xác nhận.
Này ties straight back để tốc độ crawl. As I’ve được viết trong my ngân sách crawl hướng dẫn, “Google will slow down their crawling if they receive too many 5xx (server errors) or 429 (too many requests) HTTP status codes.” (bản dịch) «Google sẽ chậm xuống của họ crawling nếu they nhận cũng nhiều 5xx (máy chủ các lỗi) hoặc 429 (quá nhiều yêu cầu) HTTP các mã trạng thái.» John Mueller đã làm đó giống nhau point về cách fast đó crawl reacts:
“I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts, so I’d double-check what actually happened (404s are generally fine & once discovered, Googlebot will retry them anyway).” (bản dịch) «Tôi chỉ mong tốc độ thu thập dữ liệu phản ứng nhanh như vậy nếu máy chủ đang trả về 429 / 500 / 503 / timeouts, vì vậy tôi sẽ kiểm tra lại điều thực sự đã xảy ra (404s thường không sao; khi đã phát hiện, Googlebot sẽ thử lại chúng).» — John Mueller, Google.
có subtle trap ở đây. Returning 503/429 là legitimate ngắn-term
way để tell Googlebot để chậm xuống — nhưng nó giống nhau tín hiệu đó drives red
host status. nó tạm thời throttle, không strategy: lean on nó cũng dài và
bạn risk các trang dropping out của chỉ mục. tín hiệu đó lets bạn ease crawl
là tín hiệu đó, sustained, looks như outage.
Điều gì bạn không cần để làm
một vài điều mọi người overthink:
- có không “reset crawl rate” (bản dịch) «reset tốc độ crawl» button. Tốc độ crawl typically recovers on của nó own khi availability là restored — Google không document một fixed recovery window hoặc SLA cho đó, so không expect điều này để happen on bất kỳ particular schedule. Đó old manual crawl-rate limiter trong Search Console đã là deprecated; bạn không (và không thể) manually kick crawling back lên.
- Yellow thường fades on của nó own. Khi một week truyền không có đó vấn đề recurring, đó state ages back để green. Xác nhận đó root nguyên nhân là đã biến mất, thì verify recovery independently thay vì trusting đó color alone: kiểm tra hiện tại reachability, watch đó failing category graph trend back dưới của nó ngưỡng, xác nhận crawl volume trong đó rest of Crawl Số liệu looks thông thường again, và, nếu điều này matters cho một cụ thể URL, kiểm tra recrawl/chỉ mục status trong Trang Lập chỉ mục.
- đây là không một xếp hạng hình phạt. Host status ảnh hưởng crawling, không thứ hạng trực tiếp, và on của nó own điều này không giải thích một traffic thay đổi — correlate đó affected window với crawl, chỉ mục, và performance dữ liệu trước assuming nguyên nhân. Đó gián tiếp risk là đó một sustained inability để crawl eventually ảnh hưởng freshness và, downstream, lập chỉ mục — nhưng có không manual hành động attached để một yellow hoặc red indicator.
Host status so với rộng hơn Crawl Số liệu báo cáo
Giữ đó scopes straight. Host status là một section of đó Crawl Số liệu báo cáo — đó availability lens. Đó rest of đó báo cáo (đó part hầu hết mọi người có nghĩa là khi they chẳng hạn “Crawl Số liệu”) là về volume và performance theo thời gian. As I’ve đã nói elsewhere, khi bạn là chasing một crawling vấn đề “the best place to look is the Crawl Stats report in Google Search Console” (bản dịch) «đó best place để look là đó Crawl Số liệu báo cáo trong Google Search Console» — và host status là đó đầu tiên điều trong điều này I kiểm tra, vì nếu Google không thể reach đó host, không có gì khác trong đó báo cáo matters tuy vậy. Đó rộng hơn báo cáo là của nó own topic; này một là tightly về đó availability indicator.
AI summary
condensed take on Nâng cao version:
- Host status = “did Google’s crawl history show it could reach the host?” (bản dịch) «đã làm Google crawl history cho thấy điều này có thể reach đó host?» đây là đó availability indicator tại đó top of GSC Crawl Số liệu báo cáo (Settings → Crawl số liệu), assessed over đó cuối cùng 90 days. đây là một lịch sử record, không một trực tiếp uptime kiểm tra, và đây là host/site-cấp độ, không theo-URL.
- Three kiểm tra: robots.txt fetching, DNS resolution, máy chủ connectivity — mỗi với của nó own failure-rate graph, flagged khi điều này crosses một ngưỡng (Google own ví dụ: DNS failures trên 5% of một day các yêu cầu).
- Three trạng thái: green (không significant các vấn đề trong 90 days); yellow (vấn đề hơn một week ago — typically ages back để green on của nó own); red (vấn đề trong đó cuối cùng week — triage điều này). Colors và labels là interface detail; recency là đó durable meaning.
- robots.txt là đó highest-stakes kiểm tra. Nếu Google không thể nhận an acceptable
robots.txtphản hồi đây là đó underlying failure — không đó host-status label — đó làm chậm hoặc dừng crawling đó toàn bộ site: ~12 hours fully đã dừng trong khi retrying, thì lên để ~30 days on đó cuối cùng được lưu đệm copy nếu một tồn tại, thì behavior phụ thuộc vào overall site health. - 4xx so với 5xx matters: một
404robots.txt = crawl freely; một5xx/timeout/DNS failure = crawl pause. DNS/network các lỗi count as máy chủ các lỗi. - 5xx và 429 throttle tốc độ crawl (Mueller: 429/500/503/timeouts react fast;
404s là generally fine). Đó giống nhau
503/429throttle là một ngắn-term tool, không một strategy. - Recovery typically happens on của nó own khi availability là restored, nhưng Google documents không fixed recovery window — không reset button; đó manual crawl-rate limiter đã là deprecated. Đó state aging back để green không proof crawling, lập chỉ mục, hoặc thứ hạng có fully recovered; verify independently.
- Không một xếp hạng hình phạt on của nó own. đây là một crawl-availability tín hiệu, distinct từ Trang Lập chỉ mục các lỗi và rộng hơn đó rest of đó Crawl Số liệu báo cáo — correlate với crawl/chỉ mục/performance dữ liệu trước assigning nguyên nhân để một traffic thay đổi.
Tài liệu chính thức
Chính-nguồn tài liệu từ Google.
- Crawl Số liệu báo cáo — báo cáo đó contains host status; defines three kiểm tra và three trạng thái.
- Cách Google interprets robots.txt đặc tả — robots.txt fetch-thất bại timeline (12-hour dừng, 30-day được lưu đệm fallback) và HTTP status-code xử lý.
- Troubleshoot Google Search crawling các lỗi — Google chung crawl-lỗi khắc phục sự cố.
- Debug Network và DNS các lỗi cho Google các crawler — DNS và network-cấp độ diagnostics.
Quotes từ nguồn
On—record statements từ Google. mỗi link jumps toward quoted passage on nguồn trang.
Google — three trạng thái (Crawl Số liệu báo cáo)
- “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (bản dịch) «Google đã không encounter bất kỳ significant crawl availability các vấn đề trên trang web của bạn trong đó past 90 days—good job!» — Google Search Console Help (green state). Nhảy đến trích dẫn
- “Google encountered at least one significant crawl availability issue in the last 90 days on your site, but it occurred more than a week ago.” (bản dịch) «Google encountered ít nhất một significant crawl availability vấn đề trong đó cuối cùng 90 days trên trang web của bạn, nhưng điều này occurred hơn một week ago.» — Google Search Console Help (yellow / “problems in the past” (bản dịch) «các vấn đề trong đó past» state). Nhảy đến trích dẫn
- “Google encountered at least one significant crawl availability issue in the last week on your site.” (bản dịch) «Google encountered ít nhất một significant crawl availability vấn đề trong đó cuối cùng week trên trang web của bạn.» — Google Search Console Help (red / “problems now” (bản dịch) «các vấn đề hiện tại» state). Nhảy đến trích dẫn
Google — three kiểm tra (Crawl Số liệu báo cáo)
- “The graph shows the failure rate for robots.txt requests during a crawl.” (bản dịch) «Đó graph cho thấy đó failure rate cho robots.txt các yêu cầu during một crawl.» — Google Search Console Help (robots.txt fetching). Nhảy đến trích dẫn
- “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” (bản dịch) «Đó graph cho thấy khi của bạn DNS máy chủ đã không recognize của bạn hostname hoặc đã không respond during crawling.» — Google Search Console Help (DNS resolution). Nhảy đến trích dẫn
- “The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.” (bản dịch) «Đó graph cho thấy khi máy chủ của bạn đã là unresponsive hoặc đã không cung cấp một đầy đủ phản hồi cho một URL during một crawl.» — Google Search Console Help (máy chủ connectivity). Nhảy đến trích dẫn
Google — robots.txt crawl-pause mechanic
- “Google will slow or stop crawling your site until it can get an acceptable robots.txt response.” (bản dịch) «Google sẽ chậm hoặc dừng crawling trang web của bạn until điều này có thể nhận an acceptable robots.txt phản hồi.» — Google Search Console Help (robots.txt fetching section). Nhảy đến trích dẫn
- “For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file.” (bản dịch) «Cho đó đầu tiên 12 hours, Google dừng crawling đó site nhưng giữ trying để fetch đó robots.txt file.» — Google cho Nhà phát triển, robots.txt spec. Nhảy đến trích dẫn
- “A robots.txt file which cannot be fetched due to DNS or networking issues, such as timeouts, invalid responses, reset or interrupted connections, and HTTP chunking errors, is treated as a server error.” (bản dịch) «MỘT robots.txt file mà không thể là fetched due để DNS hoặc networking các vấn đề, such as timeouts, không hợp lệ các phản hồi, reset hoặc interrupted connections, và HTTP chunking các lỗi, là treated as một máy chủ lỗi.» — Google cho Nhà phát triển, robots.txt spec. Nhảy đến trích dẫn
John Mueller, Google (relayed qua công cụ tìm kiếm Journal)
- “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts, so I’d double-check what actually happened (404s are generally fine & once discovered, Googlebot will retry them anyway).” (bản dịch) «Tôi chỉ mong tốc độ thu thập dữ liệu phản ứng nhanh như vậy nếu máy chủ đang trả về 429 / 500 / 503 / timeouts, vì vậy tôi sẽ kiểm tra lại điều thực sự đã xảy ra (404s thường không sao; khi đã phát hiện, Googlebot sẽ thử lại chúng).» Đọc bài đưa tin
Host-status triage checklist
truyền để chạy Khi host status goes yellow hoặc red. Hoạt động failing kiểm tra đầu tiên.
nếu robots.txt fetching là failing
- xác nhận
robots.txttrả về200(hoặc sạch404) — không5xx,429, hoặc timeout.404là fine; máy chủ lỗi là Điều gì pauses crawling. - Kiểm thử file trong GSC robots.txt báo cáo và fetch nó yourself từ multiple locations.
- kiểm tra liệu CDN, WAF, hoặc rate-limiter là blocking hoặc throttling Googlebot.
- hãy đảm bảo file là reachable và reasonably nhỏ ( một vài hundred KB tại phần lớn).
nếu DNS resolution là failing
- xác nhận của bạn domain resolves (dig/nslookup từ bên ngoài của bạn network).
- kiểm tra của bạn DNS provider status/uptime cho thất bại window.
- Look cho misconfigured hoặc chậm nameservers.
- Verify không có gì là rate-limiting Googlebot tại DNS layer.
nếu máy chủ connectivity là failing
- kiểm tra nhật ký cho
5xx,429, và timeouts during flagged window. - xác nhận origin không phải overloaded (capacity, DB, upstream timeouts).
- Verify firewall/CDN không phải throttling Googlebot’s IP ranges.
- Look cho một phần/truncated các phản hồi.
luôn
- Cross-reference host-status graph timestamps với deploys, outages, và config thay đổi.
- Corroborate với máy chủ nhật ký và Crawl Số liệu phản hồi-code breakdown.
- sau khi fixed, làm không có gì khác — crawling recovers tự động; yellow self-heals sau khi clear week.
mental models
1. Three kiểm tra, một câu hỏi.
Host status chỉ asks “can Google reach the host?” (bản dịch) «có thể Google reach đó host?» qua robots.txt fetching, DNS
resolution, và máy chủ connectivity. Identify mà kiểm tra failed trước khi bạn
touch bất cứ điều gì — đó cách sửa cho một DNS outage looks không có gì như đó cách sửa cho một 5xx
storm.
2. Đó state machine là một clock, không một severity dial. Green = sạch cho 90 days. Red = một vấn đề trong đó cuối cùng week. Yellow = một vấn đề trước đó trong đó window. Yellow → green happens on của nó own khi một week truyền không có recurrence. So “red” không “worse than yellow” (bản dịch) «tệ hơn yellow» — đây là “more recent.” (bản dịch) «hơn gần đây.»
3. robots.txt decision rule.
2xx→ processed as phân phối.3xx→ followed ~5 hops, sau đó được xem như404.4xx(except429) → được xem như không robots.txt → crawl freely.5xx/429/ timeout / DNS thất bại → máy chủ lỗi → crawl pause (12h dừng → ~30d được lưu đệm fallback → phụ thuộc vào trang web health).
bị thiếu robots.txt là safe. unreachable một là emergency.
4. Host status là upstream của mọi thứ khác. nếu Google có thể’t connect để host, không theo-URL báo cáo tells bạn bất cứ điều gì hữu ích tuy vậy. Clear host status đầu tiên, sau đó đọc rest của Crawl Số liệu và trang lập chỉ mục.
5. throttle là cũng symptom.
503/429 là legitimate way để tell Googlebot để chậm xuống — và chính xác
tín hiệu đó lights lên red host status. sử dụng nó briefly và on purpose; sustained,
nó dừng looking như throttle và bắt đầu looking như outage (với lập chỉ mục
risk).
Host status — bảng tra nhanh
** three trạng thái (90-day window)**
| Color | Label | Có nghĩa là | Điều cần làm |
|---|---|---|---|
| Green | — | Không significant availability các vấn đề trong 90 days | Không có gì |
| Yellow | ”had problems in the past” (bản dịch) «đã có các vấn đề trong đó past» | An vấn đề, nhưng hơn một week ago | Xác nhận nguyên nhân là đã biến mất; điều này self-heals để green |
| Red | ”problems now” (bản dịch) «các vấn đề hiện tại» | An vấn đề trong đó cuối cùng week | Triage đó failing kiểm tra |
** three kiểm tra**
| kiểm tra | Graph hiển thị | Typical nguyên nhân |
|---|---|---|
| robots.txt fetching | thất bại rate cho robots.txt các yêu cầu | 5xx/timeout on file, WAF/CDN block |
| DNS resolution | DNS đã không recognize/câu trả lời hostname | DNS provider outage, bad nameservers |
| máy chủ connectivity | máy chủ unresponsive hoặc một phần phản hồi | 5xx, 429, timeouts, truncated các phản hồi |
robots.txt status-code xử lý
| phản hồi | Google behavior |
|---|---|
2xx | Processed as phân phối |
3xx | Follows ~5 hops, sau đó xử lý as 404 |
4xx (except 429) | được xem như không robots.txt → crawl freely |
5xx / 429 / timeout / DNS | máy chủ lỗi → crawl pause |
robots.txt crawl-pause timeline (on máy chủ lỗi)
- đầu tiên 12 hours: dừng crawling, giữ retrying file.
- tiếp theo ~30 days: dùng cuối cùng good được lưu đệm copy, vẫn retrying.
- sau khi 30 days: phụ thuộc vào overall trang web health.
Fast facts
- Host status lives trong Settings → Crawl số liệu (top của báo cáo).
- Domain/root-property chỉ — không URL-prefix subfolders.
- Recovery là typically hands-off sau khi availability là restored — không reset button, không được ghi lại fixed timeline (manual crawl-rate limiter deprecated).
- nó host-cấp độ, không theo-URL — distinct từ trang lập chỉ mục các lỗi.
- nó không xếp hạng hình phạt.
Tools cho diagnosing host status
- Google Search Console — Crawl Số liệu báo cáo — nơi host status lives (Settings → Crawl số liệu), plus three theo-kiểm tra thất bại-rate graphs và phản hồi-code breakdown.
- GSC robots.txt báo cáo — xác nhận Google có thể fetch của bạn
robots.txtvà see mã trạng thái nó đã nhận. - máy chủ log file analysis — ground truth cho Điều gì Googlebot thực ra
đã nhận (
5xx/429/timeouts) và Khi. Tools: Screaming Frog Log File Analyser, hoặc pipe nhật ký vào BigQuery / log nền tảng. - DNS diagnostics —
dig/nslookup, plus của bạn DNS provider status trang, để xác nhận resolution during flagged window. - Uptime / status monitoring — để line lên host-status dips với thực outages, deploys, và config thay đổi.
Điều gì nên I làm với điều này host-status state?
Triage a host-status warning
Host-status mistakes đó delay recovery
Treating bị thiếu robots.txt file như outage
Vì sao nó sai: Google xử lý phần lớn 4xx các phản hồi, including sạch 404, as
nếu không robots.txt restrictions exist. 5xx, 429, DNS failures, và timeouts là
các phản hồi đó trigger crawl pausing. Làm thay vì: kiểm thử thực tế phản hồi code và
availability trước khi creating file đơn giản để làm 404 disappear.
Đang chờ cho manual crawl-rate reset
Vì sao nó sai: có không reset button, và old crawl-rate control không phải recovery path. Làm thay vì: restore ổn định các phản hồi và let Googlebot increase crawling tự động.
Reading red và yellow as severity grades
Vì sao nó sai: colors mainly encode recency. Red có nghĩ là significant vấn đề occurred trong cuối cùng week; yellow có nghĩ là nó occurred trước đó trong rolling 90-day window. Làm thay vì: sử dụng failing kiểm tra và timestamps để judge severity.
sử dụng 503 hoặc 429 as vĩnh viễn crawl-control strategy
Vì sao nó sai: những điều đó codes có thể là legitimate ngắn-term throttle, nhưng họ là cũng máy chủ-lỗi các tín hiệu đó reduce crawling và có thể become lập chỉ mục risk Khi sustained. Làm thay vì: sử dụng them briefly during thực overload và khắc phục capacity hoặc edge rule causing pressure.
Diagnosing host-cấp độ thất bại một URL tại time
Vì sao nó sai: host status summarizes robots.txt, DNS, và connectivity failures tại host cấp độ. Làm thay vì: correlate thất bại-rate graph với máy chủ, CDN, WAF, DNS, và deployment nhật ký trước khi chasing isolated trang templates.
Nhanh host-availability kiểm tra
kiểm tra robots.txt và của nó chuyển hướng chain
Chạy điều này trong macOS/Linux shell. Replace hostname; -L follows các chuyển hướng và
output exposes liệu cuối phản hồi là acceptable hoặc crawl-pausing máy chủ
lỗi.
curl -sS -L -o /dev/null -w 'final=%{url_effective} code=%{http_code} redirects=%{num_redirects} time=%{time_total}s\n' https://example.com/robots.txtChạy tương đương trong PowerShell để see mỗi hop và cuối status.
$r = Invoke-WebRequest -Uri 'https://example.com/robots.txt' -MaximumRedirection 5
[pscustomobject]@{ Status = [int]$r.StatusCode; FinalUrl = $r.BaseResponse.ResponseUri.AbsoluteUri }kiểm tra authoritative DNS từ command line
Chạy những điều này trong macOS/Linux shell. bị thiếu hoặc intermittent câu trả lời points để DNS path thay vì origin application.
dig +short A example.com
dig +short AAAA example.com
dig +trace example.comChạy PowerShell tương đương on Windows.
Resolve-DnsName example.com -Type A
Resolve-DnsName example.com -Type AAAASummarize crawl-pause phản hồi codes từ access log
Chạy điều này trong shell so với tiêu chuẩn combined access log. Adjust log trường nếu
của bạn format differs; expression được tính 429 và 5xx các phản hồi cho Googlebot.
awk 'tolower($0) ~ /googlebot/ && ($9 == 429 || $9 ~ /^5[0-9][0-9]$/) { count[$9]++ } END { for (code in count) print code, count[code] }' access.log | sort các tài nguyên worth của bạn time
My related writing
- Khi nên bạn Worry về Ngân sách crawl? — nơi
5xx/429throttle, Crawl Số liệu báo cáo, và host availability fit vào bigger crawl-budget picture. - Robots.txt và SEO: Mọi thứ bạn cần Know — file whose unreachability drives highest-stakes host-status thất bại.
từ others
- Googlebot Crawl Slump? Mueller Points để máy chủ các lỗi — công cụ tìm kiếm Journal, Aug 2025; Mueller quote on
429/500/503/timeouts. - 5 Top Crawl Số liệu Insights trong Google Search Console — công cụ tìm kiếm Journal, on reading rộng hơn báo cáo host status sits bên trong.
- Cách Google interprets robots.txt đặc tả — Google cho Nhà phát triển; authoritative nguồn cho 12-hour crawl-dừng và 30-day được lưu đệm-fallback timeline.
- Debug Network và DNS các lỗi cho Google các crawler — Google cho Nhà phát triển; DNS và network-cấp độ diagnostics trực tiếp relevant để DNS resolution kiểm tra.
- Troubleshoot Google Search crawling các lỗi — Google cho Nhà phát triển; Google own hướng dẫn cho diagnosing máy chủ-connectivity failures đó drive red host status.
- r/TechSEO — community cho crawl/availability gỡ lỗi.
Nhật ký thay đổi
Đã cập nhật 8 thg 8, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.
Đã cập nhật 18 thg 7, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.