Host Status (Statistik Crawling)

TL;DR — Host status adalah sebuah little indicator di top dari Google Search Console’s Statistik Crawling report itu tells Anda apakah Google dapat reach Anda situs di atas terakhir 90 days — ini adalah sebuah historical record, tidak sebuah langsung “is my site up right now” (terjemahan) “apakah situs saya aktif saat ini” periksa. Green adalah baik. Yellow berarti di sana adalah sebuah masalah, tetapi ini adalah lebih daripada sebuah week ago. Red berarti di sana adalah sebuah masalah di terakhir week. ini memeriksa three hal: Anda robots.txt file, Anda DNS, dan apakah Anda server responds.

Apa host status adalah

Host status adalah Statistik Crawling availability summary covering robots.txt fetching, DNS resolution, dan server connectivity di atas report window. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report ini adalah sebuah host-tingkat diagnostic alih-alih sebuah per-URL pengindeksan verdict. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report

Ketika Google ingin untuk crawl Anda situs, sebuah sedikit hal memiliki untuk berfungsi sebelum ini dapat bahkan mulai: ini memiliki untuk temukan Anda robots.txt file, Anda domain name memiliki untuk resolve untuk sebuah server, dan itu server memiliki untuk jawaban. Host status adalah Google’s summary dari apakah semua dari itu worked di atas terakhir 90 days.

Anda’ll temukan ini di Google Search Console di bawah Settings → Statistik Crawling, sitting right di top dari Statistik Crawling report. ini adalah sebuah single colored indicator, dan ini adalah memeriksa three hal:

1. robots.txt fetching — dapat Google download Anda robots.txt file?
2. DNS resolution — melakukan Anda domain name poin untuk sebuah server?
3. server connectivity — melakukan Anda server sebenarnya respond?

three colors

• Green — Google tidak jalankan ke apa pun significant masalah reaching Anda situs di terakhir 90 days. Tidak ada apa pun untuk melakukan.
• Yellow (“Host memiliki problems di itu past” (terjemahan) “Host memiliki masalah di past”) — di sana adalah sebuah masalah, tetapi ini happened lebih daripada sebuah week ago. biasanya ini memperbaiki itself: setelah sebuah week goes oleh tanpa ini happening again, ini turns back untuk green pada -nya own.
• Red — di sana adalah sebuah masalah di terakhir week. ini satu’s worth looking ke, karena jika Google dapat’t reach Anda situs, ini melakukan crawl ini lebih sedikit.

tepat colors dan labels adalah sebuah interface detail Google dapat tweak; apa tetap durable adalah underlying meaning — bagaimana recently sebuah significant issue happened.

mengapa ini penting

Host status tidak tentang satu rusak halaman — ini adalah tentang apakah Google dapat connect untuk Anda seluruh situs. scariest versi adalah ketika Google dapat’t download Anda robots.txt file. Ketika itu happens, Google tidak hanya shrug ini off; ini slows down atau berhenti crawling Anda entire situs until ini dapat baca itu file again. So ini adalah itu underlying robots.txt, DNS, atau server failure — tidak host-status label itself — itu diam-diam chokes off crawling di mana-mana.

baik news: ada Tidak button untuk press untuk perbaiki ini. Setelah Anda situs adalah reachable again, Google typically resumes wajar crawling pada -nya own — Google tidak publish sebuah fixed recovery window, so jangan expect sebuah instant flip back untuk green. Anda job adalah hanya untuk figure out yang dari three memeriksa failed dan perbaiki underlying issue.

Satu hal host status adalah tidak: sebuah peringkat penalty. ini adalah sebuah crawling sinyal, tidak sebuah strike terhadap Anda. ingin deeper versi — tepat crawl-pause timeline, 4xx-vs-5xx pembedaan, dan sebuah troubleshooting tree? Switch untuk Advanced tab.

Uji pemahaman Anda: host status

Five quick pertanyaan pada reading dan responding untuk Statistik Crawling host-status indicator. Pick sebuah jawaban untuk setiap, lalu periksa.

TL;DR — Host status adalah availability lens di top dari GSC’s crawl Stats report — sebuah historical record dari apa Google observed, tidak sebuah langsung uptime periksa — assessed di atas terakhir 90 days di seluruh three memeriksa: robots.txt fetching, DNS resolution, dan server connectivity. Green = Tidak significant issues; yellow = sebuah issue lebih daripada sebuah week ago (typically ages out dari report pada -nya own); red = sebuah issue di terakhir week. highest-stakes failure adalah sebuah unreachable robots.txt: Google berhenti crawling untuk pertama 12 hours, lalu falls back untuk terakhir baik cached copy — jika satu ada — untuk up untuk ~30 days, setelah yang perilaku bergantung pada Anda situs’s lebih luas availability. sebuah 4xx robots.txt adalah fine (Google melakukan crawl freely); sebuah 5xx/timeout/DNS failure adalah apa pauses crawling — itu underlying failure, tidak host-status label, adalah apa throttles crawling. ada Tidak reset button, dan state returning untuk green tidak proof crawling, pengindeksan, atau rankings memiliki fully recovered.

Apa host status sebenarnya measures

Search Console documents host status di dalam Statistik Crawling dan evaluates availability di atas sebelumnya 90 days. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report Diagnose individual URL outcomes secara terpisah di pemeriksaan URL atau halaman pengindeksan. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report

Host status jawaban sebuah sempit pertanyaan: di atas terakhir 90 days, dapat Googlebot reach host di semua? itu’s sebuah berbeda pertanyaan dari “adalah ini halaman indexed” (terjemahan) “adalah ini halaman terindeks” atau “melakukan ini URL throw an error.” (terjemahan) “melakukan ini URL throw sebuah error.” ini adalah situs/host-tingkat availability, tidak per-URL crawl errors — yang adalah persis mengapa I pertahankan ini mentally terpisah dari halaman pengindeksan.

ini adalah juga worth menjadi precise tentang apa jenis dari “availability” (terjemahan) “availability” ini adalah. Host status adalah sebuah historical record dari apa Google observed selama crawling, tidak sebuah langsung uptime monitor — sebuah green state saat ini tidak prove Anda situs adalah reachable ini kedua, dan sebuah red state tidak prove ini adalah down now, hanya itu sebuah significant issue crossed Google’s threshold sometime di terakhir week. untuk sebuah langsung periksa dari saat ini moment, Anda perlu sebuah direct probe, tidak ini report.

ini lives di top dari Statistik Crawling report (Settings → Statistik Crawling), yang adalah hanya tersedia untuk domain atau root-tingkat property access — tidak URL-prefix subfolders. lebih luas Statistik Crawling report covers volume dan performa (total crawl permintaan, download size, average respons time, crawl purpose, file jenis, kode respons); host status adalah tighter availability slice. Ketika I’m diagnosing sebuah crawl slump, host status tells me apakah Google dapat connect; rest dari report dan my server logs tell me apa happened.

three memeriksa

Google assesses host availability di seluruh three categories, setiap dengan -nya own failure-rate graph di host detail:

• robots.txt fetching — “The graph shows the failure rate for robots.txt requests during a crawl.” (terjemahan) “ graph menampilkan failure rate untuk robots.txt permintaan selama sebuah crawl.” ini adalah highest-stakes periksa (lebih di bawah).
• DNS resolution — “Itu graph menunjukkan ketika Anda DNS server tidak recognize Anda hostname atau tidak respond during crawling.” (terjemahan) “ graph menampilkan ketika Anda DNS server tidak recognize Anda hostname atau tidak respond selama crawling.”
• server connectivity — “Itu graph menunjukkan ketika Anda server adalah unresponsive atau melakukan tidak sediakan a penuh response untuk a URL during a crawl.” (terjemahan) “ graph menampilkan ketika Anda server adalah unresponsive atau melakukan tidak menyediakan sebuah penuh respons untuk sebuah URL selama sebuah crawl.” Think 5xx, timeouts, dan truncated/sebagian respons.

three status

indicator summarizes itu memeriksa di atas sebuah rolling 90-day window:

• Green — “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (terjemahan) “Google tidak encounter apa pun significant crawl availability issues pada Anda situs di past 90 days—baik job!”
• Yellow / “had problems in the past” (terjemahan) “memiliki masalah di past” — Google encountered setidaknya satu significant crawl-availability issue di terakhir 90 days, tetapi ini occurred lebih daripada sebuah week ago. ini state biasanya self-heals: setelah sebuah week melewati dengan Tidak recurrence, ini mengembalikan untuk green. Anda umumnya jangan perlu untuk melakukan apa pun beyond confirming penyebab adalah hilang.
• Red / “problems now” (terjemahan) “masalah now” — Google encountered setidaknya satu significant crawl-availability issue di terakhir week. ini adalah satu untuk triage.

So yellow/red split adalah benar-benar hanya sebuah timing pembedaan: red = di dalam terakhir week (“saat ini” (terjemahan) “saat ini”), yellow = sebelumnya di 90-day window (“di itu past” (terjemahan) “di past”). tepat color names dan icon labels adalah interface detail Google dapat perubahan; apa durable adalah itu recency-based meaning.

setiap category hanya counts sebagai sebuah “significant” (terjemahan) “significant” issue setelah -nya failure rate crosses sebuah threshold Google draws sebagai sebuah dotted line pada itu category’s graph. Google memberikan DNS failures di atas 5% dari sebuah day’s permintaan sebagai satu contoh dari di mana itu line sits — ini adalah sebuah illustration untuk DNS, tidak sebuah terdokumentasi universal threshold itu applies yang sama cara untuk robots.txt fetching dan server connectivity.

Mengapa robots.txt failures adalah paling dangerous

jika Google dapat’t mendapatkan sebuah acceptable robots.txt respons, “Google akan slow atau berhenti crawling Anda site until it dapat mendapatkan an acceptable robots.txt response.” (terjemahan) “Google akan slow atau berhenti crawling Anda situs until ini dapat mendapatkan sebuah acceptable robots.txt respons.” itu’s sebuah seluruh-situs pause, tidak sebuah satu-URL masalah — yang adalah apa membuat sebuah red host status driven oleh robots.txt sebuah emergency.

detailed timeline lives di Google’s robots.txt spec. Ketika robots.txt mengembalikan 5xx, kesalahan server, atau network failures:

• pertama 12 hours: Google berhenti crawling situs tetapi mempertahankan trying untuk fetch robots.txt file.
• Berikutnya ~30 days: jika Google dapat’t fetch sebuah baru versi, ini falls back untuk terakhir baik cached versi sementara masih trying untuk fetch sebuah fresh satu. sebuah 503 di particular triggers fairly frequent retrying; jika ada Tidak cached versi tersedia, Google assumes tidak ada crawl restrictions.
• setelah 30 days: perilaku diverges berdasarkan overall situs health. jika situs umumnya menyajikan fine, Google behaves sebagai jika ada Tidak robots.txt (dan mempertahankan memeriksa); jika situs memiliki lebih luas availability masalah, Google berhenti crawling situs sementara masih periodically requesting robots.txt.

critical nuance — dan sebuah umum myth — adalah 4xx vs 5xx pembedaan. Google’s HTTP status-code menangani untuk robots.txt:

• 2xx (success): crawler proses robots.txt sebagai disajikan.
• 3xx (redirect): Google mengikuti setidaknya five redirect hops, lalu memperlakukan ini sebagai sebuah 404.
• 4xx (except 429): treated sebagai jika sebuah valid robots.txt tidak exist — i.e. Google melakukan crawl freely.
• 5xx / 429 / network / DNS: treated sebagai kesalahan server → crawl-pause timeline di atas.

So sebuah missing robots.txt (sebuah bersih 404) melakukan tidak pause crawling. sebuah unreachable satu (5xx, timeout, DNS failure) melakukan. dan critically, “a robots.txt file yang cannot menjadi fetched due untuk DNS atau networking issues, such sebagai timeouts, tidak valid responses, reset atau interrupted connections, dan HTTP chunking errors, adalah treated sebagai a server error.” (terjemahan) “sebuah robots.txt file yang cannot menjadi fetched karena DNS atau networking issues, such sebagai timeouts, tidak valid respons, reset atau interrupted connections, dan HTTP chunking errors, adalah treated sebagai sebuah server error.” sebuah flaky DNS provider dapat stall Anda crawl persis like sebuah 5xx.

DNS dan server connectivity

DNS dan server-connectivity failures adalah lebih intuitive tetapi Tidak lebih sedikit nyata. DNS resolution failures berarti Google’s resolvers tidak dapat turn Anda hostname ke sebuah address di beberapa poin di window. Treat spesifik penyebab sebagai sebuah hypothesis untuk konfirmasi, tidak sebuah diberikan — candidates sertakan buruk nameservers, sebuah outage di Anda DNS provider, atau DNS-tingkat rate limiting dari Googlebot, dan telling them apart perlu Anda DNS records, nameserver logs, dan provider status history alongside Statistik Crawling graph. server-connectivity failures adalah 5xx, 429, timeouts, dan sebagian/truncated respons; likewise, sebuah overloaded origin dan sebuah CDN/WAF throttling Googlebot’s IP ranges adalah keduanya plausible explanations itu Anda origin dan edge logs — tidak graph alone — memiliki untuk konfirmasi.

ini ties straight back untuk laju crawling. sebagai I’ve ditulis di my anggaran crawling guide, “Google akan slow down mereka crawling jika they menerima too banyak 5xx (server errors) atau 429 (too banyak requests) HTTP status codes.” (terjemahan) “Google akan slow down mereka crawling jika mereka menerima too banyak 5xx (server errors) atau 429 (terlalu banyak permintaan) HTTP kode status.” John Mueller dibuat sama poin tentang bagaimana fast crawl reacts:

“I’d hanya expect itu laju crawling untuk react itu quickly jika they adalah returning 429 / 500 / 503 / timeouts, so I’d double-periksa apa sebenarnya happened (404s adalah generally fine & setelah discovered, Googlebot akan retry them anyway).” (terjemahan) “I’d hanya expect laju crawling untuk react itu quickly jika mereka adalah returning 429 / 500 / 503 / timeouts, so I’d double-periksa apa sebenarnya happened (404s adalah umumnya fine & setelah ditemukan, Googlebot akan retry them anyway).” — John Mueller, Google.

ada sebuah subtle trap di sini. Returning 503/429 adalah legitimate pendek-istilah cara untuk tell Googlebot untuk slow down — tetapi ini adalah yang sama sinyal itu drives sebuah red host status. ini adalah sebuah temporary throttle, tidak sebuah strategy: lean pada ini too panjang dan Anda risk halaman dropping out dari indeks. sinyal itu lets Anda ease sebuah crawl adalah sinyal itu, sustained, looks like sebuah outage.

Apa Anda tidak perlu untuk melakukan

sebuah sedikit hal orang overthink:

• ada Tidak “reset crawl rate” (terjemahan) “reset laju crawling” button. laju crawling typically recovers pada -nya own setelah availability adalah restored — Google tidak document sebuah fixed recovery window atau SLA untuk itu, so jangan expect ini untuk happen pada apa pun particular schedule. old manual crawl-rate limiter di Search Console adalah deprecated; Anda tidak (dan dapat’t) manually kick crawling back up.
• Yellow biasanya fades pada -nya own. Setelah sebuah week melewati tanpa issue recurring, state ages back untuk green. Konfirmasi root penyebab adalah hilang, lalu verify recovery independently alih-alih trusting color alone: periksa saat ini reachability, watch failing category’s graph trend back di bawah -nya threshold, konfirmasi crawl volume di rest dari Statistik Crawling looks wajar again, dan, jika ini penting untuk sebuah spesifik URL, periksa recrawl/indeks status di halaman pengindeksan.
• ini adalah tidak sebuah peringkat penalty. Host status memengaruhi crawling, tidak rankings secara langsung, dan pada -nya own ini tidak jelaskan sebuah traffic perubahan — correlate affected window dengan crawl, indeks, dan performa data sebelum assuming penyebab. indirect risk adalah itu sebuah sustained inability untuk crawl eventually memengaruhi freshness dan, downstream, pengindeksan — tetapi ada Tidak manual tindakan attached untuk sebuah yellow atau red indicator.

Host status vs lebih luas Statistik Crawling report

pertahankan scopes straight. Host status adalah satu bagian dari Statistik Crawling report — availability lens. rest dari report ( bagian sebagian besar orang berarti ketika mereka say “Statistik Crawling” (terjemahan) “Statistik Crawling”) adalah tentang volume dan performa di atas time. sebagai I’ve mengatakan elsewhere, ketika Anda’re chasing sebuah crawling masalah “itu best place untuk look adalah itu Statistik Crawling report di Google Search Console” (terjemahan) “ best place untuk look adalah Statistik Crawling report di Google Search Console” — dan host status adalah pertama hal di ini I periksa, karena jika Google dapat’t reach host, tidak ada apa pun else di report penting namun. lebih luas report adalah -nya own topic; ini satu adalah tightly tentang availability indicator.

AI summary

sebuah condensed take pada Advanced versi:

• Host status = “melakukan Google’s crawl history menunjukkan it could reach itu host?” (terjemahan) “melakukan Google’s crawl history tampilkan ini dapat reach host?” ini adalah availability indicator di top dari GSC’s Statistik Crawling report (Settings → Statistik Crawling), assessed di atas terakhir 90 days. ini adalah sebuah historical record, tidak sebuah langsung uptime periksa, dan ini adalah host/situs-tingkat, tidak per-URL.
• Three memeriksa: robots.txt fetching, DNS resolution, server connectivity — setiap dengan -nya own failure-rate graph, flagged setelah ini crosses sebuah threshold (Google’s own contoh: DNS failures di atas 5% dari sebuah day’s permintaan).
• Three status: green (Tidak significant issues di 90 days); yellow (issue lebih daripada sebuah week ago — typically ages back untuk green pada -nya own); red (issue di terakhir week — triage ini). Colors dan labels adalah interface detail; recency adalah durable meaning.
• robots.txt adalah highest-stakes periksa. jika Google dapat’t mendapatkan sebuah acceptable robots.txt respons ini adalah underlying failure — tidak host-status label — itu slows atau berhenti crawling seluruh situs: ~12 hours fully berhenti sementara retrying, lalu up untuk ~30 days pada terakhir cached copy jika satu ada, lalu perilaku bergantung pada overall situs health.
• 4xx vs 5xx penting: sebuah 404 robots.txt = crawl freely; sebuah 5xx/timeout/DNS failure = crawl pause. DNS/network errors count sebagai kesalahan server.
• 5xx dan 429 throttle laju crawling (Mueller: 429/500/503/timeouts react fast; 404s adalah umumnya fine). yang sama 503/429 throttle adalah sebuah pendek-istilah alat, tidak sebuah strategy.
• Recovery typically happens pada -nya own setelah availability adalah restored, tetapi Google documents Tidak fixed recovery window — Tidak reset button; manual crawl-rate limiter adalah deprecated. state aging back untuk green tidak proof crawling, pengindeksan, atau rankings memiliki fully recovered; verify independently.
• Tidak sebuah peringkat penalty pada -nya own. ini adalah sebuah crawl-availability sinyal, distinct dari halaman pengindeksan errors dan lebih luas daripada rest dari crawl Stats report — correlate dengan crawl/indeks/performa data sebelum assigning penyebab untuk sebuah traffic perubahan.

Dokumentasi resmi

Utama-sumber documentation dari Google.

Google

• Statistik Crawling report — report itu berisi host status; defines three memeriksa dan three status.
• Bagaimana Google interprets robots.txt specification — robots.txt fetch-failure timeline (12-hour berhenti, 30-day cached fallback) dan HTTP status-code menangani.
• Troubleshoot Google Search crawling errors — Google’s umum crawl-error troubleshooting.
• Debug Network dan DNS errors untuk Google’s crawler — DNS dan network-tingkat diagnostics.

Quotes dari sumber

pada—record statements dari Google. setiap tautan jumps toward quoted passage pada sumber halaman.

Google — three status (Statistik Crawling report)

• “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (terjemahan) “Google tidak encounter apa pun significant crawl availability issues pada Anda situs di past 90 days—baik job!” — Google Search Console Help (green state). Jump untuk quote
• “Google encountered at least one significant crawl availability issue in the last 90 days on your site, but it occurred more than a week ago.” (terjemahan) “Google encountered setidaknya satu significant crawl availability issue di terakhir 90 days pada Anda situs, tetapi ini occurred lebih daripada sebuah week ago.” — Google Search Console Help (yellow / “problems in the past” (terjemahan) “masalah di past” state). Jump untuk quote
• “Google encountered at least one significant crawl availability issue in the last week on your site.” (terjemahan) “Google encountered setidaknya satu significant crawl availability issue di terakhir week pada Anda situs.” — Google Search Console Help (red / “problems now” (terjemahan) “masalah now” state). Jump untuk quote

Google — three memeriksa (Statistik Crawling report)

• “The graph shows the failure rate for robots.txt requests during a crawl.” (terjemahan) “ graph menampilkan failure rate untuk robots.txt permintaan selama sebuah crawl.” — Google Search Console Help (robots.txt fetching). Jump untuk quote
• “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” (terjemahan) “Grafik menunjukkan saat server DNS Anda tidak mengenali nama host atau tidak merespons selama crawling.” — Google Search Console Help (DNS resolution). Jump untuk quote
• “The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.” (terjemahan) “Grafik menunjukkan saat server Anda tidak merespons atau tidak memberikan respons lengkap untuk suatu URL selama crawling.” — Google Search Console Help (server connectivity). Jump untuk quote

Google — robots.txt crawl-pause mechanic

• “Google will slow or stop crawling your site until it can get an acceptable robots.txt response.” (terjemahan) “Google akan slow atau berhenti crawling Anda situs until ini dapat mendapatkan sebuah acceptable robots.txt respons.” — Google Search Console Help (robots.txt fetching bagian). Jump untuk quote
• “For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file.” (terjemahan) “untuk pertama 12 hours, Google berhenti crawling situs tetapi mempertahankan trying untuk fetch robots.txt file.” — Google untuk Developers, robots.txt spec. Jump untuk quote
• “A robots.txt file which cannot be fetched due to DNS or networking issues, such as timeouts, invalid responses, reset or interrupted connections, and HTTP chunking errors, is treated as a server error.” (terjemahan) “Berkas robots.txt yang tidak dapat diambil akibat masalah DNS atau jaringan—seperti batas waktu, respons tidak valid, koneksi direset atau terputus, dan kesalahan HTTP chunking—diperlakukan sebagai kesalahan server.” — Google untuk Developers, robots.txt spec. Jump untuk quote

John Mueller, Google (relayed melalui mesin pencari Journal)

• “I’d hanya expect itu laju crawling untuk react itu quickly jika they adalah returning 429 / 500 / 503 / timeouts, so I’d double-periksa apa sebenarnya happened (404s adalah generally fine & setelah discovered, Googlebot akan retry them anyway).” (terjemahan) “I’d hanya expect laju crawling untuk react itu quickly jika mereka adalah returning 429 / 500 / 503 / timeouts, so I’d double-periksa apa sebenarnya happened (404s adalah umumnya fine & setelah ditemukan, Googlebot akan retry them anyway).” Baca coverage

Host-status triage checklist

sebuah lulus untuk jalankan ketika host status goes yellow atau red. berfungsi failing periksa pertama.

jika robots.txt fetching adalah failing

• Konfirmasi robots.txt mengembalikan 200 (atau sebuah bersih 404) — tidak 5xx, 429, atau sebuah timeout. sebuah 404 adalah fine; sebuah server error adalah apa pauses crawling.
• Test file di GSC’s robots.txt report dan fetch ini yourself dari multiple locations.
• periksa apakah sebuah CDN, WAF, atau rate-limiter adalah blocking atau throttling Googlebot.
• pastikan file adalah reachable dan reasonably kecil (sebuah sedikit hundred KB di sebagian besar).

jika DNS resolution adalah failing

• Konfirmasi Anda domain resolves (dig/nslookup dari di luar Anda network).
• periksa Anda DNS provider’s status/uptime untuk failure window.
• cari misconfigured atau slow nameservers.
• Verify tidak ada apa pun adalah rate-limiting Googlebot di DNS layer.

jika server connectivity adalah failing

• periksa logs untuk 5xx, 429, dan timeouts selama flagged window.
• Konfirmasi origin tidak overloaded (capacity, DB, upstream timeouts).
• Verify sebuah firewall/CDN tidak throttling Googlebot’s IP ranges.
• cari sebagian/truncated respons.

selalu

• Cross-reference host-status graph timestamps dengan deploys, outages, dan config perubahan.
• Corroborate dengan server logs dan Statistik Crawling respons-code breakdown.
• Setelah fixed, melakukan tidak ada apa pun else — crawling recovers secara otomatis; yellow self-heals setelah sebuah jelas week.

mental models

1. Three memeriksa, satu pertanyaan. Host status hanya menanyakan “dapat Google reach itu host?” (terjemahan) “dapat Google reach host?” melalui robots.txt fetching, DNS resolution, dan server connectivity. Identify yang periksa failed sebelum Anda touch apa pun — perbaiki untuk sebuah DNS outage looks tidak ada apa pun like perbaiki untuk sebuah 5xx storm.

2. mesin status adalah sebuah clock, tidak sebuah severity dial. Green = bersih untuk 90 days. Red = sebuah masalah di terakhir week. Yellow = sebuah masalah sebelumnya di window. Yellow → green happens pada -nya own setelah sebuah week melewati tanpa recurrence. So “red” (terjemahan) “red” tidak “worse than yellow” (terjemahan) “worse daripada yellow” — ini adalah “more recent.” (terjemahan) “lebih recent.”

3. robots.txt decision aturan.

• 2xx → processed sebagai disajikan.
• 3xx → diikuti ~5 hops, lalu treated sebagai 404.
• 4xx (except 429) → treated sebagai Tidak robots.txt → crawl freely.
• 5xx / 429 / timeout / DNS failure → server error → crawl pause (12h berhenti → ~30d cached fallback → bergantung pada situs health).

sebuah missing robots.txt adalah safe. sebuah unreachable satu adalah emergency.

4. Host status adalah upstream dari semuanya else. jika Google dapat’t connect untuk host, Tidak per-URL report tells Anda apa pun berguna namun. jelas host status pertama, lalu baca rest dari Statistik Crawling dan halaman pengindeksan.

5. throttle adalah juga symptom. 503/429 adalah legitimate cara untuk tell Googlebot untuk slow down — dan tepat sinyal itu lights up sebuah red host status. gunakan ini briefly dan pada purpose; sustained, ini berhenti looking like sebuah throttle dan dimulai looking like sebuah outage (dengan pengindeksan risk).

Host status — cheat sheet

** three status (90-day window)**

** three memeriksa**

robots.txt status-code menangani

robots.txt crawl-pause timeline (pada server error)

• pertama 12 hours: berhenti crawling, mempertahankan retrying file.
• Berikutnya ~30 days: menggunakan terakhir baik cached copy, masih retrying.
• setelah 30 days: bergantung pada overall situs health.

Fast facts

• Host status lives di Settings → Statistik Crawling (top dari report).
• Domain/root-property hanya — tidak URL-prefix subfolders.
• Recovery adalah typically hands-off setelah availability adalah restored — Tidak reset button, Tidak terdokumentasi fixed timeline (manual crawl-rate limiter deprecated).
• ini adalah host-tingkat, tidak per-URL — distinct dari halaman pengindeksan errors.
• ini adalah tidak sebuah peringkat penalty.

alat untuk diagnosing host status

• Google Search Console — Statistik Crawling report — di mana host status lives (Settings → Statistik Crawling), plus three per-periksa failure-rate graphs dan respons-code breakdown.
• GSC robots.txt report — konfirmasi Google dapat fetch Anda robots.txt dan see kode status ini mendapat.
• server log file analysis — ground truth untuk apa Googlebot sebenarnya diterima (5xx/429/timeouts) dan ketika. alat: Screaming Frog Log File Analyser, atau pipe logs ke BigQuery / sebuah log platform.
• DNS diagnostics — dig / nslookup, plus Anda DNS provider’s status halaman, untuk konfirmasi resolution selama flagged window.
• Uptime / status monitoring — untuk line up host-status dips dengan nyata outages, deploys, dan config perubahan.

Apa seharusnya I melakukan dengan ini host-status state?

Host-status mistakes itu delay recovery

Treating sebuah missing robots.txt file like sebuah outage

Mengapa ini adalah wrong: Google memperlakukan sebagian besar 4xx respons, including sebuah bersih 404, sebagai jika Tidak robots.txt restrictions exist. 5xx, 429, DNS failures, dan timeouts adalah respons itu trigger crawl pausing. melakukan alih-alih: test sebenarnya kode respons dan availability sebelum membuat sebuah file sekadar untuk membuat 404 disappear.

Menunggu untuk sebuah manual crawl-rate reset

Mengapa ini adalah wrong: tidak ada reset button, dan old crawl-rate control adalah tidak recovery path. melakukan alih-alih: restore stable respons dan let Googlebot increase crawling secara otomatis.

Reading red dan yellow sebagai severity grades

Mengapa ini adalah wrong: colors mainly encode recency. Red berarti sebuah significant masalah occurred di terakhir week; yellow berarti ini occurred sebelumnya di rolling 90-day window. melakukan alih-alih: gunakan failing periksa dan timestamps untuk judge severity.

menggunakan 503 atau 429 sebagai sebuah permanent crawl-control strategy

Mengapa ini adalah wrong: itu codes dapat menjadi sebuah legitimate pendek-istilah throttle, tetapi mereka adalah juga server-error sinyal itu reduce crawling dan dapat become sebuah pengindeksan risk ketika sustained. melakukan alih-alih: gunakan them briefly selama nyata overload dan perbaiki capacity atau edge aturan causing pressure.

Diagnosing sebuah host-tingkat failure satu URL di sebuah time

Mengapa ini adalah wrong: host status summarizes robots.txt, DNS, dan connectivity failures di host tingkat. melakukan alih-alih: correlate failure-rate graph dengan server, CDN, WAF, DNS, dan deployment logs sebelum chasing isolated halaman templates.

Quick host-availability memeriksa

periksa robots.txt dan -nya rantai pengalihan

Jalankan ini di sebuah macOS/Linux shell. Replace hostname; -L mengikuti redirects dan output exposes apakah akhir respons adalah acceptable atau sebuah crawl-pausing server error.

curl -sS -L -o /dev/null -w 'final=%{url_effective} code=%{http_code} redirects=%{num_redirects} time=%{time_total}s\n' https://example.com/robots.txt

Jalankan equivalent di PowerShell untuk see setiap hop dan akhir status.

$r = Invoke-WebRequest -Uri 'https://example.com/robots.txt' -MaximumRedirection 5
[pscustomobject]@{ Status = [int]$r.StatusCode; FinalUrl = $r.BaseResponse.ResponseUri.AbsoluteUri }

periksa authoritative DNS dari command line

Jalankan ini di sebuah macOS/Linux shell. sebuah missing atau intermittent jawaban poin untuk DNS path alih-alih origin application.

dig +short A example.com
dig +short AAAA example.com
dig +trace example.com

Jalankan PowerShell equivalent pada Windows.

Resolve-DnsName example.com -Type A
Resolve-DnsName example.com -Type AAAA

Summarize crawl-pause kode respons dari sebuah access log

Jalankan ini di sebuah shell terhadap sebuah standard combined access log. Adjust log field jika Anda format differs; expression counts 429 dan 5xx respons untuk Googlebot.

awk 'tolower($0) ~ /googlebot/ && ($9 == 429 || $9 ~ /^5[0-9][0-9]$/) { count[$9]++ } END { for (code in count) print code, count[code] }' access.log | sort

Resources worth Anda time

My related writing

• Ketika seharusnya Anda Worry tentang anggaran crawling? — di mana 5xx/429 throttle, Statistik Crawling report, dan host availability fit ke bigger crawl-budget picture.
• Robots.txt dan SEO: Semuanya Anda perlu Know — file milik siapa unreachability drives highest-stakes host-status failure.

dari others

• Googlebot crawl Slump? Mueller poin untuk kesalahan server — mesin pencari Journal, Aug 2025; Mueller quote pada 429/500/503/timeouts.
• 5 Top Statistik Crawling Insights di Google Search Console — mesin pencari Journal, pada reading lebih luas report host status sits di dalam.
• Bagaimana Google interprets robots.txt specification — Google untuk Developers; authoritative sumber untuk 12-hour crawl-berhenti dan 30-day cached-fallback timeline.
• Debug Network dan DNS errors untuk Google’s crawler — Google untuk Developers; DNS dan network-tingkat diagnostics secara langsung relevant untuk DNS resolution periksa.
• Troubleshoot Google Search crawling errors — Google untuk Developers; Google’s own guide untuk diagnosing server-connectivity failures itu drive sebuah red host status.
• r/TechSEO — community untuk crawl/availability debugging.

Log perubahan