Statistik Crawling Report

TL;DR — Statistik Crawling report menampilkan bagaimana Google memiliki telah crawling Anda situs di atas terakhir 90 days — bagaimana banyak times ini ditanyakan untuk halaman, bagaimana banyak ini downloaded, dan bagaimana fast Anda server responded. Anda temukan ini di bawah Settings di Google Search Console, dan ini adalah tersedia untuk sebuah root-tingkat property rather daripada sebuah path-scoped property. untuk sebagian besar situs ini adalah sebuah health periksa, tidak sesuatu Anda perlu mengoptimalkan.

Apa Statistik Crawling report adalah

Ketika Google’s crawler — Googlebot — visits Anda situs, setiap permintaan ini membuat mendapatkan logged pada Google’s side. Statistik Crawling report adalah di mana Google menampilkan Anda sebuah summary dari itu activity: bagaimana sering ini came oleh, apa ini downloaded, dan apakah ini ran ke masalah.

Anda’ll temukan ini di Google Search Console di bawah Settings → Statistik Crawling (ini adalah tidak di main sidebar dengan lainnya reports). ini covers roughly terakhir 90 days.

Di mana untuk temukan ini (dan mengapa Anda mungkin tidak see ini)

paling umum alasan orang dapat’t temukan report adalah sederhana: ini hanya menampilkan up untuk root-tingkat properties. itu covers sebuah domain property (hanya domain, Tidak https:// prefix) dan sebuah URL-prefix property verified di situs’s root (like https://example.com). jika Anda ditambahkan sebuah URL-prefix property pointing di sebuah subfolder atau subpath, Anda tidak akan mendapatkan report.

perbaiki adalah untuk verify sebuah root-tingkat property — domain atau root URL-prefix. sama situs, berbeda property jenis — dan report muncul.

three angka up top

• Total crawl permintaan — bagaimana banyak times Googlebot ditanyakan untuk sebuah URL pada Anda situs, apakah ini succeeded atau tidak.
• Total download size — bagaimana banyak bytes Google downloaded sementara crawling.
• Average respons time — bagaimana panjang, pada average, Anda server took untuk respond.

ini adalah trends untuk watch, tidak targets untuk hit. ada Tidak “right” (terjemahan) “right” angka. Apa penting adalah shape dari line di atas time.

seharusnya Anda bahkan worry tentang ini?

Probably tidak, honestly. ada sebuah lot dari anxiety sekitar “anggaran crawling,” (terjemahan) “anggaran crawling,” tetapi sebagian besar situs tidak pernah perlu untuk think tentang ini. report adalah far lebih berguna sebagai sebuah early-warning sistem untuk server masalah daripada sebagai sebuah dashboard untuk mengoptimalkan.

hal untuk watch untuk adalah Anda server struggling. jika Anda average respons time climbs atau Anda mulai seeing kesalahan server, Google notices dan melakukan crawl Anda lebih sedikit untuk hindari membuat hal worse. So jika halaman suddenly tidak getting picked up, ini report adalah satu dari pertama places I’d look.

ada juga sebuah Host status summary di sini itu flags apakah Google memiliki trouble reaching Anda situs di semua (fetching robots.txt, DNS, connecting untuk server). itu’s paling penting block — jika ini adalah red, perbaiki itu pertama.

ingin penuh metric-oleh-metric breakdown dan apa setiap pattern berarti? Switch untuk Advanced tab.

TL;DR — Statistik Crawling (Settings → Statistik Crawling, root-tingkat properties hanya — Domain atau root URL-prefix) reports total crawl permintaan, total download size, dan average respons time di atas ~90 days, plus breakdowns oleh respons, file jenis, Googlebot jenis, dan purpose (penemuan vs Refresh). Baca ini sebagai sebuah server-health monitor, tidak sebuah crawl-budget vanity dashboard: rising respons time atau 5xx membuat Google reduce crawl capacity, dan sebuah sustained robots.txt failure dapat halt crawling. ini adalah closest GSC mendapatkan untuk log data, tetapi ini covers Google’s crawler hanya dan tidak guaranteed untuk menjadi permintaan-menyelesaikan — untuk semua bot, pengguna, dan sebuah menyelesaikan record Anda masih perlu server logs. Google scopes -nya own crawl-budget guidance untuk besar, frequently-mengubah situs; untuk sebagian besar lebih kecil situs, di my experience, ini hampir tidak pernah penting.

Apa ini adalah dan di mana ini lives

Google’s own framing adalah direct: “Itu Statistik Crawling report menunjukkan Anda statistics tentang Google’s crawling history pada Anda website.” (terjemahan) “ Statistik Crawling report menampilkan Anda statistics tentang Google’s crawling history pada Anda situs web.” Anda mendapatkan untuk ini di bawah Settings → Statistik Crawling — tidak di main report sidebar, yang trips sebuah lot dari orang up.

single biggest alasan orang think report adalah “missing” (terjemahan) “missing” atau “rusak” (terjemahan) “rusak”: Google hanya menampilkan ini untuk root-tingkat properties. di mereka kata, “This report is available only for root-level properties.” (terjemahan) “Laporan ini hanya tersedia untuk properti tingkat root.” itu covers keduanya sebuah Domain property dan sebuah URL-prefix property verified di situs’s root (misalnya, https:// example.com) — ini tidak limited untuk protocol-lebih sedikit Domain properties. jika Anda verified sebuah URL-prefix property scoped untuk sebuah subfolder atau subpath, re-verify di root tingkat dan ini muncul. ada tidak ada apa pun wrong dengan Anda situs.

seharusnya Anda care? crawl-budget reframe

sebagian besar situs melakukan tidak perlu untuk mengoptimalkan anggaran crawling, dan report’s nyata nilai adalah health monitoring alih-alih budget tuning. Google scopes -nya own crawl-budget guidance untuk besar situs (1M+ unique halaman) dan medium-atau-lebih besar situs (10k+ halaman dengan daily perubahan). Di bawah itu, ini adalah sebuah diagnostic, tidak sebuah project.

Google juga frames report itself sebagai dibangun untuk advanced pengguna, dan says situs di bawah roughly 1 000 halaman umumnya jangan perlu untuk dig ke ini di ini granularity — sebuah lebih kecil threshold daripada crawl-budget guidance di atas. My own aturan dari thumb adalah looser: untuk sebagian besar situs di bawah tentang 10 000 halaman, I masih tidak akan spend banyak time pada anggaran crawling. Treat itu sebagai practitioner judgment, tidak sebuah official cutoff.

laju crawling adalah governed oleh dua hal berfungsi together — crawl capacity limit dan crawl demand. Capacity adalah apa Anda server dapat tangani. Google defines capacity limit sebagai “The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (terjemahan) “Batas kapasitas adalah jumlah maksimum koneksi paralel simultan yang dapat digunakan Google untuk merayapi situs, beserta jeda waktu antar-pengambilan.” Demand adalah bagaimana banyak Google ingin untuk crawl, driven oleh factors like popularity dan staleness. report adalah di mana consequences dari keduanya tampilkan up. (Lebih pada concept di anggaran crawling.)

sebuah sedikit cakupan detail worth knowing sebelum Anda baca angka: report counts sebenarnya URL Googlebot requested alih-alih canonical ini resolves untuk, dan ini counts duplicate permintaan dan setiap server-side redirect hop secara terpisah (client-side redirects tidak counted sebagai redirect respons di sini). ini adalah scoped untuk property atau host Anda’re viewing — resources pada lainnya domains, dan sometimes sibling atau child domains, dapat menjadi di bawah- atau di atas-represented depending pada property jenis. dan per Google’s own documentation, report reflects sebagian besar crawl permintaan tetapi dapat omit beberapa, so sebuah kecil mismatch terhadap Anda own server logs adalah yang diharapkan, tidak sebuah bug.

ini adalah closest hal Search Console memberikan Anda untuk log-file data — tetapi ini adalah Google’s crawler hanya, aggregated, dan tidak guaranteed untuk menjadi permintaan-menyelesaikan. jika Anda ingin hits dari semua bot dan pengguna, atau sebuah guaranteed menyelesaikan record, Anda perlu Anda server logs. Treat Statistik Crawling sebagai free pertama look sebelum Anda invest di log analysis.

three top-line metrics

Baca ini sebagai trends, tidak targets:

• Total crawl permintaan — “The total number of crawl requests issued for URLs on your site, whether successful or not.” (terjemahan) “Jumlah total permintaan crawling untuk URL di situs Anda, baik yang berhasil maupun tidak.” setiap permintaan counts, including ones itu errored.
• Total download size — “Total number dari bytes downloaded dari Anda site during crawling, untuk itu specified time period.” (terjemahan) “Total angka dari bytes downloaded dari Anda situs selama crawling, untuk specified time period.”
• Average respons time — “Average waktu respons untuk all resources fetched dari Anda site during itu specified time period.” (terjemahan) “Average respons time untuk semua resources fetched dari Anda situs selama specified time period.” ini adalah effectively sebuah server-health proxy. sebuah sustained spike adalah sebuah performa alarm, dan Google dapat respond oleh dropping Anda crawl capacity limit — so SEO harm adalah indirect (lebih lambat, lebih sedikit crawling), terpisah dari apa pun halaman-speed peringkat factor.

Breakdown: oleh respons

ini table, di Google’s kata, menampilkan “itu responses itu Google diterima ketika crawling Anda site, grouped oleh response jenis, sebagai a percentage dari all crawl responses.” (terjemahan) “ respons itu Google diterima ketika crawling Anda situs, grouped oleh respons jenis, sebagai sebuah percentage dari semua crawl respons.” respons jenis sertakan OK (200), Moved permanently (301), Moved temporarily (302), tidak ditemukan (404), server error (5XX), dan robots.txt tidak tersedia.

Bagaimana I baca setiap pattern:

• 200 seharusnya menjadi besar majority. Google tidak publish sebuah spesifik target percentage, so judge ini terhadap Anda own baseline dan watch untuk sustained shifts alih-alih chasing sebuah tepat angka.
• Lots dari 404s tidak fatal tetapi sinyal wasted crawl — Google spending permintaan pada URLs itu jangan exist.
• Lots dari 301s poin di rantai pengalihan atau tautan internal masih aimed di old URLs. Perbaiki tautan untuk poin di akhir destination.
• sebuah 5xx spike adalah paling damaging pattern di report. Anda server adalah erroring di bawah crawl muat, yang drops capacity limit, yang berarti lebih sedikit crawling. Sustained 5xx dapat effectively throttle Google untuk sebuah crawl.
• robots.txt tidak tersedia tidak seharusnya tampilkan up di apa pun sustained, bermakna cara. Google tidak publish sebuah fixed target percentage, tetapi sebuah persistent share berarti Google periodically tidak dapat fetch Anda robots.txt. itu penting karena jika Anda robots.txt tetap tidak tersedia, Google akan conservatively pause crawling untuk sebuah sementara alih-alih guess. (untuk apa robots.txt melakukan dan tidak control, see robots.txt.)

Breakdown: oleh file jenis

Google groups crawling oleh file jenis — HTML, image, JavaScript, CSS, JSON, PDF, dan others. ini adalah sebuah diagnostic lead, tidak proof dari waste pada -nya own — bagaimana banyak JS, CSS, image, atau JSON crawling adalah wajar bergantung pada bagaimana Anda situs adalah dibangun (sebuah JS-berat app legitimately perlu lebih resource crawling daripada sebuah static HTML situs). sebuah JS/CSS/image share itu’s tinggi relative untuk Anda own baseline, atau itu jumps suddenly, adalah worth investigating sebagai mungkin render-resource overhead. Unexpected file jenis menunjukkan up dapat reveal sebuah crawl trap — sebuah infinite atau near-infinite URL space generating junk.

Breakdown: oleh Googlebot jenis

ini splits crawling oleh yang Googlebot melakukan fetching — smartphone, desktop, image, video, halaman resource muat, dan AdsBot. Google tidak document sebuah diperlukan mix, tetapi di sebuah mobile-pertama crawl, Smartphone typically leads untuk sebagian besar situs. sebuah desktop-berat profile, atau unexpected volume dari Image atau AdsBot, adalah sebuah lead worth investigating alih-alih sebuah violation oleh itself — ini dapat berarti Google tidak treating Anda situs sebagai mobile-pertama, itu ad/image crawling adalah eating ke budget Anda’d rather spend pada konten, atau hanya itu Anda situs memiliki unusual resource perlu.

Breakdown: oleh purpose — penemuan vs Refresh

Dua categories, dan Google defines them hanya oleh prior crawl history — labels alone jangan tell Anda apakah mix adalah healthy:

• penemuan — “The URL requested was never crawled by Google before.” (terjemahan) “URL yang diminta belum pernah dirayapi Google.”
• Refresh — “A recrawl of a known page.” (terjemahan) “sebuah recrawl dari sebuah known halaman.”

sebuah rise di penemuan adalah yang diharapkan selama sebuah launch atau migration (Google adalah finding Anda baru URLs); yang sama rise adalah sebuah masalah jika ini adalah coming dari infinite-space atau parameter URLs — itu’s anggaran crawling going untuk garbage. sebuah Refresh-berat mix adalah wajar untuk sebuah established situs itu tidak penerbitan banyak baru konten. Judge either terhadap Anda own baseline dan apa Anda know changed, tidak terhadap sebuah fixed “healthy” (terjemahan) “rasio kesehatan yang stabil”.

Host status — paling actionable block

Host status summarizes apakah Google hit availability masalah trying untuk crawl Anda, grouped ke three sub-memeriksa: robots.txt fetch, DNS resolution, dan server connectivity. sebuah red host status adalah satu dari paling actionable sinyal di report — ini biasanya berarti Google adalah blocked atau throttled di infrastructure tingkat, sebelum ini ever mendapat untuk Anda konten, selama itu window. ini adalah sebuah aggregate alert, though, tidak proof itu setiap URL adalah affected atau itu masalah adalah masih happening now — periksa timeline dan konfirmasi saat ini status (sebuah langsung fetch, pemeriksaan URL, atau Anda logs) sebelum Anda pertimbangkan ini fixed. masih, treat sebuah red host status sebagai pertama hal untuk investigate. (Covered di -nya own right di bawah Host status.)

Reading spikes dan drops

mechanism untuk internalize: Anda server’s perilaku feeds back ke bagaimana banyak Google melakukan crawl. jika situs responds quickly dan reliably, Google’s capacity limit dapat rise; jika ini slows down atau dimulai returning kesalahan server, limit drops. So:

• respons-time spike → capacity limit dapat drop → lebih sedikit crawling.
• 5xx surge → capacity limit drops → lebih sedikit crawling; sustained, ini dapat throttle Anda hard.
• robots.txt tidak tersedia → jika ini tetap tidak tersedia, Google pauses crawling conservatively.

None dari ini adalah sebuah peringkat penalty. damage adalah indirect: jika halaman tidak di-crawl dan terindeks, mereka dapat’t peringkat di semua — tetapi extra crawling tidak lift rankings either. (See anggaran crawling concept untuk penuh capacity-plus-demand model.)

Statistik Crawling vs server logs

Statistik Crawling adalah closest GSC mendapatkan untuk logs, tetapi gaps penting:

jika Anda outgrow Statistik Crawling — Anda perlu per-URL data, non-Google bot, atau lebih lama history — itu’s ketika Anda graduate untuk log file analysis. Statistik Crawling tells Anda sesuatu’s off; logs tell Anda persis di mana.

Bagaimana ini relates untuk rest dari crawling

Statistik Crawling report adalah Anda view ke crawling setelah fact. untuk pengindeksan side dari apa happens berikutnya, halaman pengindeksan report adalah companion — crawl Stats menampilkan apa Google fetched; halaman pengindeksan menampilkan apa dibuat ini ke indeks. dan Host status, surfaced di dalam ini report, adalah infrastructure-tingkat sinyal worth leading dengan.

AI summary

sebuah condensed take pada Advanced versi:

• Di mana ini adalah: Search Console → Settings → Statistik Crawling. Covers ~90 days. hanya tersedia untuk root-tingkat properties — sebuah Domain property atau sebuah URL-prefix property verified di situs’s root — itu’s mengapa ini adalah “missing” (terjemahan) “missing” untuk URL-prefix subfolders.
• Three top-line metrics: total crawl permintaan, total download size, average respons time. Baca them sebagai trends, tidak targets.
• Four breakdowns: oleh respons (200/301/404/5xx/robots.txt tidak tersedia), oleh file jenis (HTML/JS/CSS/image/PDF…), oleh Googlebot jenis (smartphone/desktop/image/video/AdsBot), oleh purpose (penemuan vs Refresh).
• ini adalah sebuah server-health monitor, tidak sebuah budget dashboard. Rising respons time atau 5xx membuat Google drop -nya crawl capacity limit dan crawl lebih sedikit; sustained robots.txt unavailability dapat pause crawling.
• Host status (robots.txt fetch, DNS, server connectivity) adalah paling actionable block — perbaiki sebuah red host status pertama.
• crawl ≠ peringkat: lebih crawling tidak lift rankings, tetapi uncrawled halaman dapat’t peringkat di semua.
• Closest GSC mendapatkan untuk logs, tetapi ini adalah Google-hanya, aggregated, dan tidak guaranteed permintaan-menyelesaikan — untuk semua bot/pengguna dan per-URL detail, gunakan server logs.
• Google scopes official crawl-budget guidance untuk besar, frequently-mengubah situs (dan bahkan flags report itself sebagai unnecessary detail untuk situs di bawah ~1 000 halaman). Practitioner aturan dari thumb: sebagian besar situs well di bawah 10k halaman jangan perlu untuk mengoptimalkan anggaran crawling — tetapi itu’s judgment, tidak sebuah official cutoff.

Dokumentasi resmi

Utama-sumber documentation dari Google.

Google

• Statistik Crawling report — Search Console Help halaman untuk ini report: metrics, breakdowns, host status, dan root-tingkat-property requirement.
• mengoptimalkan Anda anggaran crawling — crawl capacity limit + crawl demand, dan siapa sebenarnya perlu untuk manage budget.
• crawling dan pengindeksan — lebih luas hub untuk robots, sitemaps, dan crawl controls.

Quotes dari sumber

pada—record statements dari Google. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa report menampilkan

• “The Crawl Stats report shows you statistics about Google’s crawling history on your website.” (terjemahan) “ Statistik Crawling report menampilkan Anda statistics tentang Google’s crawling history pada Anda situs web.” — Google Search Console Help. Jump untuk quote
• “This report is available only for root-level properties.” (terjemahan) “Laporan ini hanya tersedia untuk properti tingkat root.” Jump untuk quote

Google — three metrics

• “The total number of crawl requests issued for URLs on your site, whether successful or not.” (terjemahan) “Jumlah total permintaan crawling untuk URL di situs Anda, baik yang berhasil maupun tidak.” Jump untuk quote
• “Total number of bytes downloaded from your site during crawling, for the specified time period.” (terjemahan) “Total angka dari bytes downloaded dari Anda situs selama crawling, untuk specified time period.” Jump untuk quote
• “Average response time for all resources fetched from your site during the specified time period.” (terjemahan) “Average respons time untuk semua resources fetched dari Anda situs selama specified time period.” Jump untuk quote

Google — breakdowns

• “This table shows the responses that Google received when crawling your site, grouped by response type, as a percentage of all crawl responses.” (terjemahan) “ini table menampilkan respons itu Google diterima ketika crawling Anda situs, grouped oleh respons jenis, sebagai sebuah percentage dari semua crawl respons.” Jump untuk quote
• “Discovery: The URL requested was never crawled by Google before.” (terjemahan) “Penemuan: URL yang diminta belum pernah dirayapi Google.” Jump untuk quote
• “Refresh: A recrawl of a known page.” (terjemahan) “Refresh: sebuah recrawl dari sebuah known halaman.” Jump untuk quote

Google — crawl capacity ( budget mechanism behind angka)

• crawl capacity limit: “The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (terjemahan) “Batas kapasitas adalah jumlah maksimum koneksi paralel simultan yang dapat digunakan Google untuk merayapi situs, beserta jeda waktu antar-pengambilan.” — Google Search Central, besar-situs anggaran crawling guide. Jump untuk quote

Reading Statistik Crawling report — checklist

sebuah quick lulus untuk mendapatkan sinyal out dari report:

• Anda’re pada sebuah domain (root-tingkat) property — jika tidak report tidak akan tampilkan.
• Host status adalah green (robots.txt fetch, DNS, server connectivity semua OK). Perbaiki apa pun red di sini pertama.
• Average respons time adalah stable, tidak trending up.
• oleh respons adalah sebuah besar majority 200; 5xx dan robots.txt-tidak tersedia tampilkan Tidak sustained, bermakna share (Google publishes Tidak fixed target — watch Anda own trend).
• Tidak surprise volume dari 404s (wasted crawl) atau 301s (rantai pengalihan / stale tautan internal).
• oleh Googlebot jenis umumnya leans Smartphone di sebuah mobile-pertama crawl — ada Tidak official diperlukan mix, tetapi sebuah sudden shift adalah worth sebuah look.
• oleh file jenis tidak dominated oleh JS/CSS/image relative untuk Anda own baseline, dan menampilkan Tidak surprise file jenis (mungkin crawl trap).
• oleh purpose: judge penemuan vs Refresh terhadap Anda own baseline dan apa changed (launch, migration, sitemap perbarui) — sebuah unexplained jump either cara adalah worth memeriksa untuk parameter/infinite-URL waste atau stalled recrawling.
• jika Anda perlu per-URL detail, non-Google bot, atau lebih lama history, graduate untuk server log analysis.

mental models

1. ini adalah sebuah health monitor, tidak sebuah scoreboard. angka adalah trends untuk watch, tidak targets untuk maximize. Anda’re looking untuk shape dari curve — sudden spikes dan drops — tidak sebuah “good” (terjemahan) “nilai absolut yang baik menurut satu patokan”.

2. server feedback loop. Fast, stable server → capacity limit dapat rise → lebih crawling. Slow server atau 5xx → capacity limit drops → lebih sedikit crawling. respons time dan error rate adalah levers itu diam-diam govern semuanya else di report.

3. Host status pertama, lalu respons, lalu rest. Triage di order dari leverage: sebuah red host status blocks semuanya → perbaiki ini. lalu oleh respons (5xx dan robots.txt-tidak tersedia adalah dangerous ones). hanya lalu worry tentang file-jenis/Googlebot-jenis/purpose nuance.

4. Statistik Crawling vs logs — graduation aturan. Statistik Crawling tells Anda sesuatu adalah off (Google-hanya, aggregated, tidak guaranteed menyelesaikan, 90 days). server logs tell Anda persis apa (semua bot/pengguna, setiap permintaan, per-URL). Mulai dengan Statistik Crawling; move untuk logs ketika Anda perlu precision.

5. “seharusnya I care?” (terjemahan) “seharusnya I care?” gate. Google frames report itself untuk advanced pengguna dan flags ini sebagai unnecessary untuk situs di bawah ~1 000 halaman; official crawl-budget guidance targets banyak lebih besar, frequently-mengubah situs. My own practitioner aturan dari thumb adalah looser — di bawah ~10k halaman, anggaran crawling basically tidak apply — tetapi treat itu sebagai judgment, tidak sebuah official cutoff. Either cara, gunakan report untuk server-health early warning, dan berhenti optimizing sebuah angka itu tidak move rankings.

Statistik Crawling report — cheat sheet

Di mana & cakupan

• Settings → Statistik Crawling di Search Console. ~90 days. Root-tingkat properties hanya — Domain atau root URL-prefix.

Three top-line metrics

• Total crawl permintaan — semua permintaan, success atau tidak.
• Total download size — bytes downloaded.
• Average respons time — server-health proxy; sustained spike → lebih sedikit crawling.

oleh respons — apa setiap pattern berarti

oleh file jenis — HTML, Image, JavaScript, CSS, JSON, PDF, others. sebuah tinggi share relative untuk Anda own baseline adalah sebuah diagnostic lead, tidak proof dari waste; watch untuk resource overhead dan surprise jenis (crawl traps).

oleh Googlebot jenis — Smartphone (typically leads, Tidak official diperlukan mix), desktop, Image, Video, halaman resource muat, AdsBot.

oleh purpose — penemuan (URL tidak pernah di-crawl sebelum) vs Refresh (recrawl dari sebuah known halaman).

Host status — robots.txt fetch · DNS resolution · server connectivity. Red = perbaiki pertama.

Fast facts

• Report “missing” (terjemahan) “missing”? Anda’re pada sebuah URL-prefix property scoped untuk sebuah subfolder — re-verify di root tingkat (Domain property atau root URL-prefix property).
• Lebih crawling ≠ better rankings; tetapi uncrawled = unrankable.
• Closest GSC mendapatkan untuk logs, tetapi Google’s crawler hanya, aggregated, tidak guaranteed permintaan-menyelesaikan, 90 days.

alat untuk seeing bagaimana Google melakukan crawl Anda

• Google Search Console — Statistik Crawling report — subject dari ini halaman: Settings → Statistik Crawling, untuk root-tingkat properties (Domain atau root URL-prefix).
• Google Search Console — pemeriksaan URL — periksa bagaimana sebuah single URL adalah di-crawl, dirender, dan terindeks.
• Google Search Console — halaman pengindeksan report — companion view: apa dibuat ini dari crawl ke indeks.
• server log file analysis — ground truth, covering semua bot dan pengguna. alat: Screaming Frog Log File Analyser, atau pipe logs ke BigQuery / sebuah log platform.
• crawler / situs audits — Ahrefs situs Audit dan Screaming Frog SEO Spider simulate sebuah crawl dan surface rantai pengalihan, blocked URLs, dan trap-like patterns.
• Ahrefs Webmaster alat — free crawl + audit untuk situs Anda verify.

Uji pemahaman Anda: Statistik Crawling

SOP: Weekly crawl-health review

gunakan ini sebagai sebuah pendek recurring periksa—tidak sebuah alasan untuk mengoptimalkan crawl volume untuk -nya own sake.

1. Open correct property. Go untuk root-tingkat Search Console property, lalu Settings → Statistik Crawling.
2. Set context. Note deployments, migrations, outages, traffic events, dan sitemap perubahan itu overlap chart.
3. periksa Host status pertama. Triage robots.txt fetch, DNS, atau server-connectivity warnings sebelum interpreting rest dari report.
4. Bandingkan three trends. Review permintaan, download size, dan respons time terhadap property’s own prior weeks—tidak sebuah generic benchmark.
5. Open “oleh respons.” Investigate sustained 5xx, robots.txt unavailability, redirect growth, dan newly rising 404 patterns.
6. Review mix. lihat file jenis, Googlebot jenis, dan penemuan versus Refresh untuk unexplained shifts atau crawl traps.
7. Correlate downstream. periksa pemeriksaan URL dan halaman pengindeksan untuk representative URLs. Lebih permintaan melakukan tidak penting jika penting halaman tetap uncrawled atau unindexed.
8. Escalate ketika aggregates adalah insufficient. Pull server logs untuk per-URL evidence, tepat timestamps, pengguna agents, dan non-Google traffic.
9. Record finding. Save date, anomaly, mungkin penyebab, owner, tindakan, dan metric itu seharusnya normalize. Close issue hanya setelah trend recovers.

Statistik Crawling troubleshooting

report adalah missing

mungkin penyebab: Anda’re viewing sebuah path-tingkat URL-prefix property. Perbaiki: open atau verify root-tingkat property. report’s absence dari sebuah lebih sempit property says tidak ada apa pun tentang apakah Google adalah crawling situs.

Average respons time rises sementara crawl permintaan fall

mungkin penyebab: Google adalah backing off sebagai origin, CDN, atau application slows di bawah muat. Perbaiki: correlate timestamp dengan monitoring dan logs, identify slow routes atau resource jenis, restore reliable capacity, lalu watch apakah respons time falls sebelum expecting crawl volume untuk recover.

5xx respons spike

mungkin penyebab: sebuah outage, rate limiter, overloaded origin, atau bot-spesifik security aturan adalah failing Googlebot permintaan. Perbaiki: inspect tepat log entries, validate Googlebot ketika needed, hapus accidental blocking, dan test affected URLs dari di luar sesi aplikasi.

Muncul pesan “robots.txt tidak tersedia”

mungkin penyebab: DNS, TLS, CDN, redirect, atau server failures prevented Google dari fetching file—tidak niscaya sebuah buruk directive di dalam ini. Perbaiki: permintaan /robots.txt secara langsung di seluruh affected hosts, konfirmasi sebuah stable successful respons, dan periksa Host status plus logs untuk failure window.

penemuan climbs unexpectedly

mungkin penyebab: sebuah baru launch atau migration adalah berfungsi sebagai yang dimaksud, atau Google ditemukan sebuah unbounded URL space such sebagai parameters, filters, calendars, atau internal-penelusuran halaman. Perbaiki: sample logs dan tautan internal untuk identify baru URL pattern. pertahankan intentional discoveries; constrain crawl traps di mereka sumber.

report looks healthy, tetapi penting halaman adalah tidak terindeks

mungkin penyebab: aggregate host health adalah fine sementara individual URLs memiliki penemuan, canonical, quality, atau pengindeksan masalah. Perbaiki: gunakan pemeriksaan URL dan halaman pengindeksan untuk itu halaman. Statistik Crawling cannot prove itu sebuah particular URL adalah dipilih untuk indeks.

mengukur crawl health sebagai trends, tidak quotas

tidak ada universal “baik” angka dari crawl permintaan. bangun baseline untuk ini situs dan annotate ini dengan deployments dan incidents.

Define success terhadap incident Anda adalah solving. setelah sebuah server masalah, success adalah stable availability dan normalized respons time diikuti oleh recovered crawling. setelah closing sebuah crawl trap, success adalah fewer permintaan untuk unwanted pattern tanpa reducing penemuan atau refresh dari penting URLs. Extra permintaan oleh themselves adalah tidak sebuah SEO outcome, dan Statistik Crawling alone cannot mengukur peringkat atau indeks quality.

Resources worth Anda time

My related writing

• Ketika seharusnya Anda Worry tentang anggaran crawling? — my take pada anggaran crawling, di mana Statistik Crawling fits, dan mengapa sebagian besar situs jangan perlu untuk obsess di atas ini.
• Apa adalah Googlebot & Bagaimana melakukan ini berfungsi? — crawler behind setiap angka di ini report.
• Beginner’s Guide untuk SEO teknis — di mana crawling dan Search Console fit di bigger picture.

Official

• Statistik Crawling report — Search Console Help — utama sumber untuk setiap metric dan breakdown.
• mengoptimalkan Anda anggaran crawling — capacity + demand, dan size thresholds.

dari sekitar industry

• Googlebot anggaran crawling dijelaskan oleh Google’s Gary Illyes — mesin pencari Journal’s coverage dari Gary Illyes’ crawl-budget explainer; berguna context untuk interpreting apa drives angka di report.
• anggaran crawling untuk SEO: Semuanya Anda perlu Know — mesin pencari Journal deep dive pada anggaran crawling concepts, capacity, dan demand.
• crawling dan pengindeksan — Google Search Central hub untuk semua official crawling documentation, robots.txt, dan sitemaps.
• Penelusuran Off Record: Bagaimana Googlebot melakukan crawl Web — Gary Illyes dan Martin Splitt pada crawling infrastructure dan bagaimana scheduler reacts untuk Anda server.
• r/TechSEO — community untuk crawl/indeks debugging.

Podcasts

• Penelusuran Off Record (Google Search Relations) — Bagaimana Googlebot melakukan crawl web. Gary Illyes dan Martin Splitt pada crawling infrastructure, conditional permintaan, dan bagaimana crawl scheduler reacts untuk Anda server — berguna background untuk apa drives angka di ini report. Listen

Videos

• Google Search Central (YouTube) — Martin Splitt’s crawling/rendering explainers dan Bagaimana Google Search berfungsi series. baik grounding untuk apa Googlebot adalah melakukan sebelum ini ever reaches Statistik Crawling report. Channel

Log perubahan