anggaran crawling

TL;DR — anggaran crawling adalah bagaimana banyak sebuah mesin pencari adalah willing untuk crawl Anda situs. ini adalah dua hal multiplied together: bagaimana banyak Anda server dapat tangani dan bagaimana banyak Google ingin untuk crawl. crawling lebih tidak membuat Anda peringkat lebih tinggi — dan untuk sebagian besar situs, ini adalah sebuah non-issue. jika Anda halaman mendapatkan di-crawl yang sama day Anda publish them, Anda tidak memiliki sebuah anggaran crawling masalah.

Apa anggaran crawling adalah

Ketika sebuah mesin pencari melakukan crawl Anda situs, ini tidak crawl forever. ini melakukan crawl beberapa angka dari Anda URLs di sebuah diberikan window dari time, lalu moves pada. itu amount adalah apa SEOs panggil Anda anggaran crawling.

ini muncul down untuk dua pertanyaan mesin pencari adalah constantly answering:

• Bagaimana banyak dapat I crawl? Anda server dapat hanya take so banyak sebelum ini slows down atau dimulai throwing errors. Google watches untuk itu dan backs off. ini adalah crawl capacity (older docs called ini laju crawling limit).
• Bagaimana banyak melakukan I ingin untuk crawl? Popular halaman dan halaman itu perubahan sering mendapatkan di-crawl lebih. halaman tidak seorang pun tautan untuk, atau itu tidak pernah perubahan, mendapatkan di-crawl rarely. ini adalah crawl demand.

Multiply dua dan Anda mendapatkan Anda anggaran crawling: roughly, angka dari URLs Google dapat dan ingin untuk crawl. Evidence for this claim Google defines crawl budget using crawl capacity limit and crawl demand. Scope: Google Search crawling for larger sites. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Satu pembedaan worth membuat early: anggaran crawling adalah tentang apakah Google fetches sebuah URL di semua. Apakah ini lalu indeks apa ini menemukan adalah sebuah terpisah, kemudian decision. sebuah halaman dapat menjadi di-crawl dan masih tidak mendapatkan terindeks — crawling tidak jaminan pengindeksan, ini adalah hanya gate Anda memiliki untuk mendapatkan melalui pertama.

hal untuk memahami pertama: Anda probably jangan perlu untuk worry tentang ini

ini adalah bagian sebagian besar artikel bury. sebagian besar situs melakukan tidak memiliki sebuah anggaran crawling masalah. Google says so secara langsung — jika Anda halaman mendapatkan di-crawl yang sama day mereka’re published, atau Anda situs tidak huge dan fast-mengubah, Anda dapat skip seluruh topic. Evidence for this claim Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Scope: Google's rough applicability guidance, not a guarantee for every site. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

sebuah sederhana gut periksa: penelusuran untuk sebuah sedikit dari Anda URLs di Google, atau gunakan URL Inspection alat di Search Console. jika Anda baru halaman tampilkan up di dalam sebuah day atau dua, Anda anggaran crawling adalah fine. Spend Anda time pada konten dan tautan alih-alih.

anggaran crawling dimulai untuk penting ketika sebuah situs memiliki hundreds dari thousands atau millions dari halaman, terutama jika sebuah lot dari them perubahan constantly (think sebuah big ecommerce store atau sebuah besar news situs).

Lebih crawling tidak berarti better rankings

Di sini’s sebuah myth worth killing early: crawling sebuah halaman lebih sering tidak push ini up hasil. crawling adalah hanya bagaimana mesin menemukan dan downloads Anda halaman. ini adalah sebuah gate Anda memiliki untuk mendapatkan melalui untuk peringkat di semua — tetapi setelah Anda’re melalui ini, bagaimana sering Anda mendapatkan re-di-crawl tidak sebuah peringkat factor.

So goal tidak “mendapatkan crawled lebih.” (terjemahan) “mendapatkan di-crawl lebih.” goal adalah untuk pastikan halaman Anda care tentang mendapatkan di-crawl, dan itu mesin tidak wasting -nya time pada junk URLs.

Apa wastes anggaran crawling

jika Anda melakukan memiliki sebuah big situs, budget mendapatkan drained oleh:

• Filter dan sort URLs (faceted navigation) — setiap filter combination pada sebuah ecommerce store dapat spawn thousands dari near-identical URLs.
• Duplicate halaman — yang sama konten reachable di multiple URLs (dengan dan tanpa www, dengan parameters tacked pada, dan seterusnya.).
• Soft 404s — “tidak ditemukan” (terjemahan) “tidak ditemukan” halaman itu mengembalikan 200 OK status, so mesin mempertahankan crawling them.
• Rusak rantai pengalihan dan slow halaman — ini membuat setiap crawl cost lebih.

perbaiki adalah hampir selalu menghapus waste so budget lands pada nyata halaman — tidak trying untuk convince Google untuk crawl “more.” (terjemahan) “melakukan crawling tambahan.”

ingin penuh model — crawl capacity vs. demand, tepat size thresholds, apa untuk melakukan tentang faceted navigation, bagaimana Bing menangani ini differently, dan cara mengukur ini — switch untuk Advanced tab.

TL;DR — anggaran crawling = crawl capacity limit (kemampuan server Anda) × crawl demand (popularitas, keusangan, dan inventaris yang dianggap penting). Ini merupakan persoalan efisiensi, bukan sinyal peringkat. Secara internal, penjadwalan mengurutkan URL berdasarkan kepentingan dan dibatasi beban host, bukan kuota datar per situs. Sebagian besar situs dapat mengabaikannya — Mueller menilai 100k URL biasanya tidak cukup, dan Google menyarankan situs yang di-crawl pada hari yang sama untuk melewati panduan ini. Masalah ini muncul pada sekitar 1M+ halaman yang berubah mingguan, 10k+ halaman yang berubah harian, atau ketika “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” menumpuk. Langkah berdampak terbesar adalah menghapus pemborosan — navigasi berfaset, duplikat, soft 404, dan ruang tak terbatas — agar anggaran terkonsentrasi pada URL penting.

dua-factor model

Google mendefinisikannya dengan jelas: “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (terjemahan) “Waktu dan sumber daya yang dicurahkan Google untuk crawling situs biasa disebut anggaran crawling situs; ukurannya ditentukan oleh dua unsur utama: batas kapasitas crawling dan crawl demand.” Kerangka 2017 dari Gary Illyes adalah satu-liner I masih reach untuk: anggaran crawling adalah “itu number dari URLs Googlebot dapat dan wants untuk crawl.” (terjemahan) “ angka dari URLs Googlebot dapat dan ingin untuk crawl.” Evidence for this claim Google defines crawl budget using crawl capacity limit and crawl demand. Scope: Google Search crawling for larger sites. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide pertahankan ini scoped: anggaran crawling governs fetching, tidak pengindeksan. sebuah di-crawl URL masih goes melalui sebuah terpisah pengindeksan decision — folding dua together overstates apa anggaran crawling controls.

crawl capacity limit ( supply side). ini adalah “itu maximum number dari simultaneous parallel connections itu Google dapat gunakan untuk crawl a site, juga sebagai itu time delay antara fetches.” (terjemahan) “ maximum angka dari simultaneous parallel connections itu Google dapat gunakan untuk crawl sebuah situs, serta time delay antara fetches.” ini moves dengan Anda server’s health. Respond fast dan bersih dan limit rises; sajikan slow respons, 5xx errors, atau 429s dan Googlebot backs off. di my Bagaimana Penelusuran berfungsi deck I list yang sama rate-limit triggers: server stability, slow respons, 5xx kesalahan server, dan 429 (too banyak permintaan). ini adalah “can.” (terjemahan) “dapat.”

crawl demand ( demand side). Driven oleh popularity (bagaimana ditautkan-untuk / penting sebuah URL adalah) dan staleness (bagaimana panjang since ini adalah terakhir di-crawl, bagaimana sering ini perubahan). itu sama deck breaks demand ke PageRank, bagaimana frequently halaman perubahan, time since terakhir crawl, dan major situs perubahan. Critically, Google flags perceived inventory sebagai lever Anda control sebagian besar: “Tanpa guidance dari Anda, Google tries untuk crawl all atau paling dari itu URLs itu it knows tentang pada Anda site. Jika banyak dari ini URLs adalah duplicates, atau Anda jangan ingin them crawled untuk some other reason… ini wastes a lot dari Google crawling time pada Anda site. Ini adalah itu factor itu Anda dapat positively control itu paling.” (terjemahan) “Tanpa guidance dari Anda, Google tries untuk crawl semua atau sebagian besar dari URLs itu ini knows tentang pada Anda situs. jika banyak dari ini URLs adalah duplicates, atau Anda tidak ingin them di-crawl untuk beberapa lainnya alasan… ini wastes sebuah lot dari Google crawling time pada Anda situs. ini adalah factor itu Anda dapat positively control paling.”

sebuah couple dari structural facts itu catch orang out:

• Budget adalah per hostname. “https://www.example.com/ and https://code.example.com/ are two different hostnames, and therefore have separate crawl budgets.” (terjemahan) “https://www.example.com/ dan https://code.example.com/ adalah dua hostname yang berbeda sehingga memiliki anggaran crawling terpisah.” Subdomain jangan share.
• ** berbeda Googlebot jenis mungkin draw dari satu pool.** di my own reporting, image, news, video, ads, dan rest muncul untuk pull dari yang sama per-situs budget — I jangan memiliki sebuah saat ini utama Google sumber pinning ini down persis, so treat ini sebagai sebuah practitioner observation alih-alih terdokumentasi policy. Either cara, ini adalah worth memeriksa Statistik Crawling report’s oleh-crawler-jenis breakdown jika Anda suspect satu jenis adalah elbowing out rest.

Apa ini benar-benar adalah internally: scheduling oleh importance

“Anggaran crawling” (terjemahan) “anggaran crawling” adalah sebuah SEO-coined umbrella istilah. Internally ini adalah closer untuk scheduling gated oleh host muat. sebagai Illyes memiliki described ini, Google’s scheduler “sets a bucket dari URLs di importance order dan GoogleBot akan crawl di itu order based pada itu schedule itu host load decided. Jika Google thinks Anda server dapat tangani it, it akan crawl itu seluruh bucket, jika tidak, it akan berhenti.” (terjemahan) “sets sebuah bucket dari URLs di importance order dan GoogleBot akan crawl di itu order berdasarkan schedule host muat decided. jika Google thinks Anda server dapat tangani ini, ini akan crawl seluruh bucket, jika tidak, ini akan berhenti.”

itu reframes seluruh topic. ini tidak sebuah flat “Anda mendapatkan N halaman a day” (terjemahan) “Anda mendapatkan N halaman sebuah day” quota — ini adalah sebuah prioritized queue, dan crawling tracks penelusuran demand. Illyes again: “Jika penelusuran demand goes down, lalu itu juga correlates untuk itu crawl limit going down,” (terjemahan) “jika penelusuran demand goes down, lalu itu juga correlates untuk crawl limit going down,” dan “if you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (terjemahan) “jika Anda ingin increase bagaimana banyak kami crawl, lalu Anda somehow memiliki untuk convince penelusuran itu Anda stuff adalah worth fetching, yang adalah basically apa scheduler adalah listening untuk.” Penelusuran Relations team memiliki explicitly called “fixed daily page quota” (terjemahan) “fixed daily halaman quota” idea sebuah misconception.

melakukan Anda situs sebenarnya memiliki sebuah anggaran crawling masalah?

ini adalah paling valuable bagian, so I’ll menjadi blunt: sebagian besar situs jangan perlu untuk worry tentang anggaran crawling. Google’s own guide opens dengan de-escalation: “Jika Anda site tidak memiliki a large number dari halaman itu ubah rapidly, atau jika Anda halaman seem untuk menjadi crawled itu sama day itu they adalah published, Anda jangan perlu untuk baca ini guide. Untuk Google Search secara khusus, merely mempertahankan Anda sitemap up untuk date dan memeriksa Anda index coverage regularly adalah adequate.” (terjemahan) “jika Anda situs tidak memiliki sebuah besar angka dari halaman itu perubahan rapidly, atau jika Anda halaman seem untuk menjadi di-crawl yang sama day itu mereka adalah published, Anda tidak perlu untuk baca ini guide. untuk Google Search secara khusus, merely mempertahankan Anda sitemap up untuk date dan memeriksa Anda indeks coverage regularly adalah adequate.” Evidence for this claim Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Scope: Google's rough applicability guidance, not a guarantee for every site. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

John Mueller gave concrete angka: “100k URLs adalah biasanya tidak cukup untuk memengaruhi anggaran crawling (ini <1/minute over 3 months).” (terjemahan) “100k URLs adalah biasanya tidak cukup untuk memengaruhi anggaran crawling (ini adalah <1/minute di atas 3 months).” jika Anda’re di bawah six figures dari URLs dan halaman mendapatkan di-crawl promptly, move pada.

Ketika ini melakukan penting, Google’s rough thresholds adalah:

• besar situs — 1 million+ unique halaman dengan konten itu perubahan moderately sering (tentang weekly).
• Medium atau lebih besar situs — 10 000+ unique halaman dengan very rapidly mengubah konten (daily).
• situs dengan sebuah besar portion dari URLs classified sebagai “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” di Search Console — itu’s warning light itu Google knows tentang URLs ini tidak getting untuk.

Google menambahkan disclaimer itu “the numbers given here are a rough estimate… not exact thresholds.” (terjemahan) “ angka diberikan di sini adalah sebuah rough estimate… tidak tepat thresholds.” dan bahkan pada big situs, nuance dari my own berfungsi holds: ini adalah biasanya baru, poorly-ditautkan, atau static halaman itu lag — tidak Anda popular ones.

melakukan anggaran crawling memengaruhi rankings? Tidak.

crawling adalah necessary untuk peringkat, tetapi ini adalah tidak sebuah sinyal peringkat. Google di 2017: “An increased crawl rate will not necessarily lead to better positions in Search results. Google uses hundreds of signals to rank the results, and while crawling is necessary for being in the results, it’s not a ranking signal.” (terjemahan) “sebuah increased laju crawling akan tidak niscaya lead untuk better positions di Penelusuran hasil. Google menggunakan hundreds dari sinyal untuk peringkat hasil, dan sementara crawling adalah necessary untuk menjadi di hasil, ini adalah tidak sebuah sinyal peringkat.” I put ini yang sama cara di my Ahrefs guide: “More crawling doesn’t mean you’ll rank better, but if your pages aren’t crawled and indexed they aren’t going to rank at all.” (terjemahan) “Lebih crawling tidak berarti Anda’ll peringkat better, tetapi jika Anda halaman tidak di-crawl dan terindeks mereka tidak going untuk peringkat di semua.” Treat crawl budget sebagai sebuah efficiency masalah, penuh berhenti.

Apa wastes anggaran crawling

Illyes published canonical list dari rendah-nilai-tambahkan URLs “in order of significance” (terjemahan) “di order dari significance”:

1. Faceted navigation dan session identifiers — #1 culprit, terutama ecommerce filter/sort combinations itu multiply URLs combinatorially.
2. pada-situs duplicate konten — classic teknis variants: HTTP vs HTTPS, non-www vs www, trailing slash vs tidak, uppercase vs lowercase, default/indeks halaman, dan parameter URL. (Roughly 60% dari web adalah duplicate konten, oleh Google’s own internal estimate.)
3. Soft halaman error — soft 404s itu kembalikan 200 pertahankan getting di-crawl.
4. Hacked halaman.
5. Infinite spaces dan proxies — calendars, infinite-scroll pagination itu duplicates, faceted combinations; classic spider-trap patterns.
6. rendah-quality dan spam konten.

cost adalah concrete: “Wasting server resources on pages like these will drain crawl activity from pages that do actually have value, which may cause a significant delay in discovering great content on a site.” (terjemahan) “Wasting server resources pada halaman like ini akan drain crawl activity dari halaman itu melakukan sebenarnya memiliki nilai, yang dapat penyebab sebuah significant delay di discovering great konten pada sebuah situs.” pada top dari list, panjang rantai pengalihan “have a negative effect on crawling,” (terjemahan) “memiliki sebuah negative effect pada crawling,” dan slow, berat halaman membuat setiap fetch lebih expensive.

cara mengoptimalkan ini

seluruh game adalah consolidating budget onto URLs itu penting:

• Consolidate duplicates. Google: “Consolidate duplicate konten untuk focus crawling pada unique konten rather daripada unique URLs.” (terjemahan) “Consolidate duplicate konten untuk focus crawling pada unique konten alih-alih unique URLs.” Pick satu host, satu protocol, satu trailing-slash convention; canonicalize; tangani parameters.
• Block truly worthless paths dengan robots.txt — tetapi hanya paths Anda tidak pernah ingin di-crawl. untuk faceted navigation, biasa options adalah blocking parameter paths di robots.txt atau menggunakan sebuah # alih-alih sebuah ? so URLs tidak dapat di-crawl di pertama place.
• jangan gunakan noindex untuk save budget. Google: “jangan gunakan noindex, sebagai Google akan masih request, tetapi lalu drop itu halaman ketika it sees a noindex meta tag atau header di itu HTTP response, wasting crawling time.” (terjemahan) “jangan gunakan noindex, sebagai Google akan masih permintaan, tetapi lalu drop halaman ketika ini sees sebuah noindex meta tag atau header di respons HTTP, wasting crawling time.” permintaan masih costs Anda. Block di robots.txt jika Anda tidak pernah ingin ini fetched.
• jangan expect robots.txt untuk reallocate budget. “Google won’t shift this newly available crawl budget to other pages unless Google is already hitting your site’s serving limit.” (terjemahan) “Google tidak akan shift ini newly tersedia anggaran crawling untuk lainnya halaman unless Google adalah sudah hitting Anda situs’s serving limit.” Blocking junk adalah baik hygiene, tetapi ini tidak hand freed-up melakukan crawl untuk Anda baik halaman unless Anda adalah capacity-bound.
• Perbaiki soft 404s; kembalikan nyata 404/410 untuk hilang halaman. “A 404 status code adalah a strong sinyal tidak untuk crawl itu URL again.” (terjemahan) “sebuah 404 kode status adalah sebuah strong sinyal tidak untuk crawl itu URL again.”
• Shorten rantai pengalihan, pertahankan sitemaps saat ini (honest lastmod), dan meningkatkan server speed.
• Strengthen tautan internal untuk penting dan baru halaman — easier daripada apa pun else karena Anda fully control ini.

dan dua — hanya dua — cara Google says Anda dapat sebenarnya increase budget: “Add more server resources… [and] optimize your content’s quality.” (terjemahan) “tambahkan lebih server resources… [dan] mengoptimalkan Anda konten’s quality.” Note trap di sana: sebuah lebih cepat server lifts capacity ceiling, tetapi jika demand adalah rendah Google masih melakukan crawl lebih sedikit. Anda perlu keduanya.

cara mengukur ini

• GSC > Settings > Statistik Crawling report — total crawl permintaan di atas time, average respons time, host status, dan breakdowns oleh kode respons, file jenis, dan Googlebot jenis. ini adalah Google’s own view dari bagaimana ini melakukan crawl Anda.
• server log file analysis — ground truth. nyata Googlebot hits oleh URL pattern, so Anda dapat see crawl waste dan uncrawled penting halaman. Verify bot adalah genuinely Googlebot melalui reverse + forward DNS atau Google’s published IP ranges (plenty dari fake bot spoof pengguna-agent).
• “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” di GSC — treat sebuah growing pile di sini sebagai sebuah crawl-budget warning light: Google knows tentang URLs tetapi tidak getting untuk them.

Bing dan lainnya mesin: “crawl efficiency” (terjemahan) “efisiensi crawling”

Bing reframes topic sebagai crawl efficiency alih-alih budget. Fabrice Canel’s definition: “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (terjemahan) “ crawl efficiency adalah bagaimana sering kami crawl dan menemukan baru dan fresh konten per halaman di-crawl.” goal adalah untuk “crawl an URL hanya ketika itu konten memiliki telah added (URL tidak crawled sebelum), diperbarui (fresh pada-halaman context atau useful outbound links).” (terjemahan) “crawl sebuah URL hanya ketika konten memiliki telah ditambahkan (URL tidak di-crawl sebelum), diperbarui (fresh pada-halaman context atau berguna outbound tautan).” Bing’s blunt philosophy: “Lebih sedikit adalah lebih untuk SEO. Never forget itu. Lebih sedikit URLs untuk crawl, better untuk SEO.” (terjemahan) “Lebih sedikit adalah lebih untuk SEO. tidak pernah forget itu. Lebih sedikit URLs untuk crawl, better untuk SEO.”

Bing’s preferred perbaiki adalah IndexNow — push changed URLs so bingbot tidak perlu exploratory melakukan crawl — dan crawl Control di Bing Webmaster alat, yang lets Anda schedule ketika bingbot melakukan crawl oleh hour untuk lindungi server muat. ini adalah sebuah nyata Google/Bing divergence worth noting: Google deprecated -nya old crawl-rate limiter di Search Console, sementara Bing masih lets Anda actively shape crawl schedule.

anggaran crawling myths, corrected

• “Every site should optimize crawl budget.” (terjemahan) “setiap situs seharusnya mengoptimalkan anggaran crawling.” Tidak — sebagian besar tidak seharusnya. sama-day crawling dan sub-100k URLs berarti Anda’re fine.
• “More crawling = better rankings.” (terjemahan) “Lebih crawling = better rankings.” Tidak. crawling adalah necessary tetapi tidak sebuah sinyal peringkat.
• “It’s a fixed daily page quota.” (terjemahan) “ini adalah sebuah fixed daily halaman quota.” Tidak — ini adalah importance-driven scheduling gated oleh host muat.
• “Gunakan noindex untuk save budget.” (terjemahan) “gunakan noindex untuk menghemat anggaran.” Tidak — Google masih permintaan halaman pertama.
• “Block halaman di robots.txt untuk memberikan other halaman lebih budget.” (terjemahan) “Blokir halaman di robots.txt agar halaman lain mendapat anggaran lebih besar.” umumnya Tidak, unless Anda’re sudah di Anda serving limit.
• “A faster server alone raises your budget.” (terjemahan) “sebuah lebih cepat server alone raises Anda budget.” ini lifts capacity ceiling hanya; rendah demand masih berarti fewer melakukan crawl.

untuk lebih luas pipeline ini sits di dalam — penemuan, crawl scheduler, rendering, dan bagaimana crawling differs dari pengindeksan — see crawling hub. sibling topics (laju crawling, crawl frequency, spider traps, dan log file analysis) setiap go deeper pada satu piece dari ini.

AI summary

sebuah condensed take pada Advanced versi:

• anggaran crawling = crawl capacity limit × crawl demand. Capacity adalah apa Anda server dapat take (rises pada fast/bersih respons, drops pada 5xx/429); demand adalah popularity + staleness + perceived inventory. Google’s satu-liner: “itu number dari URLs Googlebot dapat dan wants untuk crawl.” (terjemahan) “ angka dari URLs Googlebot dapat dan ingin untuk crawl.”
• ini adalah tidak sebuah peringkat factor. crawling adalah necessary untuk peringkat, tetapi lebih crawling tidak lift positions — ini adalah purely sebuah efficiency concern.
• Internally ini adalah scheduling oleh importance, gated oleh host muat — sebuah prioritized queue, tidak sebuah flat daily halaman quota. crawling tracks penelusuran demand.
• sebagian besar situs jangan perlu untuk manage ini. Mueller: 100k URLs biasanya tidak cukup untuk penting. Google: jika halaman crawl sama-day, skip guide. ini bites di ~1M+ halaman (weekly perubahan), 10k+ (daily perubahan), atau sebuah big “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” pile.
• Apa wastes ini (Google’s order): faceted nav / session IDs, duplicate konten, soft 404s, hacked halaman, infinite spaces, rendah-quality konten — plus rantai pengalihan dan slow halaman.
• mengoptimalkan oleh menghapus waste: consolidate duplicates, block worthless paths di robots.txt (tidak noindex — Google masih permintaan pertama), perbaiki soft 404s, shorten redirects, pertahankan sitemaps bersih, strengthen tautan internal. hanya dua cara untuk truly increase budget: lebih server capacity dan lebih tinggi konten quality.
• mengukur dengan GSC Statistik Crawling, server log analysis, dan “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” report.
• Bing panggilan ini crawl efficiency (“lebih sedikit adalah lebih” (terjemahan) “lebih sedikit adalah lebih”), dan pushes IndexNow + crawl Control alih-alih Google’s hands-off approach.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• mengoptimalkan Anda anggaran crawling — canonical doc (moved dari old “large site owner’s guide” (terjemahan) “besar situs owner’s guide” URL di Google’s crawling-infrastructure docs, terakhir diperbarui December 2025): crawl capacity + demand, siapa perlu ini, waste list, dan cara mengoptimalkan. Mulai di sini.
• Apa anggaran crawling berarti untuk Googlebot (Gary Illyes, 2017) — original framing: laju crawling limit + crawl demand, dan rendah-nilai-tambahkan URL categories.
• crawling dan pengindeksan — hub untuk robots, sitemaps, canonicalization, dan crawl controls.
• crawling December series (2024) — Googlebot, HTTP caching, faceted navigation, dan CDNs.

Bing / Microsoft

• bingbot Series: Maximizing crawl Efficiency — Bing’s “crawl efficiency” (terjemahan) “efisiensi crawling” reframing dan -nya north star.
• bingbot Series: Optimizing crawl Frequency — bagaimana Bing decides re-crawl cadence.
• Bing Webmaster alat — crawl Control — schedule ketika bingbot melakukan crawl, oleh hour.
• IndexNow / indexnow.org — push changed URLs so mesin jangan perlu exploratory melakukan crawl.

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — definition

• “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (terjemahan) “Waktu dan sumber daya yang dicurahkan Google untuk crawling situs disebut anggaran crawling; ukurannya ditentukan oleh batas kapasitas crawling dan crawl demand.” — Google Search Central docs. Jump untuk quote
• “Google’s crawlers calculate a crawl capacity limit, which is the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (terjemahan) “Crawler Google menghitung batas kapasitas crawling, yaitu jumlah maksimum koneksi paralel simultan yang dapat dipakai Google untuk merayapi situs serta jeda waktu antar-pengambilan.” Jump untuk quote
• “Taking crawl rate and crawl demand together we define crawl budget as the number of URLs Googlebot can and wants to crawl.” (terjemahan) “Jika laju crawling dan crawl demand digabungkan, anggaran crawling adalah jumlah URL yang dapat dan ingin dirayapi Googlebot.” — Gary Illyes, Google (2017). Jump untuk quote

Google — ketika Anda tidak perlu untuk care

• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (terjemahan) “Jika situs Anda tidak memiliki banyak halaman yang berubah cepat, atau halaman Anda tampak di-crawl pada hari yang sama saat diterbitkan, Anda tidak perlu membaca panduan ini.” Jump untuk quote
• “100k URLs is usually not enough to affect crawl budget (it’s <1/minute over 3 months).” (terjemahan) “100k URL biasanya belum cukup untuk memengaruhi anggaran crawling (kurang dari 1 per menit selama tiga bulan).” — John Mueller, Google (2021). Baca coverage

Google — apa Anda control, dan crawling vs peringkat

• “If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (terjemahan) “URL duplikat atau URL yang tidak perlu di-crawl membuang banyak waktu crawling Google; inilah faktor yang paling dapat Anda kendalikan secara positif.” Jump untuk quote
• “An increased crawl rate will not necessarily lead to better positions in Search results. Google uses hundreds of signals to rank the results, and while crawling is necessary for being in the results, it’s not a ranking signal.” (terjemahan) “Laju crawling yang meningkat tidak otomatis menghasilkan posisi lebih baik di hasil Penelusuran. Google memakai ratusan sinyal untuk menentukan peringkat; crawling diperlukan agar dapat masuk hasil, tetapi bukan sinyal peringkat.” — Gary Illyes, Google (2017). Jump untuk quote

Google — waste list dan apa tidak untuk melakukan

• “Faceted navigation and session identifiers / On-site duplicate content / Soft error pages / Hacked pages / Infinite spaces and proxies / Low quality and spam content” (terjemahan) “Navigasi berfaset dan pengenal sesi / konten duplikat di situs / halaman error lunak / halaman diretas / ruang dan proksi tak terbatas / konten berkualitas rendah dan spam” — kategori bernilai rendah, diurutkan berdasarkan signifikansi. — Gary Illyes, Google (2017). Jump untuk quote
• “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (terjemahan) “Konsolidasikan konten duplikat agar crawling berfokus pada konten unik, bukan URL unik.” Jump untuk quote
• “Don’t use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.” (terjemahan) “Jangan gunakan noindex: Google tetap meminta halaman, lalu membuangnya saat melihat tag meta atau header noindex dalam respons HTTP, sehingga waktu crawling terbuang.” Jump untuk quote
• “Google won’t shift this newly available crawl budget to other pages unless Google is already hitting your site’s serving limit.” (terjemahan) “Google tidak akan memindahkan anggaran crawling yang baru tersedia ke halaman lain kecuali sudah mencapai batas penyajian situs Anda.” Jump untuk quote

Gary Illyes, Google — scheduling dan host muat (melalui mesin pencari Roundtable’s coverage dari sebuah Stone Temple Q&sebuah)

• “Host load kind of sets a bucket of URLs in importance order and GoogleBot will crawl in that order based on the schedule the host load decided. If Google thinks your server can handle it, it will crawl the whole bucket, if not, it will stop.” (terjemahan) “Beban host menyusun sekumpulan URL berdasarkan kepentingan; Googlebot merayapinya sesuai jadwal yang ditentukan beban host. Jika server Anda mampu menanganinya, seluruh kelompok akan dirayapi; jika tidak, proses berhenti.” Jump untuk quote

Fabrice Canel, Microsoft Bing

• “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (terjemahan) “Efisiensi crawling adalah seberapa sering kami merayapi dan menemukan konten baru serta segar untuk setiap halaman yang dirayapi.” Jump untuk quote
• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (terjemahan) “Lebih sedikit lebih baik untuk SEO. Jangan lupakan itu: semakin sedikit URL yang dirayapi, semakin baik untuk SEO.” Jump untuk quote

crawl-budget optimization checklist

hanya worth berfungsi melalui jika Anda’ve confirmed Anda sebenarnya memiliki sebuah budget masalah (big situs, slow sama-day crawling, atau sebuah swelling “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” pile). lalu:

• Confirmed masalah adalah nyata — diperiksa GSC Statistik Crawling dan “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” sebelum optimizing apa pun.
• Picked satu canonical convention (host, protocol, trailing slash, case) dan consolidated duplicates untuk ini.
• Handled parameter URL — canonicalized, atau blocked ones itu hanya buat duplicate/rendah-nilai variants.
• Tamed faceted navigation — blocked worthless filter/sort combinations di robots.txt, atau moved them behind sebuah # so mereka tidak dapat di-crawl.
• Fixed soft 404s; returning nyata 404/410 untuk permanently dihapus halaman.
• dihapus atau shortened rantai pengalihan.
• Sitemaps list hanya canonical, dapat diindeks URLs dengan sebuah accurate lastmod.
• melakukan tidak gunakan noindex untuk “save” (terjemahan) “save” budget (Google permintaan ini anyway) dan melakukan tidak expect robots.txt blocks untuk reallocate budget untuk lainnya halaman.
• Strengthened tautan internal untuk penting dan newly published halaman.
• ditingkatkan server respons time dan pemuatan halaman efficiency.
• (Bing) Adopted IndexNow untuk push perubahan; digunakan crawl Control jika server muat adalah constraint.

mental models

1. Budget = capacity × demand. crawl capacity adalah apa Anda server dapat take; crawl demand adalah popularity + staleness + perceived inventory. Keduanya memiliki untuk menjadi di sana: sebuah fast server dengan rendah demand masih mendapatkan di-crawl lebih sedikit, dan tinggi demand throttles terhadap sebuah struggling server. untuk raise effective budget Anda hampir selalu hapus waste, tidak “ask untuk lebih.” (terjemahan) “tanyakan untuk lebih.”

2. “do I even have a problem?” (terjemahan) “melakukan I bahkan memiliki sebuah masalah?” gate. Jalankan ini sebelum touching apa pun:

• halaman di-crawl yang sama day mereka publish? → Tidak masalah. Berhenti di sini.
• di bawah ~100k URLs (Mueller’s aturan dari thumb)? → Hampir certainly Tidak masalah.
• 1M+ halaman mengubah weekly, atau 10k+ mengubah daily, atau sebuah big “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” pile? → Now ini adalah worth Anda time.

3. hapus waste sebelum asking Google untuk crawl lebih. single highest-leverage idea pada ini halaman. Google tries untuk crawl semuanya ini knows tentang; jika half dari itu adalah duplicates, facets, dan soft 404s, ini adalah spending Anda budget pada junk. Cut junk dan budget consolidates onto halaman itu penting — itu’s “the factor you can positively control the most.” (terjemahan) “ factor Anda dapat positively control paling.”

4. crawling ≠ peringkat. crawling adalah sebuah gate, tidak sebuah scoreboard. Lebih crawling tidak akan lift positions. So objective adalah coverage dari right URLs, tidak pernah mentah crawl volume.

5. ini adalah sebuah priority queue, tidak sebuah quota. Internally ini adalah scheduling oleh importance gated oleh host muat — sebuah prioritized bucket dari URLs, tidak sebuah flat “N pages per day.” (terjemahan) “N halaman per day.” Anda move up queue oleh menjadi lebih penting (tautan, demand) dan oleh tidak wasting fetches.

anggaran crawling — cheat sheet

Apa wastes ini (Google’s order dari significance)

Plus: panjang rantai pengalihan dan slow/berat halaman membuat setiap fetch cost lebih.

melakukan Anda bahkan perlu untuk care?

• sama-day crawling → Tidak.
• < ~100k URLs (Mueller) → hampir certainly Tidak.
• 1M+ halaman weekly perubahan, atau 10k+ daily perubahan, atau big “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” → Ya.

Memperbaiki itu berfungsi

• Consolidate duplicates / canonicalize.
• Block worthless paths di robots.txt (facets, params) — tidak pernah gunakan noindex untuk “save” (terjemahan) “save” budget.
• Perbaiki soft 404s; kembalikan nyata 404/410.
• Shorten rantai pengalihan; speed up server.
• Bersih sitemaps; strengthen tautan internal.

hanya dua cara untuk increase budget (Google): lebih server capacity dan lebih tinggi konten quality. Satu tanpa lainnya tidak akan melakukan ini.

Bing: ini adalah “crawl efficiency” (terjemahan) “efisiensi crawling” — push dengan IndexNow, schedule dengan crawl Control.

alat untuk measuring dan managing anggaran crawling

• Google Search Console — Statistik Crawling report (Settings → Statistik Crawling) — Google’s own view: total permintaan di atas time, average respons time, host status, dan breakdowns oleh kode respons, file jenis, dan Googlebot jenis. Mulai di sini.
• GSC “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” (halaman report) — warning light untuk URLs Google knows tentang tetapi tidak crawling.
• server log file analysis — ground truth untuk yang URLs bot sebenarnya hit dan bagaimana sering. alat: Screaming Frog Log File Analyser, atau pipe logs ke BigQuery / sebuah log platform. (See log file analysis.)
• Ahrefs situs Audit / Screaming Frog SEO Spider — simulate sebuah crawl untuk surface duplicate URLs, rantai pengalihan, soft 404s, blocked URLs, dan trap-like faceted spaces.
• Ahrefs Webmaster alat — free crawl + audit untuk situs Anda verify.
• pemeriksaan URL (GSC) — quick sama-day-crawl gut periksa untuk sebuah single URL.
• Bing Webmaster alat — crawl Control — schedule bingbot’s crawl oleh hour jika server muat adalah constraint.

melakukan Anda memiliki sebuah crawl-budget masalah?

Monthly crawl-budget health periksa

1. Export penelusuran-crawler permintaan dari server logs untuk yang sama reporting window setiap month.
2. Split permintaan oleh kode status, directory, halaman jenis, dan apakah URL adalah dapat diindeks.
3. Review tinggi-volume parameter patterns, duplicate paths, redirects, soft 404s, dan kesalahan server.
4. Bandingkan crawl share untuk valuable templates dengan sebelumnya period dan annotate launches atau migrations.
5. Assign setiap baru waste pattern sebuah owner dan sebuah control: tautan, parameters, redirects, canonicalization, removal, atau server repair.
6. Recheck affected pattern di berikutnya log window; SOP adalah selesai ketika valuable URLs retain access dan waste declines dari situs’s own baseline.

crawl-budget mistakes

• Chasing sebuah bigger permintaan count. Lebih crawling melakukan tidak meningkatkan rankings. Track apakah penting URLs adalah di-crawl ketika needed alih-alih.
• Blocking waste hanya di robots.txt. itu dapat berhenti fetching tanpa menghapus ditemukan URLs atau memperbaiki tautan itu buat them. hapus crawl paths dan consolidate inventory di mana appropriate.
• Updating setiap sitemap lastmod pada setiap bangun. salah freshness teaches crawler tidak untuk trust sinyal. perubahan ini hanya untuk bermakna halaman memperbarui.
• Ignoring kesalahan server sementara tuning URL patterns. sebuah capacity masalah caps berguna crawling. Repair timeouts dan 5xx respons pertama.
• Treating setiap excluded URL sebagai waste. beberapa non-terindeks resources mendukung rendering atau penemuan. Classify purpose sebelum blocking apa pun.

Prompt: classify crawl-log waste

Paste sebuah log-derived CSV dengan URL, template, status, bot, hits, bytes, dan indexability. hapus kueri nilai atau pengguna data pertama.

Act as a technical SEO analyst. Classify each URL pattern as valuable crawling, necessary support crawling, redirect/error waste, duplicate/parameter waste, or unclear. Do not infer intent from the URL alone: list the evidence needed for every unclear row. Rank patterns by crawler requests and bytes, propose the safest control, and state what could break if that control is wrong. Return a table plus a short validation plan.

Prompt: challenge sebuah crawl-budget diagnosis

Review the crawl-budget diagnosis below. Separate evidence of capacity, demand, discovery, and URL-inventory problems. Flag claims that confuse crawling with indexing or rankings. Then give the three smallest tests that would confirm or reject the diagnosis. Do not invent thresholds; use changes against the site's own baseline.

[PASTE DIAGNOSIS AND OBSERVATIONS]

Summarize crawler kode status dari sebuah access log

Jalankan ini terhadap sebuah nginx/Apache-style log setelah adjusting bot pattern untuk Anda verified crawler traffic:

awk 'BEGIN{IGNORECASE=1} /Googlebot|bingbot/ {print $9}' access.log | sort | uniq -c | sort -nr

pada PowerShell:

Select-String -Path .\access.log -Pattern 'Googlebot|bingbot' | ForEach-Object { if ($_.Line -match '"\s(\d{3})\s') { $Matches[1] } } | Group-Object | Sort-Object Count -Descending

Extract kueri-parameter families

gunakan ini regex di sebuah crawler export atau text editor untuk capture pertama kueri-parameter name:

\?([^=&]+)(?:=[^&]*)?

Group 1 adalah parameter name. tinggi permintaan counts identify patterns untuk investigate, tidak URLs untuk block secara otomatis.

Uji pemahaman Anda: anggaran crawling

Resources worth Anda time

My related writing

• Ketika seharusnya Anda Worry tentang anggaran crawling? — my penuh Ahrefs guide pada ini topic, dengan optimization detail dan faceted-nav decisions.
• cara Perbaiki “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” — GSC sinyal itu doubles sebagai sebuah crawl-budget warning light.
• Beginner’s Guide untuk SEO teknis — di mana anggaran crawling fits di bigger picture.
• SEO perusahaan Strategies — untuk besar-situs minority itu sebenarnya perlu ini.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawl-demand vs crawl-rate-limit model. (Standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari sekitar industry

• Google’s crawling December series (official, tetapi best concentrated set dari crawl explainers, including faceted navigation).
• Google menjelaskan apa “anggaran crawling” (terjemahan) “anggaran crawling” berarti untuk webmasters (Barry Schwartz, mesin pencari Land, 2017) — ringkasan sederhana dari tulisan asli Google; baik untuk konteks “most sites don’t need to worry” (terjemahan) “sebagian besar situs tidak perlu mengkhawatirkannya.”
• Gary Illyes menjelaskan Perbedaan antara anggaran crawling, Scheduling & Host muat (mesin pencari Roundtable) — sumber untuk “importance-order bucket” (terjemahan) “importance-order bucket” / host-muat framing itu menampilkan ini adalah sebuah priority queue, tidak sebuah flat quota.
• Google: 100 000 URLs biasanya tidak akan Impact anggaran crawling (mesin pencari Roundtable, 2021) — Mueller’s concrete 100k anchor dan <1/minute-di atas-3-months context.
• Google’s crawling Priorities: Insights dari Analyst Gary Illyes (mesin pencari Journal) — covers “fixed daily halaman quota” (terjemahan) “fixed daily halaman quota” debunk dan “convince penelusuran Anda stuff adalah worth fetching” (terjemahan) “convince penelusuran Anda stuff adalah worth fetching” angle.
• five infrastructure gates behind crawl, render, dan indeks (mesin pencari Land) — sumber untuk Fabrice Canel’s “Lebih sedikit adalah lebih untuk SEO” (terjemahan) “Lebih sedikit adalah lebih untuk SEO” quote dan Bing’s crawl-efficiency philosophy.
• bingbot Series: Optimizing crawl Frequency (Bing Webmaster Blog, Fabrice Canel) — bagaimana Bing decides re-crawl cadence; companion untuk Maximizing crawl Efficiency post.
• r/TechSEO — community untuk crawl/indeks debugging.

Stats worth citing

• 100k URLs biasanya tidak cukup untuk penting. John Mueller’s concrete anchor: “100k URLs adalah biasanya tidak cukup untuk memengaruhi anggaran crawling (ini <1/minute over 3 months).” (terjemahan) “100k URLs adalah biasanya tidak cukup untuk memengaruhi anggaran crawling (ini adalah <1/minute di atas 3 months).” single sebagian besar berguna angka untuk de-escalating crawl-budget worry. Sumber
• ** thresholds di mana ini dimulai untuk penting:** 1 million+ halaman mengubah roughly weekly, atau 10 000+ halaman mengubah daily (Google’s rough estimates, tidak tepat thresholds). Sumber
• ~60% dari web adalah duplicate konten — Google’s internal estimate, yang adalah mengapa duplicate URLs adalah such sebuah reliable crawl-budget drain. Sumber

standing KPI untuk crawl efficiency

anggaran crawling tidak sebuah angka Google hands Anda — Anda infer ini dari di mana Googlebot sebenarnya spends -nya permintaan. KPI adalah split: bagaimana banyak crawl lands pada halaman Anda ingin terindeks versus halaman itu adalah pure waste. (pertama, honesty periksa: ini hanya penting di scale — Google says crawl budget adalah sebuah concern mainly untuk situs sekitar 1M+ halaman, atau mid-size situs generating lots dari auto-dibuat URLs. sebuah kecil static situs dapat skip ini metric entirely.)

crawl allocation — valuable vs. wasted permintaan

• Metric — share dari verified-Googlebot permintaan hitting penting, dapat diindeks URLs vs. wasted ones (duplicates, parameter/faceted URLs, non-canonical variants, redirect hops, 4xx/5xx).
• Apa ini tells Anda — Apakah Anda crawl capacity adalah menjadi spent pada halaman itu dapat peringkat. sebuah rising wasted share adalah sebuah leading indicator dari penemuan/pengindeksan lag sebelum ini ever menampilkan up sebagai sebuah peringkat masalah.
• cara pull ini — Jalankan server logs melalui Log File Analyzer dan segment verified-Googlebot hits oleh URL class; corroborate dengan GSC Statistik Crawling report (total permintaan, oleh respons, oleh file purpose, host status).
• Benchmark / realistic range — Situational — ada Tidak honest universal “waste %,” (terjemahan) “waste %,” karena ini bergantung pada Anda URL architecture. Establish Anda own baseline dan drive wasted share down di atas time; trend adalah sinyal, tidak sebuah dibuat-buat absolute angka.
• Cadence — Monthly, dan lebih sering right setelah sebuah structural perubahan (baru facets, sebuah migration) atau ketika Statistik Crawling menampilkan sebuah sudden spike di permintaan atau di 4xx/5xx respons. Wasted-crawl adalah sebuah leading metric; terindeks-halaman counts lag ini.

Log perubahan