crawl Demand

TL;DR — anggaran crawling memiliki dua sides: bagaimana fast sebuah mesin pencari dapat fetch Anda halaman (laju crawling) dan bagaimana banyak ini ingin untuk (crawl demand). crawl demand adalah “ingin” (terjemahan) “ingin” side. Google ingin untuk crawl sebuah halaman lebih ketika ini adalah popular (lots dari tautan), ketika ini perubahan sering, dan ketika Google thinks situs adalah worth -nya time. Anda dapat’t push sebuah button untuk raise demand — Anda earn ini dengan tautan, genuine freshness, dan oleh tidak burying Anda baik halaman di bawah sebuah pile dari junk URLs.

Apa crawl demand adalah

Ketika orang say “anggaran crawling,” (terjemahan) “anggaran crawling,” mereka’re benar-benar talking tentang dua terpisah hal squished together. Satu adalah Anda server’s ability untuk tangani menjadi di-crawl — bagaimana fast, bagaimana banyak halaman di setelah. itu’s laju crawling, dan ini adalah covered pada -nya own halaman. lainnya adalah bagaimana banyak mesin pencari sebenarnya ingin untuk crawl Anda di pertama place. itu’s crawl demand — topic di sini.

Think dari ini sebagai supply dan demand. laju crawling adalah supply: bagaimana banyak crawling Anda situs dapat mendukung. crawl demand adalah demand: bagaimana banyak Google feels like melakukan. Evidence for this claim Google describes crawl demand as one of the two main elements of crawl budget, alongside crawl capacity limit. Scope: Google Search crawling. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Apa membuat Google ingin untuk crawl sebuah halaman

Google poin untuk sebuah handful dari significant factors, tidak satu exhaustive checklist. three ini menjelaskan di paling depth:

• Popularity. halaman dengan lebih tautan pointing di them mendapatkan di-crawl lebih sering, so Google mempertahankan -nya copy fresh.
• Staleness / freshness. jika sebuah halaman perubahan sebuah lot, Google ingin untuk periksa ini lebih sering. jika ini tidak pernah perubahan, Google learns untuk periksa ini lebih sedikit.
• Bagaimana banyak URLs Google thinks Anda memiliki. jika Anda situs adalah penuh dari junk, duplicate, atau rendah-nilai URLs, Google wastes -nya crawling pada itu alih-alih Anda nyata halaman. ini adalah satu Anda control paling. Evidence for this claim Google's crawl-demand guidance discusses perceived inventory, popularity, and staleness. Scope: These inputs influence crawling but do not provide a user-controlled demand setting. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Google juga names sebuah sedikit situs-tingkat factors itu shape demand alongside itu three: bagaimana big Anda situs adalah, bagaimana sering Anda perbarui ini, halaman quality, dan bagaimana Anda situs compares untuk others covering similar ground. jangan treat “popularity, staleness, perceived inventory” (terjemahan) “popularity, staleness, perceived inventory” sebagai sebuah menyelesaikan formula — ini adalah biggest, sebagian besar actionable levers, tidak seluruh list.

ada juga sebuah temporary satu: jika Anda move Anda situs untuk sebuah baru domain, Google memiliki untuk re-crawl semuanya untuk proses ini di bawah baru URLs, so demand spikes untuk sebuah sementara.

Mengapa Anda dapat’t hanya “increase crawl demand” (terjemahan) “meningkatkan permintaan crawling”

ada Tidak dial untuk ini — Tidak lebih daripada ada sebuah button untuk membuat Google crawl lebih cepat. Penerbitan ten posts sebuah day tidak akan melakukan ini jika tidak seorang pun tautan untuk them dan mereka’re tidak genuinely berguna. hal itu sebenarnya berfungsi adalah slow dan nyata: earn tautan, pertahankan konten genuinely fresh, dan bersih out junk URLs so Google’s crawling lands pada halaman itu penting.

dan di sini’s surprise: lebih crawling tidak bahkan goal. Getting di-crawl sebuah lot tidak membuat Anda peringkat lebih tinggi. Apa Anda ingin tidak lebih demand — ini adalah demand Anda memiliki pointed di right halaman.

ingin deeper versi — bagaimana demand dan Anda server’s capacity interact, bagaimana situs quality feeds back ke crawl scheduler, dan cara tell sebuah demand masalah dari sebuah capacity masalah? Switch untuk Advanced tab.

TL;DR — crawl demand adalah ingin side dari anggaran crawling; laju crawling/capacity adalah dapat side. Google names popularity (tautan / PageRank), staleness (bagaimana sering sebuah halaman perubahan), dan perceived inventory (bagaimana banyak URLs Google thinks exist, junk disertakan — “the factor you can positively control the most” (terjemahan) “faktor yang paling dapat Anda kendalikan”) sebagai significant umum demand factors — tidak sebuah closed formula; situs size, perbarui frequency, halaman quality, dan comparative relevance juga factor di. situs moves spike demand temporarily. My synthesis untuk tying ini together: demand sets priority order dari URLs; host-muat capacity decides bagaimana far down itu queue Googlebot mendapatkan — Google tidak document ini sebagai sebuah literal algorithm, tetapi ini adalah model itu fits evidence. sebuah healthy server tidak manufacture demand, dan tinggi demand dapat masih menjadi capacity-throttled. Anda dapat’t set demand secara langsung — hanya levers adalah -nya inputs, dan scheduler turns demand up ketika quality sinyal dari pengindeksan meningkatkan. Meanwhile Google adalah actively trying untuk crawl lebih sedikit sementara routing demand lebih precisely, so nyata goal adalah tidak pernah volume — ini adalah correct prioritization. sebagian besar situs tidak pernah perlu untuk manage apa pun dari ini.

crawl demand adalah “want,” (terjemahan) “sisi keinginan,” laju crawling adalah “can” (terjemahan) “sisi yang menunjukkan kemampuan”

Google adalah jelas itu anggaran crawling memiliki dua halves: amount dari time dan resources Google devotes untuk crawling sebuah situs “adalah determined oleh dua main elements: crawl capacity limit dan crawl demand.” (terjemahan) “adalah determined oleh dua main elements: crawl capacity limit dan crawl demand.” cara I frame ini di my Ahrefs crawl-budget guide: anggaran crawling adalah “made up crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” (terjemahan) “terdiri dari crawl demand, yaitu berapa banyak halaman yang ingin dirayapi mesin pencari, serta crawl rate, yaitu seberapa cepat halaman dapat dirayapi.” Demand adalah want (terjemahan) “sisi yang menyatakan keinginan”; rate adalah can (terjemahan) “sisi yang menunjukkan kemampuan”. Evidence for this claim Google describes crawl demand as one of the two main elements of crawl budget, alongside crawl capacity limit. Scope: Google Search crawling. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

ini halaman adalah hanya tentang ingin. dapat side — crawl capacity limit, GSC rate slider itu adalah dihapus di January 2024, bagaimana 5xx/429 respons slow Googlebot, dan Bing’s manual crawl Control grid — semua lives pada laju crawling halaman. I’m tidak going untuk re-derive ini di sini; ketika dua interact I’ll tautan di seluruh.

three demand inputs

Google’s saat ini guidance panggilan perceived inventory, popularity, dan staleness significant umum factors itu drive bagaimana banyak ini ingin untuk crawl — ini tidak present them sebagai sebuah exhaustive, closed formula. yang sama guidance juga names situs size, bagaimana sering ini adalah diperbarui, halaman quality, dan bagaimana ini compares untuk similar situs sebagai factors Googlebot weighs. three di bawah adalah ones Google menjelaskan di paling depth dan ones Anda dapat act pada secara langsung. Evidence for this claim Google's crawl-demand guidance discusses perceived inventory, popularity, and staleness. Scope: These inputs influence crawling but do not provide a user-controlled demand setting. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Popularity

“URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (terjemahan) “URL yang lebih populer di internet cenderung dirayapi lebih sering agar tetap segar di sistem kami.” Lebih tautan dan lebih PageRank pointing di sebuah URL adalah sebuah demand sinyal — ini adalah mengapa Anda homepage mendapatkan di-crawl constantly dan sebuah deep, unlinked halaman barely di semua. sebagai I put ini di my crawl-budget guide, “Popular halaman, atau itu dengan lebih links dan PageRank, akan generally menerima priority over other halaman.” (terjemahan) “Popular halaman, atau itu dengan lebih tautan dan PageRank, akan umumnya menerima priority di atas lainnya halaman.” tautan internal count di sini too: sebuah halaman tidak ada apa pun tautan untuk (sebuah orphan) memiliki hampir Tidak demand berfungsi untuk ini.

Staleness

“Our systems want to recrawl documents frequently enough to pick up any changes.” (terjemahan) “kami sistem ingin untuk recrawl documents frequently cukup untuk pick up apa pun perubahan.” Google learns setiap halaman’s rhythm. sebuah halaman itu perubahan constantly earns frequent recrawls; sebuah halaman itu tidak pernah perubahan mendapatkan diperiksa lebih sedikit dan lebih sedikit. di my crawl-budget guide I deskripsikan backoff Google applies untuk sebuah static halaman: “if they crawl a page and see no changes after a day, they may wait three days before crawling again, ten days the next time, 30 days, 100 days, etc.” (terjemahan) “Jika mereka merayapi halaman dan tidak melihat perubahan setelah satu hari, mereka mungkin menunggu tiga hari sebelum merayapinya lagi, lalu sepuluh hari, 30 hari, 100 hari, dan seterusnya.” itu per-URL recrawl cadence adalah benar-benar sebuah crawl frequency pertanyaan — I cover mechanics di sana — tetapi underlying force adalah demand, dan secara khusus staleness.

Perceived inventory ( satu Anda control sebagian besar)

ini adalah headline lever. Google: “Without guidance from you, Google tries to crawl all or most of the URLs that it knows about on your site. If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (terjemahan) “Tanpa arahan dari Anda, Google mencoba merayapi semua atau sebagian besar URL yang diketahuinya di situs Anda. Jika banyak URL itu duplikat atau tidak ingin Anda rayapi karena alasan lain, waktu crawling Google di situs Anda akan terbuang. Faktor inilah yang paling dapat Anda kendalikan secara positif.”

subtle bagian adalah apa ini melakukan untuk demand, tidak hanya capacity. ini adalah easy untuk think dari junk URLs sebagai “wasting anggaran crawling” (terjemahan) “wasting anggaran crawling” — spending fetches pada copies alih-alih baru konten. benar. tetapi ada sebuah demand-side effect too: sebuah situs milik siapa knowable inventory adalah mostly rendah-nilai duplicates dan parameter sprawl looks, untuk Google, like sebuah lebih rendah-nilai situs untuk crawl. Cutting perceived inventory tidak hanya free capacity; di atas time ini concentrates demand pada URLs itu deserve ini. Faceted navigation, session IDs, infinite calendar spaces, dan lainnya spider traps adalah classic inventory inflators — dan classic demand suppressors.

situs moves dan lainnya demand spikes

Satu demand driver tidak tentang apa pun single URL: “Additionally, site-wide events like site moves mungkin trigger an increase di crawl demand di order untuk reprocess itu konten under itu new URLs.” (terjemahan) “Additionally, situs-wide events like situs moves dapat trigger sebuah increase di crawl demand di order untuk reprocess konten di bawah baru URLs.” jika Anda melakukan sebuah domain migration atau sebuah big replatform dan notice Googlebot hitting Anda far harder daripada biasa untuk sebuah sedikit weeks, itu’s yang diharapkan — Google memiliki untuk re-fetch dan reprocess semuanya di bawah baru addresses. ini adalah sebuah temporary spike, tidak sebuah baru baseline, dan ini adalah sebuah demand event pesaing guides hampir tidak pernah mention despite ini menjadi verbatim di Google’s own documentation.

Bagaimana demand dan host muat interact: queue order vs. capacity gate

Di sini’s sebuah mental model itu membuat seluruh topic click — dan I ingin untuk menjadi upfront itu ini adalah my synthesis, tidak sesuatu Google documents sebagai sebuah literal algorithm. ini adalah dibangun pada sebuah Gary Illyes Q&sebuah, quoted di sini melalui mesin pencari Roundtable’s coverage: host muat “sets a bucket dari URLs di importance order dan GoogleBot akan crawl di itu order based pada itu schedule itu host load decided. Jika Google thinks Anda server dapat tangani it, it akan crawl itu seluruh bucket, jika tidak, it akan berhenti.” (terjemahan) “sets sebuah bucket dari URLs di importance order dan GoogleBot akan crawl di itu order berdasarkan schedule host muat decided. jika Google thinks Anda server dapat tangani ini, ini akan crawl seluruh bucket, jika tidak, ini akan berhenti.” Notably, per itu sama Q&sebuah, host muat tracks importance dari Anda halaman — tidak mentah angka dari URLs Anda memiliki atau bagaimana banyak Anda ingin di-crawl. itu halaman blocks automated fetching, so I haven’t telah able untuk re-konfirmasi tepat wording secara langsung terhadap langsung sumber ini lulus — treat ini sebagai sebuah well-corroborated paraphrase, tidak sebuah verbatim utama-sumber quote.

Baca itu dengan hati-hati dan sebuah hubungan falls out — again, ini adalah bagaimana I connect pieces, tidak sebuah mechanism Google memiliki spelled out end untuk end:

• Demand sets order. “bucket dari URLs di importance order” (terjemahan) “bucket dari URLs di importance order” adalah crawl demand — popularity dan staleness deciding yang URLs sit di top dari queue.
• Capacity sets bagaimana far Google mendapatkan. Host muat / laju crawling decides bagaimana deep ke itu ordered bucket Googlebot sebenarnya melakukan crawl pada sebuah diberikan day. “Jika Anda server dapat tangani it, it crawls itu seluruh bucket; jika tidak, it berhenti.” (terjemahan) “jika Anda server dapat tangani ini, ini melakukan crawl seluruh bucket; jika tidak, ini berhenti.”

So dua tidak hanya multiplied together — mereka play berbeda peran. sebuah healthy, fast server tidak manufacture demand (ini hanya raises ceiling pada bagaimana banyak dari Anda existing demand mendapatkan realized), dan tinggi demand dapat masih menjadi capacity-throttled (sebuah slow atau error-prone server berhenti Googlebot bagian-cara down queue Tidak penting bagaimana banyak ini ingin untuk crawl). ini adalah mengapa “I bought a lebih cepat server dan Google masih tidak crawling my new halaman” (terjemahan) “I bought sebuah lebih cepat server dan Google masih tidak crawling my baru halaman” adalah such sebuah umum, frustrating hasil: capacity adalah tidak pernah constraint — demand adalah.

Anda dapat’t set demand secara langsung — tetapi scheduler listens

pendek jawaban: Anda tidak set demand secara langsung. Anda earn ini, indirectly, melalui nyata tautan dan nyata quality improvements itu tampilkan up di pengindeksan sinyal — tidak ada apa pun else moves ini.

tidak ada “crawl lebih” (terjemahan) “crawl lebih” permintaan untuk demand apa pun lebih daripada ada untuk rate. tetapi demand adalah dynamic, dan Google memiliki telah unusually candid tentang bagaimana ini moves. Gary Illyes: “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (terjemahan) “Jika Anda ingin kami merayapi lebih banyak, Anda harus meyakinkan penelusuran bahwa konten Anda layak diambil; itulah yang pada dasarnya didengarkan penjadwal.” dan feedback loop adalah nyata-time-ish: “Scheduling adalah very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (terjemahan) “Penjadwalan sangat dinamis. Begitu sinyal dari pengindeksan penelusuran menunjukkan peningkatan kualitas konten pada banyak URL, kami akan mulai menaikkan demand.” flip side too: “If search demand goes down, then that also correlates to the crawl limit going down.” (terjemahan) “Jika demand penelusuran turun, batas crawling juga ikut turun.” (I re-diperiksa ini three lines terhadap mesin pencari Journal’s coverage ini lulus dan mereka match verbatim; I masih haven’t tracked down Google’s own podcast audio/transcript untuk konfirmasi them sebagai sebuah utama sumber, so treat them sebagai well-corroborated sekunder quotes.)

itu reframes “how do I increase crawl demand” (terjemahan) “bagaimana cara meningkatkan permintaan crawling” away dari tricks. Fake lastmod timestamps, sitemap pings, dan penerbitan volume jangan convince scheduler. dua hal itu melakukan adalah dua hard hal: nyata popularity (tautan) dan nyata quality improvements itu tampilkan up di pengindeksan sinyal dan feed back ke scheduler. Semuanya else adalah theater.

Google adalah trying untuk crawl lebih sedikit, tidak lebih

single freshest angle di sini, dan satu older guides miss entirely: Google’s own stated goal adalah untuk reduce total crawl volume, tidak grow ini. di sebuah April 2024 LinkedIn post, Illyes wrote: “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire.” (terjemahan) “Misi saya tahun ini adalah mencari cara untuk merayapi lebih sedikit dan mengirim lebih sedikit byte melalui jaringan.” He pushed back pada idea itu Google memiliki slashed crawling — “we’re crawling roughly as much as before, however scheduling got more intelligent” (terjemahan) “Kami merayapi kira-kira sebanyak sebelumnya, tetapi penjadwalannya menjadi lebih cerdas.” — dan dibingkai goal sebagai sebuah shared win: “Decreasing crawling without sacrificing crawl-quality would benefit everyone.” (terjemahan) “Mengurangi crawling tanpa mengorbankan kualitas crawling akan bermanfaat bagi semua orang.” mechanisms he pointed di adalah better caching, cache sharing di seluruh pengguna-agents, dan fewer bytes transferred — tidak “crawl my site lebih.” (terjemahan) “crawl my situs lebih.”

takeaway: crawl demand adalah tidak pernah sesuatu untuk maximize. Google adalah actively optimizing untuk lebih sedikit total crawling dengan equal atau better crawl quality, routing demand ini melakukan memiliki toward URLs lebih mungkin untuk deserve ini. Anda goal tidak lebih demand — ini adalah correct prioritization dari demand Anda’ve earned.

melakukan Anda bahkan memiliki sebuah demand masalah?

sebagian besar situs jangan, dan tidak seharusnya spend sebuah minute pada ini. Google’s own de-escalation applies squarely untuk demand: “Jika Anda site tidak memiliki a large number dari halaman itu ubah rapidly, atau jika Anda halaman seem untuk menjadi crawled itu sama day itu they adalah published, Anda jangan perlu untuk baca ini guide.” (terjemahan) “jika Anda situs tidak memiliki sebuah besar angka dari halaman itu perubahan rapidly, atau jika Anda halaman seem untuk menjadi di-crawl yang sama day itu mereka adalah published, Anda tidak perlu untuk baca ini guide.” John Mueller memiliki telah similarly blunt tentang scale — per mesin pencari Roundtable’s coverage dari his tweet, 100k URLs adalah biasanya tidak cukup untuk memengaruhi anggaran crawling, since itu berfungsi out untuk well di bawah satu crawl per minute di atas three months.

jika Anda adalah big cukup untuk care, di sini’s diagnostic itu separates sebuah demand masalah dari sebuah capacity satu — dengan sebuah caveat up front: ini produces sebuah hypothesis untuk test, tidak sebuah diagnosis. Pull up GSC’s Statistik Crawling report dan Anda server logs. jika host status adalah healthy dan average respons time adalah fine tetapi sebuah set dari URLs adalah barely getting di-crawl — dan mereka’re stuck di “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” — itu pattern adalah evidence pointing toward demand, tidak proof dari ini. Statistik Crawling menampilkan crawl activity (sebuah capacity-side view), tidak sebuah demand score — di sana adalah Tidak publik per-situs “crawl demand score” (terjemahan) “crawl demand score” anywhere, so Anda’re selalu inferring demand dari activity plus pengindeksan status, tidak pernah reading ini off sebuah dashboard.

sebelum Anda act pada “ini a demand problem,” (terjemahan) “ini adalah sebuah demand masalah,” aturan out lainnya hal itu produce yang sama healthy-server-tetapi-tidak-di-crawl symptom: Google dapat tidak memiliki ditemukan URLs namun (Tidak path di, Tidak sitemap entry), rendering dapat menjadi hiding konten Googlebot perlu untuk see, canonicalization dapat poin Google di suatu tempat else entirely, nyata quality issues (thin, duplicate, rendah-nilai) dapat mendapatkan sebuah halaman di-crawl tetapi dengan sengaja left out dari indeks, dan Google’s own pengindeksan selection dapat sit sebuah halaman out bahkan ketika crawling dan quality adalah keduanya fine. hanya setelah itu adalah diperiksa dan jangan jelaskan ini melakukan “low demand” (terjemahan) “rendah demand” become berfungsi explanation — dan bahkan lalu, treat ini sebagai best-didukung hypothesis, tidak sebuah confirmed penyebab. Lebih cepat hardware tidak akan perbaiki sebuah genuine demand masalah; perbaiki adalah pada demand inputs: tautan untuk itu halaman, genuine alasan untuk recrawl them, dan lebih sedikit junk inventory drowning them out.

untuk ground-truth, per-URL crawl data, log analysis adalah jawaban. I’ll flag satu saat ini alat I dapat speak untuk firsthand di alat tab.

crawl demand vs. rate vs. budget vs. frequency

pertahankan family straight:

• crawl demand — bagaimana banyak Google ingin untuk crawl (popularity + staleness + perceived inventory). ini halaman.
• laju crawling — bagaimana fast ini dapat (capacity / host muat). -nya own halaman.
• anggaran crawling — dua together: “itu number dari URLs Googlebot dapat dan wants untuk crawl.” (terjemahan) “ angka dari URLs Googlebot dapat dan ingin untuk crawl.”
• crawl frequency — bagaimana sering sebuah diberikan URL mendapatkan recrawled, yang adalah sebuah demand output (mostly staleness).

Bing tidak gunakan istilah “crawl demand” (terjemahan) “crawl demand” — ini reframes seluruh hal sebagai crawl efficiency: Fabrice Canel defines ini sebagai “how often we crawl and discover new and fresh content per page crawled,” (terjemahan) “seberapa sering kami merayapi dan menemukan konten baru dan segar untuk setiap halaman yang dirayapi,” dan Bing’s philosophy adalah inventory-reduction-pertama, demand-side equivalent dari perceived inventory. IndexNow adalah Bing’s cara dari signaling demand-relevant perubahan events alih-alih menunggu untuk scheduler untuk infer staleness — tetapi note Google melakukan tidak gunakan IndexNow, so ini tidak akan move Google’s demand.

AI summary

sebuah condensed take pada Advanced versi:

• crawl demand = “want” (terjemahan) “sisi keinginan” dari anggaran crawling; laju crawling/capacity adalah “can” (terjemahan) “sisi yang menunjukkan kemampuan”. Budget adalah “the number of URLs Googlebot can and wants to crawl.” (terjemahan) “jumlah URL yang dapat dan ingin dirayapi Googlebot.”
• Significant demand factors — tidak sebuah closed formula: popularity (tautan / PageRank), staleness (bagaimana sering sebuah halaman perubahan), dan perceived inventory (bagaimana banyak URLs Google thinks exist — junk disertakan; “itu factor Anda dapat positively control itu paling” (terjemahan) “ factor Anda dapat positively control paling”), plus situs size, perbarui frequency, halaman quality, dan comparative relevance.
• situs moves spike demand temporarily sementara Google reprocesses konten di bawah baru URLs.
• Demand vs. capacity model (my synthesis, tidak sebuah terdokumentasi Google algorithm): demand sets priority order dari URLs; host-muat capacity decides bagaimana far down itu queue Googlebot mendapatkan. sebuah fast server tidak buat demand; tinggi demand dapat masih menjadi capacity-throttled.
• Anda dapat’t set demand secara langsung. scheduler “turns up demand” (terjemahan) “turns up demand” ketika quality sinyal dari pengindeksan meningkatkan — so satu-satunya nyata levers adalah earning tautan dan membuat genuine quality/freshness improvements. Fake lastmod, sitemap pings, dan penerbitan volume jangan move ini.
• Google adalah trying untuk crawl lebih sedikit, tidak lebih (Illyes: “crawl even lebih sedikit… fewer bytes pada wire” (terjemahan) “crawl bahkan lebih sedikit… fewer bytes pada wire”), routing demand lebih precisely. goal adalah correct prioritization, tidak volume.
• Diagnose demand vs. capacity: healthy host status + rendah crawl volume + stuck di “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” adalah sebuah demand hypothesis, tidak proof — aturan out penemuan, rendering, canonicalization, dan pengindeksan-selection penyebab pertama. Tidak publik “crawl demand score” (terjemahan) “crawl demand score” ada.
• Bing reframes ini sebagai crawl efficiency; IndexNow sinyal perubahan untuk Bing (tidak Google). sebagian besar situs tidak pernah perlu untuk manage ini.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• mengoptimalkan Anda anggaran crawling — sumber itu defines crawl demand, -nya three inputs (popularity, staleness, perceived inventory), dan situs-move demand spikes.
• anggaran crawling Management — capacity/demand split, dengan crawl-capacity mechanics itu demand berjalan ke.
• Apa anggaran crawling berarti untuk Googlebot (2017) — Gary Illyes’ original post defining anggaran crawling sebagai apa Googlebot “can and wants to crawl,” (terjemahan) “dapat dan ingin untuk crawl,” dan rendah-nilai-URL categories itu suppress effective demand.
• Myths dan facts tentang crawling — mengonfirmasi laju crawling tidak sebuah sinyal peringkat dan itu server health, tidak desire, sets capacity ceiling.
• crawling December series (2024) — Googlebot, HTTP caching, faceted nav, dan efficiency thinking behind crawling lebih sedikit.

Bing / Microsoft

• bingbot Series: Maximizing crawl Efficiency — Bing’s “crawl efficiency” (terjemahan) “crawl efficiency” framing, -nya demand-side analogue.
• bingbot Series: Optimizing crawl Frequency — Bing’s take pada recrawl cadence driven oleh bagaimana sering konten perubahan (-nya “staleness” (terjemahan) “staleness” analogue).
• IndexNow / indexnow.org — sinyal changed URLs untuk Bing dan others (tidak Google) alih-alih menunggu pada inferred staleness.

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — demand definition dan -nya inputs

• “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (terjemahan) “ amount dari time dan resources itu Google devotes untuk crawling sebuah situs adalah commonly called situs’s anggaran crawling dan ini adalah determined oleh dua main elements: crawl capacity limit dan crawl demand.” — besar situs Owner’s Guide untuk Managing anggaran crawling. Jump untuk quote
• “Each crawler has its own ‘demand’ when it comes to crawling the web.” (terjemahan) “setiap crawler memiliki -nya own ‘demand’ ketika ini muncul untuk crawling web.” Jump untuk quote
• “URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (terjemahan) “URL yang lebih populer di internet cenderung dirayapi lebih sering agar tetap segar di sistem kami.” (popularity) Jump untuk quote
• “Our systems want to recrawl documents frequently enough to pick up any changes.” (terjemahan) “kami sistem ingin untuk recrawl documents frequently cukup untuk pick up apa pun perubahan.” (staleness) Jump untuk quote

Google — perceived inventory dan situs moves

• “If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (terjemahan) “Jika banyak URL itu duplikat atau tidak ingin Anda rayapi karena alasan lain, waktu crawling Google di situs Anda akan terbuang. Faktor inilah yang paling dapat Anda kendalikan secara positif.” Jump untuk quote
• “Additionally, site-wide events like site moves mungkin trigger an increase di crawl demand di order untuk reprocess itu konten under itu new URLs.” (terjemahan) “Additionally, situs-wide events like situs moves dapat trigger sebuah increase di crawl demand di order untuk reprocess konten di bawah baru URLs.” Jump untuk quote
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (terjemahan) “jika Anda situs tidak memiliki sebuah besar angka dari halaman itu perubahan rapidly, atau jika Anda halaman seem untuk menjadi di-crawl yang sama day itu mereka adalah published, Anda tidak perlu untuk baca ini guide.” Jump untuk quote

Gary Illyes, Google — bagaimana demand sebenarnya moves (melalui mesin pencari Journal’s coverage dari his podcast appearance)

• “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (terjemahan) “jika Anda ingin increase bagaimana banyak kami crawl, lalu Anda somehow memiliki untuk convince penelusuran itu Anda stuff adalah worth fetching, yang adalah basically apa scheduler adalah listening untuk.” Baca coverage
• “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (terjemahan) “Menurut uraian ini, penjadwalannya sangat dinamis: ketika sinyal pengindeksan menunjukkan peningkatan kualitas pada banyak URL, demand mulai dinaikkan.” Baca coverage
• “If search demand goes down, then that also correlates to the crawl limit going down.” (terjemahan) “jika penelusuran demand goes down, lalu itu juga correlates untuk crawl limit going down.” Baca coverage

Gary Illyes, Google — “crawl even less” (terjemahan) “crawl bahkan lebih sedikit” mission (LinkedIn, April 2024 — utama sumber, verified verbatim)

• “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire.” (terjemahan) “Misi saya tahun ini adalah mencari cara untuk merayapi lebih sedikit dan mengirim lebih sedikit byte melalui jaringan.” Baca post
• “we’re crawling roughly as much as before, however scheduling got more intelligent” (terjemahan) “Kami merayapi kira-kira sebanyak sebelumnya, tetapi penjadwalannya menjadi lebih cerdas.” dan “Decreasing crawling without sacrificing crawl-quality would benefit everyone.” (terjemahan) “Mengurangi crawling tanpa mengorbankan kualitas crawling akan bermanfaat bagi semua orang.” Baca post

Bing / Microsoft — crawl efficiency ( demand-side analogue)

• “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (terjemahan) “Efisiensi crawling adalah seberapa sering kami merayapi dan menemukan konten baru serta segar untuk setiap halaman yang dirayapi.” — Fabrice Canel. Jump untuk quote

adalah ini sebuah crawl-demand masalah — dan seharusnya Anda care?

berfungsi top-down. sebagian besar situs exit early dengan “leave it alone.” (terjemahan) “leave ini alone.”

crawl demand myths dan mistakes

conflations itu kirim orang down wrong path.

“Crawl demand and crawl budget are the same thing.” (terjemahan) “crawl demand dan anggaran crawling adalah yang sama hal.” Mengapa ini adalah wrong: demand adalah satu dari dua components; budget adalah capacity × demand together — “itu number dari URLs Googlebot dapat dan wants untuk crawl.” (terjemahan) “ angka dari URLs Googlebot dapat dan ingin untuk crawl.” melakukan alih-alih: pertahankan vocabulary straight. Budget adalah outcome; demand dan capacity adalah -nya dua inputs. sebuah budget masalah adalah selalu benar-benar sebuah demand masalah, sebuah capacity masalah, atau keduanya.

“A faster server increases crawl demand.” (terjemahan) “sebuah lebih cepat server increases crawl demand.” Mengapa ini adalah wrong: server speed raises capacity ceiling hanya. ini lets Google realize lebih dari demand Anda sudah memiliki; ini tidak membuat Google ingin untuk crawl lebih. Demand adalah set oleh popularity, staleness, dan perceived inventory — none dari yang Anda hardware touches. melakukan alih-alih: jika sebuah healthy server masih tidak getting Anda halaman di-crawl, berhenti buying hardware dan berfungsi demand inputs (tautan, freshness, lebih sedikit junk inventory).

“Publishing more often increases demand.” (terjemahan) “Penerbitan lebih sering increases demand.” Mengapa ini adalah wrong: penerbitan volume tanpa genuine importance atau perubahan tidak convince scheduler. Ten thin posts sebuah day itu tidak seorang pun tautan untuk move tidak ada apa pun. melakukan alih-alih: publish hal itu earn tautan dan genuinely perubahan/meningkatkan — itu’s apa feeds quality sinyal scheduler listens untuk. (ini adalah sebuah crawl frequency poin too; lebih detail lives di sana.)

“Blocking junk URLs di robots.txt instantly redirects itu demand untuk my good halaman.” (terjemahan) “Blocking junk URLs di robots.txt instantly redirects itu demand untuk my baik halaman.” Mengapa ini adalah wrong: cutting perceived inventory helps demand concentrate di atas time sebagai Google reassesses situs — tetapi ini tidak sebuah instant reallocation. Google tidak akan secara otomatis pour freed-up crawling onto Anda baik halaman moment Anda disallow junk. melakukan alih-alih: reduce junk inventory untuk panjang-istilah concentration benefit, dan menjadi patient. ini adalah sebuah trend, tidak sebuah switch.

“ada a crawl-demand score I dapat periksa di Search Console.” (terjemahan) “ada sebuah crawl-demand score I dapat periksa di Search Console.” Mengapa ini adalah wrong: Tidak publik per-situs demand score ada. Statistik Crawling menampilkan crawl activity — sebuah capacity-side report — tidak sebuah demand metric. melakukan alih-alih: infer demand dari activity plus pengindeksan status (e.g., healthy host + rendah crawl volume + “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” = sebuah demand sinyal). gunakan log data untuk per-URL ground truth.

“IndexNow or sitemap pings raise Google’s crawl demand.” (terjemahan) “IndexNow atau sitemap pings raise Google’s crawl demand.” Mengapa ini adalah wrong: Google tidak gunakan IndexNow, dan ini ignores changefreq/priority di sitemaps. Pinging Google tidak membuat ini ingin untuk crawl Anda lebih. melakukan alih-alih: gunakan IndexNow untuk Bing dan lainnya participating mesin. untuk Google, sebuah accurate lastmod helps ini schedule, tetapi demand levers tetap tautan, freshness, dan inventory.

“More crawling is always better — for me and for Google.” (terjemahan) “Lebih crawling adalah selalu better — untuk me dan untuk Google.” Mengapa ini adalah wrong: getting di-crawl lebih tidak raise rankings, dan Google itself adalah trying untuk crawl lebih sedikit (“My mission this year is to figure out how to crawl even less, and have fewer bytes on wire” (terjemahan) “My mission ini tahun adalah untuk figure out cara crawl bahkan lebih sedikit, dan memiliki fewer bytes pada wire”) sementara routing demand lebih precisely. melakukan alih-alih: aim untuk correct prioritization, tidak mentah volume. goal adalah demand Anda memiliki landing pada right URLs.

Runbook: “Google tidak crawling my important halaman, dan my server adalah fine” (terjemahan) “Google tidak crawling my penting halaman, dan my server adalah fine”

sebuah linear path untuk sebuah besar-situs owner siapa suspects sebuah demand masalah. Berhenti segera setelah sebuah langkah resolves ini.

1. Konfirmasi Anda’re big cukup untuk care. jika halaman adalah biasanya di-crawl day mereka’re published, atau situs adalah wajar-sized, berhenti — Anda tidak memiliki sebuah crawl-demand masalah. ini runbook adalah untuk 1M+-halaman atau fast-mengubah situs, atau situs dengan sebuah besar “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” pile.

2. aturan out capacity pertama. Open GSC Statistik Crawling. periksa host status dan average respons time di atas terakhir 90 days. jika Anda see 5xx/timeout spikes atau climbing respons times, ini adalah sebuah capacity masalah — perbaiki server health (see crawl rate halaman) dan re-jalankan ini runbook afterward. jika server looks healthy, continue.

3. Pull per-URL ground truth dari logs. Mendapatkan server logs (atau sebuah bot-analytics feed) untuk affected URL set. Konfirmasi pattern: nyata Googlebot hits adalah sparse atau absent pada halaman Anda care tentang, sementara junk/parameter URLs adalah eating hits. Sparse hits pada healthy-server halaman adalah sebuah demand hypothesis, tidak sebuah confirmed penyebab namun — sebelum Anda commit untuk “demand,” (terjemahan) “demand,” aturan out look-alikes: Google tidak memiliki ditemukan URL, sebuah rendering failure hiding konten, canonicalization pointing away dari halaman, nyata quality/duplication issues, dan Google’s own pengindeksan-selection choices. periksa Search Console’s URL Inspection dan dirender-HTML view untuk setiap.

4. periksa untuk perceived-inventory inflation. Count bagaimana banyak rendah-nilai URLs Google dapat menjadi discovering: faceted-navigation combinations, session IDs, sort/filter parameters, calendar/infinite spaces, pada-situs duplicates. jika ini dwarf Anda nyata halaman, demand adalah mungkin menjadi spread di seluruh junk.

5. Cut junk inventory. Reduce rendah-nilai URL space di sumber (parameter menangani, robots.txt disallow dari infinite spaces, memperbaiki spider traps, consolidating duplicates melalui canonicalization). Expect concentration di atas time, tidak sebuah instant reallocation.

6. berfungsi popularity input. tambahkan tautan internal dari strong halaman untuk di bawah-di-crawl ones (kill orphans), dan pursue tautan eksternal. Popularity adalah sebuah utama demand driver.

7. berfungsi quality/freshness input. Genuinely meningkatkan dan perbarui halaman so sinyal itu come back dari pengindeksan tell scheduler untuk “turn up demand.” (terjemahan) “turn up demand.” Accurate lastmod helps Google schedule; fake freshness melakukan tidak.

8. Memberikan ini time, lalu re-mengukur. Re-periksa Statistik Crawling dan logs setelah Google memiliki memiliki time untuk reassess. Demand shifts adalah gradual. jika halaman adalah now crawling dan pengindeksan, selesai. jika tidak, revisit apakah halaman adalah genuinely worth crawling — sometimes honest jawaban adalah itu mereka tidak, dan thin halaman tidak seharusnya menjadi forced ke indeks.

crawl-demand checklist

Diagnose: adalah ini demand atau capacity?

• Confirmed situs adalah sebenarnya besar/fast-mengubah cukup untuk care (else berhenti).
• GSC Statistik Crawling: host status healthy, average respons time stable, Tidak 5xx/timeout spikes.
• server logs (atau bot analytics) reviewed untuk nyata per-URL Googlebot hits.
• Pattern identified: healthy server + rendah crawl volume pada baik halaman + “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” = sebuah demand hypothesis, tidak proof — dan tidak sebuah capacity issue.
• Ruled out look-alikes sebelum blaming demand: penemuan, rendering, canonicalization, quality/duplication, dan pengindeksan-selection issues.

berfungsi demand inputs (ada Tidak direct dial)

• Popularity: penting halaman memiliki tautan internal pointing di them (Tidak orphans); external tautan-membangun underway di mana ini penting.
• Staleness/freshness: halaman itu seharusnya menjadi recrawled sering adalah genuinely diperbarui; lastmod adalah accurate (tidak faked).
• Perceived inventory: faceted-nav, parameter, session-ID, dan infinite URL spaces adalah controlled; spider traps fixed; duplicates consolidated.

Reality memeriksa

• Tidak expecting sebuah lebih cepat server untuk raise demand (ini hanya raises capacity ceiling).
• Tidak expecting robots.txt disallow dari junk untuk instantly reroute demand untuk baik halaman (ini concentrates di atas time).
• Tidak relying pada IndexNow/sitemap pings untuk move Google’s demand (Google ignores IndexNow dan changefreq/priority).
• setelah sebuah situs move, treating temporary crawl spike sebagai yang diharapkan, tidak sebuah masalah.
• Remembering lebih crawling tidak goal — correct prioritization adalah; crawl volume tidak sebuah peringkat factor.

crawl demand — cheat sheet

** dua sides dari anggaran crawling**

** three sebagian besar-actionable demand inputs** (Google names ini plus situs size, perbarui frequency, halaman quality, dan comparative relevance sebagai significant umum factors — tidak sebuah closed formula)

Fast facts

• anggaran crawling = “itu number dari URLs Googlebot dapat dan wants untuk crawl.” (terjemahan) “ angka dari URLs Googlebot dapat dan ingin untuk crawl.”
• Perceived inventory adalah “the factor you can positively control the most.” (terjemahan) “ factor Anda dapat positively control paling.”
• situs moves temporarily spike demand (reprocessing di bawah baru URLs).
• Demand sets priority order; host-muat capacity decides bagaimana deep Google melakukan crawl — sebuah healthy server tidak buat demand.
• scheduler “turns up demand” (terjemahan) “turns up demand” ketika pengindeksan quality sinyal meningkatkan — itu’s satu-satunya nyata lever besides tautan.
• Google’s goal adalah untuk crawl lebih sedikit overall, tidak lebih (Illyes, 2024). crawl volume adalah tidak sebuah peringkat factor.
• Tidak publik “crawl demand score” (terjemahan) “crawl demand score” — Statistik Crawling menampilkan activity (capacity side).
• Bing memiliki Tidak “crawl demand” (terjemahan) “crawl demand” istilah — ini adalah crawl efficiency; IndexNow sinyal perubahan untuk Bing, tidak Google.

alat untuk diagnosing crawl demand

ada Tidak “demand meter,” (terjemahan) “demand meter,” so diagnosing demand berarti reading crawl activity dan comparing ini terhadap apa Anda know tentang halaman.

• Google Search Console — Statistik Crawling report — total crawl permintaan di atas time, host status, average respons time, dan breakdowns oleh kode respons, file jenis, purpose, dan Googlebot jenis. Baca ini sebagai sebuah capacity view: healthy host status + rendah crawl volume pada baik halaman adalah Anda demand tell.
• GSC — halaman pengindeksan report — “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” bucket adalah classic footprint dari sebuah demand shortfall (Google knows URLs, tidak care cukup untuk crawl them namun).
• pemeriksaan URL (GSC) — periksa ketika sebuah spesifik URL adalah terakhir di-crawl dan apakah ini adalah terindeks; berguna untuk konfirmasi sebuah single halaman’s demand story.
• server log file analysis — ground truth untuk nyata, per-URL Googlebot hits: yang URLs bot sebenarnya fetch, bagaimana sering, dan di mana crawling adalah menjadi wasted pada junk inventory. (See log file analysis.)
• Ahrefs bot Analytics — sebuah alat I dapat speak untuk firsthand. sebagai I described ini ketika kami launched ini, “Memiliki y’all checked out Bot Analytics di Ahrefs namun? We dirilis a new tool itu menunjukkan bagaimana bots crawl Anda website. Bot Analytics collects data server-side melalui Cloudflare integration.” (terjemahan) “memiliki y’semua diperiksa out bot Analytics di Ahrefs namun? kami dirilis sebuah baru alat itu menampilkan bagaimana bot crawl Anda situs web. bot Analytics collects data server-side melalui Cloudflare integration.” ini menampilkan setiap bot crawling Anda situs dan halaman mereka hit di seluruh 12 categories — persis per-URL, per-bot ground truth Anda perlu periksa Google’s “perceived inventory” (terjemahan) “perceived inventory” dan “popularity” (terjemahan) “popularity” story terhadap reality. Ahrefs’ own framing dari masalah ini solves: “uncontrolled bot traffic wastes anggaran crawling — bots crawling 404 halaman atau low-value URLs tidak crawling itu halaman Anda perlu indexed,” (terjemahan) “uncontrolled bot traffic wastes anggaran crawling — bot crawling 404 halaman atau rendah-nilai URLs tidak crawling halaman Anda perlu terindeks,” dan ini cites estimate itu di atas half dari semua crawler traffic adalah wasted effort.
• Ahrefs situs Audit / Screaming Frog SEO Spider — simulate sebuah crawl untuk surface parameter sprawl, duplicates, dan trap-like patterns itu inflate perceived inventory dan suppress demand.

importance × perubahan × inventory kerangka kerja

gunakan three pertanyaan untuk jelaskan perubahan di crawl demand:

1. Importance: melakukan internal atau external sinyal membuat URL lebih atau lebih sedikit penting?
2. perubahan: melakukan halaman perubahan meaningfully, dan melakukan truthful sitemap sinyal communicate itu?
3. Inventory: melakukan crawler’s known set dari duplicates, parameters, atau rendah-nilai URLs expand?

Host health adalah ceiling, tidak sebuah fourth demand input. jika logs tampilkan errors atau timeouts, diagnose crawl capacity secara terpisah. jika server adalah healthy tetapi valuable URLs lose crawl share, berfungsi melalui importance, perubahan, dan inventory di itu order.

Bandingkan crawl share oleh directory

ini shell pipeline summarizes verified crawler permintaan oleh pertama URL-path directory di sebuah umum access log:

awk 'BEGIN{IGNORECASE=1} /Googlebot/ {split($7,p,"/"); print "/" p[2] "/"}' access.log | sort | uniq -c | sort -nr

pada PowerShell:

Select-String .\access.log -Pattern 'Googlebot' | ForEach-Object { if ($_.Line -match '"(?:GET|HEAD)\s+https?://[^/]+/([^/?\s]*)|"(?:GET|HEAD)\s+/([^/?\s]*)') { '/' + (($Matches[1],$Matches[2] | Where-Object { $_ })[0]) + '/' } } | Group-Object | Sort-Object Count -Descending

Bandingkan yang sama-length windows sebelum dan setelah sebuah perubahan. sebuah directory gaining share adalah sebuah clue tentang scheduler allocation, tidak proof dari lebih tinggi quality atau rankings.

Metrics untuk crawl demand

Valuable-template crawl share

Metric: crawler permintaan untuk penting templates divided oleh verified crawler permintaan. Apa ini tells Anda: apakah demand adalah reaching inventory Anda care tentang. cara pull ini: classify access-log URLs oleh template. Benchmark / realistic range: define desired mix dari Anda own valuable inventory dan perbarui cadence; tidak ada universal percentage. Cadence: weekly untuk besar mengubah situs, monthly jika tidak.

Recrawl lag setelah bermakna perubahan

Metric: time dari sebuah nyata halaman perbarui untuk berikutnya verified crawler fetch. Apa ini tells Anda: apakah scheduler recognizes halaman’s importance dan perubahan pattern. cara pull ini: join deployment atau konten timestamps untuk access logs. Benchmark / realistic range: baseline oleh template; news dan stable reference halaman seharusnya tidak share sebuah target. Cadence: monthly.

rendah-nilai inventory share

Metric: known dan di-crawl parameter, duplicate, empty, atau soft-404 URLs relative untuk berguna URLs. Apa ini tells Anda: apakah perceived inventory adalah diluting attention. cara pull ini: combine crawl exports, sitemaps, indexability aturan, dan logs. Benchmark / realistic range: trend downward dari situs’s baseline tanpa blocking diperlukan resources. Cadence: monthly dan setelah faceted-navigation atau platform perubahan.

Resources worth Anda time

My related writing

• Ketika seharusnya Anda Worry tentang anggaran crawling? — di mana I frame anggaran crawling sebagai demand (“bagaimana banyak halaman a penelusuran engine wants untuk crawl” (terjemahan) “bagaimana banyak halaman sebuah mesin pencari ingin untuk crawl”) plus rate, dan cover popularity, staleness backoff, dan siapa sebenarnya perlu untuk care.
• Apa adalah Googlebot & Bagaimana melakukan ini berfungsi? — bagaimana Googlebot decides apa dan bagaimana banyak untuk crawl.
• Beginner’s Guide untuk SEO teknis — di mana crawling dan anggaran crawling fit di bigger picture.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, including demand factors (PageRank, freshness, time since terakhir crawl, major situs perubahan) dan terpisah capacity/host-muat slide. (Standing disclaimer: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari sekitar industry

• Google’s crawling Priorities: Insights dari Gary Illyes (mesin pencari Journal) — “convince penelusuran Anda stuff adalah worth fetching,” (terjemahan) “convince penelusuran Anda stuff adalah worth fetching,” “turning up demand,” (terjemahan) “mengubah up demand,” dan “search demand goes down” (terjemahan) “penelusuran demand goes down” quotes pada bagaimana demand sebenarnya moves.
• Gary Illyes pada crawling bahkan lebih sedikit (LinkedIn, April 2024) — utama sumber untuk “crawl even less… fewer bytes on wire” (terjemahan) “crawl bahkan lebih sedikit… fewer bytes pada wire” dan “scheduling got more intelligent.” (terjemahan) “scheduling mendapat lebih intelligent.”
• Google memiliki Dua jenis dari crawling: penemuan & Refresh (mesin pencari Journal) — John Mueller pada penemuan vs. refresh melakukan crawl; refresh cadence adalah sebuah pure demand output.
• Google’s Gary Illyes pada anggaran crawling, Scheduling & Host muat (mesin pencari Roundtable) — “bucket dari URLs di importance order” (terjemahan) “bucket dari URLs di importance order” host-muat framing (paraphrased di ini artikel; halaman blocks automated fetch — konfirmasi terhadap langsung halaman).
• Google: 100k URLs tidak akan Impact anggaran crawling (mesin pencari Roundtable) — John Mueller’s scale gut-periksa (paraphrased di sini; konfirmasi terhadap langsung halaman).
• Apa adalah anggaran crawling? Bagaimana ini berfungsi + Optimization Tips (mesin pencari Land) — sebuah solid crawl-budget mega-guide; berguna background pada three demand factors.
• Ahrefs bot Analytics — product halaman dengan “uncontrolled bot traffic wastes crawl budget” (terjemahan) “uncontrolled bot traffic wastes anggaran crawling” dan “over half… wasted effort” (terjemahan) “di atas half… wasted effort” framing untuk diagnosing demand vs. capacity dari nyata bot data.

Uji pemahaman Anda: crawl Demand

Five quick pertanyaan pada “ingin” (terjemahan) “ingin” side dari anggaran crawling. Pick sebuah jawaban untuk setiap, lalu periksa.

Log perubahan