laju crawling

TL;DR — laju crawling adalah bagaimana fast sebuah mesin pencari fetches halaman dari Anda situs. Google sets ini secara otomatis berdasarkan bagaimana healthy Anda server adalah — ada Tidak lebih lama sebuah button untuk turn ini up atau down. jika Anda server adalah getting hammered, perbaiki adalah untuk membuat ini lebih cepat (atau, untuk sebuah day atau dua hanya, memiliki ini mengembalikan “slow down” (terjemahan) “slow down” error). crawling lebih cepat tidak help Anda peringkat.

Apa laju crawling adalah

Ketika sebuah mesin pencari melakukan crawl Anda situs, ini tidak grab setiap halaman di setelah — ini paces itself. laju crawling adalah itu pace: bagaimana banyak halaman sebuah crawler fetches per moment, dan bagaimana panjang ini menunggu antara fetches. Googlebot untuk Google, Bingbot untuk Bing. Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

seluruh poin dari pacing adalah politeness. sebuah crawler dapat easily overwhelm sebuah kecil server jika ini ditanyakan untuk hundreds dari halaman sebuah kedua, so ini watches bagaimana Anda situs responds dan backs off ketika server dimulai untuk struggle. jawaban quickly dan ini’ll fetch sebuah bit lebih cepat; slow down atau throw errors dan ini melakukan crawl lebih sedikit.

big hal itu changed

untuk tahun advice adalah “go menjadi Search Console dan turn down itu laju crawling slider.” (terjemahan) “go ke Search Console dan turn down laju crawling slider.” itu slider adalah hilang — Google dihapus ini pada January 8, 2024. So jika Anda temukan sebuah tutorial telling Anda untuk adjust ini, itu tutorial adalah out dari date. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation

Hari ini rate adalah automatic. Anda tidak dial ini; Google membaca Anda server’s respons dan decides.

cara slow Googlebot down

jika Anda server benar-benar adalah menjadi overloaded, di order dari preference:

1. membuat server lebih cepat atau memberikan ini lebih resources. ini adalah nyata perbaiki. Googlebot akan naturally crawl sebuah healthy, fast server lebih comfortably.
2. untuk sebuah benar emergency hanya: memiliki Anda server mengembalikan 500, 503, atau 429 error alih-alih wajar halaman. Google membaca itu sebagai “slow down” (terjemahan) “slow down” hampir immediately. tetapi melakukan ini untuk sebuah day atau dua di sebagian besar — leave ini pada lebih lama dan Google dapat mulai dropping Anda halaman dari penelusuran.

Apa tidak untuk melakukan: jangan block Googlebot dengan 403/404 errors (ini tidak slow crawling dan risks losing halaman), dan jangan rely pada crawl-delay di Anda robots.txt — Google ignores ini (Bing melakukan honor ini).

dapat Anda membuat Google crawl lebih cepat?

Tidak pada demand — ada Tidak “crawl lebih” (terjemahan) “crawl lebih” button, dan Anda dapat’t permintaan sebuah increase. Anda dapat encourage ini indirectly: sebuah lebih cepat server, sebuah bersih sitemap, baik internal tautan, dan getting rid dari duplicate atau junk URLs semua help. tetapi lebih crawling adalah tidak sebuah goal di itself — ini tidak akan membuat Anda peringkat lebih tinggi.

ingin status-code detail, deprecation history, dan bagaimana Bing differs? Switch untuk Advanced tab.

TL;DR — laju crawling adalah supply side dari anggaran crawling — bagaimana fast sebuah crawler fetches, set oleh apa Google panggilan crawl capacity limit (parallel connections

• delay antara fetches). ini adalah automatic dan reacts untuk server health; manual GSC slider adalah dihapus Jan 8, 2024. untuk slow Googlebot now Anda sinyal melalui HTTP: 500/503/429 untuk 1–2 days max, tidak pernah 401/403/404, dan crawl-delay adalah ignored oleh Google (honored oleh Bing). Anda dapat’t permintaan sebuah increase — meningkatkan ini indirectly. Bing masih memiliki sebuah manual crawl Control grid. laju crawling adalah tidak sebuah peringkat factor, dan sebagian besar situs tidak pernah perlu untuk touch ini.

Apa laju crawling sebenarnya adalah

laju crawling adalah bagaimana fast sebuah crawler fetches halaman dari Anda server — angka dari simultaneous permintaan ini membuat dan delay antara them. Google’s name untuk ini adalah crawl capacity limit: “itu maximum number dari simultaneous parallel connections itu Google dapat gunakan untuk crawl a site, juga sebagai itu time delay antara fetches.” (terjemahan) “ maximum angka dari simultaneous parallel connections itu Google dapat gunakan untuk crawl sebuah situs, serta time delay antara fetches.” Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

ini adalah satu half dari anggaran crawling. sebagai I put ini di my Ahrefs crawl-budget guide, anggaran crawling breaks ke “crawl demand yang adalah bagaimana banyak halaman a penelusuran engine wants untuk crawl pada Anda site dan laju crawling yang adalah bagaimana fast they dapat crawl.” (terjemahan) “crawl demand yang adalah bagaimana banyak halaman sebuah mesin pencari ingin untuk crawl pada Anda situs dan laju crawling yang adalah bagaimana fast mereka dapat crawl.” laju crawling adalah supply side (bagaimana fast Anda’ll let them); crawl demand adalah demand side (bagaimana banyak mereka ingin untuk). anggaran crawling adalah di mana dua memenuhi — dan rankings sit di luar itu loop entirely.

di my Bagaimana Penelusuran berfungsi deck I frame laju crawling limit sebagai sekadar apa Anda situs dapat mendukung — ini adalah driven oleh Anda server’s stability dan crawl health, slow respons, 5xx (server) errors, dan 429 (terlalu banyak permintaan) respons. Google backs off ketika Anda server dimulai untuk struggle karena ini tidak ingin untuk crash Anda situs. Satu detail orang miss: semua Googlebots share sebuah single crawl pool — bot untuk penelusuran, images, ads, dan so pada semua draw dari yang sama rate. So sebuah runaway crawl dari satu resource jenis eats ke crawling dari semuanya else.

Apa sets laju crawling

capacity limit adalah automatic dan reacts untuk Anda server di nyata time. Google: “Jika itu site responds quickly untuk a sementara, itu limit goes up, meaning lebih connections dapat menjadi digunakan untuk crawl. Jika itu site slows down atau responds dengan server errors, itu limit goes down dan Google crawls lebih sedikit.” (terjemahan) “jika situs responds quickly untuk sebuah sementara, limit goes up, meaning lebih connections dapat menjadi digunakan untuk crawl. jika situs slows down atau responds dengan server errors, limit goes down dan Google melakukan crawl lebih sedikit.”

ada sebuah kedua lever Anda tidak control: Google’s own resources. “Google memiliki a lot dari machines, tetapi tidak infinite machines. We masih perlu untuk membuat choices dengan itu resources itu we memiliki.” (terjemahan) “Google memiliki sebuah lot dari machines, tetapi tidak infinite machines. kami masih perlu untuk membuat choices dengan resources itu kami memiliki.” So Anda server health sets ceiling Google adalah willing untuk gunakan, tetapi Google’s own capacity dan Anda situs’s crawl demand decide bagaimana banyak dari itu ceiling sebenarnya mendapatkan digunakan.

myths doc mengonfirmasi server-health tautan berfungsi keduanya cara: “A speedy site adalah a sign dari healthy servers, so it dapat mendapatkan lebih konten over itu sama number dari connections,” (terjemahan) “sebuah speedy situs adalah sebuah sign dari healthy server, so ini dapat mendapatkan lebih konten di atas yang sama angka dari connections,” sementara “a significant number dari 5xx HTTP response status codes (kesalahan server) atau connection timeouts sinyal itu opposite, dan crawling slows down.” (terjemahan) “sebuah significant angka dari 5xx respons HTTP kode status (kesalahan server) atau connection timeouts sinyal opposite, dan crawling slows down.”

melakukan laju crawling memengaruhi rankings? Tidak.

Bust ini pertama, karena ini drives sebuah lot dari misguided effort. crawling adalah diperlukan untuk muncul di penelusuran, tetapi ini adalah tidak sebuah sinyal peringkat. Google adalah jelas: “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” (terjemahan) “Improving Anda laju crawling tidak akan niscaya lead untuk better positions di Google hasil pencarian.” Lebih cepat atau lebih crawling buys Anda fresher penemuan dan pengindeksan, tidak lebih tinggi positions. laju crawling adalah sebuah efficiency dan server-health concern — penuh berhenti.

cara reduce Googlebot’s laju crawling

di order, dari nyata perbaiki untuk emergency lever:

1. Perbaiki server ( nyata perbaiki). Speed ini up atau tambahkan resources. Karena capacity limit tracks respons time dan errors, sebuah healthier server adalah durable cara untuk pertahankan crawling di sebuah comfortable range — dan ini adalah satu itu tidak risk Anda pengindeksan.

2. emergency lever — 500/503/429. Google: “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (terjemahan) “Untuk keadaan darurat, kembalikan respons status HTTP yang menandakan server kelebihan beban, bukan respons sukses.” -nya crawler “treat the 429 status code as a signal that the server is overloaded,” (terjemahan) “crawler memperlakukan kode 429 sebagai sinyal bahwa server kelebihan beban,” dan “5xx and 429 server errors prompt Google’s crawlers to temporarily slow down with crawling.” (terjemahan) “kesalahan server 5xx dan 429 mendorong crawler Google untuk memperlambat crawling sementara.” Gary Illyes put speed dari ini di concrete istilah: “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (terjemahan) “Jika server terus-menerus mengembalikan status HTTP 500 untuk berbagai URL, Googlebot akan otomatis memperlambat crawling hampir seketika.” Prefer 429 ketika Anda dapat — ini explicitly berarti “too many requests” (terjemahan) “terlalu banyak permintaan” dan dapat carry sebuah Retry-After header.

catch adalah itu ini adalah strictly temporary. Google: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (terjemahan) “kami jangan merekomendasikan itu Anda melakukan ini untuk sebuah panjang period dari time (meaning, lebih lama daripada 1-2 days).” Leave ini pada dan cost adalah nyata — jika itu codes persist pada yang sama URL untuk multiple days, “itu URL mungkin menjadi dropped dari Google’s index” (terjemahan) “ URL dapat menjadi dropped dari Google’s indeks” dan, untuk Google Ads, “your campaigns may be cancelled or paused, and your ads may not serve.” (terjemahan) “Anda campaigns dapat menjadi cancelled atau paused, dan Anda ads dapat tidak sajikan.”

3. Apa Tidak untuk melakukan. jangan gunakan 4xx untuk throttle. “The 4xx status codes, except 429, have no effect on crawl rate,” (terjemahan) “Kode status 4xx, kecuali 429, tidak memengaruhi laju crawling,” dan Google says plainly “Don’t use 401 and 403 status codes for limiting the crawl rate.” (terjemahan) “Jangan gunakan kode status 401 dan 403 untuk membatasi laju crawling.” di sebuah dedicated 2023 post tentang orang melakukan persis ini, Google wrote: “Over the last few months we noticed an uptick in website owners and some content delivery networks (CDNs) attempting to use 404 and other 4xx client errors (but not 429) to attempt to reduce Googlebot’s crawl rate. The short version of this blog post is: please don’t do that…” (terjemahan) “Dalam beberapa bulan terakhir, kami melihat peningkatan pemilik situs dan CDN yang mencoba memakai error klien 404 serta 4xx lainnya (bukan 429) untuk mengurangi crawling Googlebot. Intinya: jangan lakukan itu…” dan jangan reach untuk robots.txt crawl-delay: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (terjemahan) “ non-standard ‘crawl-delay’ robots.txt aturan adalah tidak processed oleh Google’s crawler.”

4. non-emergency permintaan. untuk sebuah ongoing masalah itu tidak sebuah fire, Anda dapat “file a special request to report a problem with unusually high crawl rate, mentioning the optimal rate for your site.” (terjemahan) “file sebuah special permintaan untuk report sebuah masalah dengan unusually tinggi laju crawling, mentioning optimal rate untuk Anda situs.” ini adalah slow, dan ini hanya goes satu direction (see di bawah).

dapat Anda increase laju crawling? Tidak — tidak secara langsung.

tidak ada manual increase. Google: “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” (terjemahan) “Anda cannot permintaan sebuah increase di laju crawling, dan ini dapat take several days untuk permintaan untuk menjadi evaluated dan fulfilled.” Apa Anda dapat melakukan adalah meningkatkan ini indirectly. dari my crawl-budget guide, levers itu sebenarnya move crawl efficiency: speed up Anda server / tambahkan resources; pertahankan penting halaman di bersih sitemaps; kill duplicate konten; earn lebih tautan (external dan internal); perbaiki redirected tautan; gunakan GET alih-alih POST di mana mungkin; dan gunakan pengindeksan API di mana Anda’re eligible. Note itu “a speedy site… can get more content over the same number of connections” (terjemahan) “sebuah speedy situs… dapat mendapatkan lebih konten di atas yang sama angka dari connections” — so server health adalah lever itu menampilkan up pada keduanya reduce dan increase side.

cara control Bingbot’s laju crawling

Di sini’s sharp cross-mesin contrast. Di mana Google retired manual control, Bing dipertahankan ini. Bing Webmaster alat memiliki crawl Control (di bawah Configuration): sebuah hour-oleh-hour grid di mana setiap hour menampilkan bricks representing crawl speed — lebih bricks berarti lebih cepat crawling, fewer berarti lebih lambat. Anda dapat pick sebuah preset dibangun sekitar Anda peak business hours, atau choose “Custom” (terjemahan) “Custom” dan draw Anda own pattern di seluruh day. Bing juga masih honors crawl-delay di robots.txt — tepat directive Google ignores. So dua-mesin aturan dari thumb: untuk Google Anda sinyal melalui server respons; untuk Bing Anda memiliki sebuah sebenarnya dial.

Apa happened untuk Search Console laju crawling alat?

timeline, karena so banyak advice masih references sebuah alat itu Tidak lebih lama ada:

• Dec 2008 — Google introduces pengguna crawl-rate control di Webmaster alat.
• Feb 2023 — Google publishes “jangan gunakan 403s atau 404s untuk rate limiting.” (terjemahan) “jangan gunakan 403s atau 404s untuk rate limiting.”
• Nov 24, 2023 — Google announces deprecation dari laju crawling Limiter alat. Illyes’ reasoning: “dengan itu improvements kami telah membuat untuk our crawling logic dan other tools tersedia untuk publishers, its usefulness memiliki dissipated.” (terjemahan) “dengan improvements kami’ve dibuat untuk kami crawling logic dan lainnya alat tersedia untuk publishers, -nya usefulness memiliki dissipated.” old alat adalah slow dan barely digunakan — ini memiliki “a banyak lebih lambat effect” (terjemahan) “sebuah banyak lebih lambat effect” dan “would have taken over a day for the new limits to be applied on crawling,” (terjemahan) “akan memiliki taken di atas sebuah day untuk baru limits untuk menjadi applied pada crawling,” dan adalah digunakan “rarely,” (terjemahan) “rarely,” dengan itu siapa melakukan “di banyak cases set itu crawling speed untuk itu bare minimum.” (terjemahan) “di banyak cases atur crawling speed untuk bare minimum.”
• Jan 8, 2024 — alat adalah dihapus. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation Google juga lowered floor: “Dengan itu deprecation dari itu crawl limiter tool, kami juga setting itu minimum crawling speed untuk a lebih rendah rate, comparable untuk itu old laju crawling limits.” (terjemahan) “dengan deprecation dari crawl limiter alat, kami’re juga setting minimum crawling speed untuk sebuah lebih rendah rate, comparable untuk old laju crawling limits.”

practical upshot: old manual slider memiliki sebuah >24-hour lag anyway; hari ini’s server-sinyal approach (5xx/429) slows Googlebot hampir immediately, yang adalah strictly better untuk sebuah sebenarnya emergency.

cara monitor laju crawling

GSC Statistik Crawling report adalah Anda window ke apa Google adalah sebenarnya melakukan: total crawl permintaan di atas time, total download size, average respons time, dan sebuah host status view dari Anda situs’s availability untuk Google di atas terakhir ~90 days, plus sebuah breakdown oleh kode respons, file jenis, crawl purpose, dan Googlebot jenis. Watch average respons time dan host-status sinyal — sebuah climbing respons time atau sebuah rash dari 5xx adalah persis apa membuat Googlebot throttle Anda, so ini report adalah di mana Anda’ll see sebuah self-inflicted slowdown sebelum Anda go hunting untuk satu. pada Bing, crawl Control dan crawl informasi di Bing Webmaster alat adalah equivalents.

laju crawling vs anggaran crawling vs crawl frequency

pertahankan ini straight:

• laju crawling = bagaimana fast (supply / capacity).
• crawl demand = bagaimana banyak mereka ingin untuk (popularity + staleness).
• anggaran crawling = interaction dari dua — “itu amount dari time dan resources a penelusuran engine memungkinkan untuk crawling a website.” (terjemahan) “ amount dari time dan resources sebuah mesin pencari memungkinkan untuk crawling sebuah situs web.”
• crawl frequency = bagaimana sering sebuah diberikan halaman mendapatkan re-di-crawl, yang adalah mostly sebuah crawl-demand pertanyaan (popularity dan bagaimana fresh/stale halaman adalah).

dan reassuring bagian, yang adalah my standing take: sebagian besar situs jangan perlu untuk worry tentang apa pun dari ini. “Paling sites jangan perlu untuk worry tentang anggaran crawling, tetapi di sana adalah sedikit cases di mana Anda mungkin ingin untuk take a look” (terjemahan) “sebagian besar situs jangan perlu untuk worry tentang anggaran crawling, tetapi di sana adalah sedikit cases di mana Anda dapat ingin untuk take sebuah look” — newer situs dengan sebuah lot dari halaman, very besar atau rapidly mengubah situs, dan situs dengan sebuah pile dari “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” URLs di GSC. jika itu’s tidak Anda, leave laju crawling alone dan let Google’s automation melakukan -nya job.

AI summary

sebuah condensed take pada Advanced versi:

• laju crawling = bagaimana fast sebuah crawler fetches halaman — “crawl capacity limit” (terjemahan) “crawl capacity limit” (parallel connections + delay antara fetches). ini adalah supply side dari crawl budget; crawl demand adalah demand side.
• ini adalah automatic dan reacts untuk server health: fast/healthy server → lebih tinggi limit; slow respons atau 5xx/429 → Google melakukan crawl lebih sedikit. Google’s own capacity adalah sebuah kedua ceiling Anda tidak control. semua Googlebots share satu crawl pool.
• ** GSC manual rate slider adalah dihapus Jan 8, 2024.** Advice telling Anda untuk “adjust itu slider” (terjemahan) “adjust slider” adalah outdated.
• untuk slow Googlebot hari ini: perbaiki server (best), atau kembalikan 500/503/429 untuk 1–2 days max (lebih lama risks de-pengindeksan + Ads pausing). Prefer 429 (carries Retry-After). tidak pernah gunakan 401/403/404, dan crawl-delay adalah ignored oleh Google.
• Anda dapat’t permintaan sebuah increase. meningkatkan ini indirectly: lebih cepat server, bersih sitemaps, fewer duplicate/junk URLs, lebih internal + tautan eksternal, pengindeksan API di mana eligible.
• Bing dipertahankan manual control: crawl Control hourly grid + crawl-delay honored.
• laju crawling adalah tidak sebuah peringkat factor — “improving Anda laju crawling tidak akan niscaya lead untuk better positions.” (terjemahan) “improving Anda laju crawling tidak akan niscaya lead untuk better positions.” sebagian besar situs tidak pernah perlu untuk manage ini.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• Reduce Googlebot laju crawling — headline bagaimana-untuk: 500/503/429, 1–2 day limit, dan permintaan form (Anda dapat lebih rendah, tidak raise).
• anggaran crawling Management — defines crawl capacity limit dan bagaimana ini reacts untuk server health.
• Bagaimana HTTP kode status Memengaruhi Google’s crawler — persis yang codes throttle crawling (5xx/429) dan yang jangan (4xx except 429).
• Myths dan facts tentang crawling — crawl-delay tidak processed; laju crawling ≠ rankings; server health memengaruhi crawling.
• Upcoming deprecation dari laju crawling Limiter alat (Nov 2023) — deprecation announcement.
• jangan gunakan 403s atau 404s untuk rate limiting (Feb 2023) — mengapa 4xx adalah wrong lever.
• baru dan ditingkatkan Statistik Crawling untuk Anda situs (Nov 2020) — cara baca Statistik Crawling report.
• mengoptimalkan Anda anggaran crawling — capacity + demand, dan siapa sebenarnya perlu ini.

Bing / Microsoft

• Bing Webmaster alat — crawl Control — manual hour-oleh-hour crawl-rate grid Google retired.
• Bingbot guidance — saat ini Bing Webmaster guidance documents crawl-delay nilai dari 1–20 seconds.
• bingbot Series: Optimizing crawl Frequency (Oct 2018) — Bing’s take pada ketika untuk re-fetch.

Quotes dari sumber

pada—record statements dari Google. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa laju crawling adalah dan apa sets ini

• “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.” (terjemahan) “jika situs responds quickly untuk sebuah sementara, limit goes up, meaning lebih connections dapat menjadi digunakan untuk crawl. jika situs slows down atau responds dengan kesalahan server, limit goes down dan Google melakukan crawl lebih sedikit.” — anggaran crawling Management. Jump untuk quote
• “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” (terjemahan) “Google memiliki sebuah lot dari machines, tetapi tidak infinite machines. kami masih perlu untuk membuat choices dengan resources itu kami memiliki.” Jump untuk quote

Google — cara reduce laju crawling

• “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (terjemahan) “Untuk keadaan darurat, kembalikan respons status HTTP yang menandakan server kelebihan beban, bukan respons sukses.” — Reduce Googlebot laju crawling. Jump untuk quote
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (terjemahan) “kami jangan merekomendasikan itu Anda melakukan ini untuk sebuah panjang period dari time (meaning, lebih lama daripada 1-2 days).” Jump untuk quote
• “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” (terjemahan) “Anda cannot permintaan sebuah increase di laju crawling, dan ini dapat take several days untuk permintaan untuk menjadi evaluated dan fulfilled.” Jump untuk quote

Google — yang kode status throttle crawling

• “Google’s crawlers treat the 429 status code as a signal that the server is overloaded, and it’s considered a server error.” (terjemahan) “Crawler Google memperlakukan kode status 429 sebagai sinyal server kelebihan beban dan menganggapnya sebagai kesalahan server.” — Bagaimana HTTP kode status Memengaruhi Google’s crawler. Jump untuk quote
• “The 4xx status codes, except 429, have no effect on crawl rate.” (terjemahan) “Kode status 4xx, kecuali 429, tidak memengaruhi laju crawling.” / “Don’t use 401 and 403 status codes for limiting the crawl rate.” (terjemahan) “Jangan gunakan kode status 401 dan 403 untuk membatasi laju crawling.” Jump untuk quote

Google — crawl-delay dan rankings

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (terjemahan) “ non-standard ‘crawl-delay’ robots.txt aturan adalah tidak processed oleh Google’s crawler.” — Myths dan facts tentang crawling. Jump untuk quote
• “Improving Anda laju crawling tidak akan niscaya lead untuk better positions di Google Search hasil.” (terjemahan) “Improving Anda laju crawling tidak akan niscaya lead untuk better positions di Google hasil pencarian.” Jump untuk quote

Gary Illyes, Google (pada crawl-rate alat deprecation)

• “jika itu server persistently returns HTTP 500 status codes untuk a range dari URLs, Googlebot akan secara otomatis, dan hampir immediately slow down crawling.” (terjemahan) “jika server persistently mengembalikan HTTP 500 kode status untuk sebuah range dari URLs, Googlebot akan secara otomatis, dan hampir immediately slow down crawling.” Baca coverage
• “with the improvements we’ve made to our crawling logic and other tools available to publishers, its usefulness has dissipated.” (terjemahan) “dengan improvements kami’ve dibuat untuk kami crawling logic dan lainnya alat tersedia untuk publishers, -nya usefulness memiliki dissipated.” Baca coverage

crawl-rate checklists

Safely reduce Googlebot’s laju crawling (di order)

• pertama, konfirmasi crawler adalah nyata masalah — periksa GSC Statistik Crawling (average respons time, host status) dan Anda server logs, tidak hanya sebuah hunch.
• Perbaiki root penyebab: speed up server atau tambahkan resources. ini adalah durable perbaiki dan satu-satunya satu itu tidak risk pengindeksan.
• jika ini adalah sebuah genuine emergency, kembalikan 500/503/429 untuk crawl permintaan (prefer 429 dengan sebuah Retry-After). Googlebot slows hampir immediately.
• pertahankan emergency respons pada untuk 1–2 days di sebagian besar — lebih lama risks halaman menjadi dropped dari indeks dan Ads menjadi paused.
• untuk sebuah ongoing (non-fire) issue, file Google’s special crawl-rate permintaan, naming optimal rate untuk Anda situs.
• untuk Bing, atur speed di crawl Control dan/atau tambahkan crawl-delay untuk robots.txt.

melakukan Tidak melakukan ini

• jangan gunakan 401/403/404 untuk throttle — Tidak effect pada rate, dan Anda risk losing halaman.
• jangan rely pada robots.txt crawl-delay untuk Google — ini adalah ignored (Bing honors ini).
• jangan cari old GSC crawl-rate slider — ini adalah dihapus Jan 8, 2024.

Ketika Anda ingin lebih crawling (Anda dapat’t force ini — meningkatkan ini indirectly)

• Speed up / tambahkan resources untuk server.
• pertahankan canonical, dapat diindeks URLs di bersih sitemaps dengan accurate lastmod.
• hapus duplicate dan rendah-nilai URLs itu waste crawling.
• Strengthen tautan internal dan earn lebih tautan eksternal.
• gunakan GET alih-alih POST di mana mungkin; gunakan pengindeksan API di mana eligible.

laju crawling — cheat sheet

kode status dan apa mereka melakukan untuk Google’s laju crawling

Fast facts

• laju crawling = bagaimana fast (supply); crawl demand = bagaimana banyak mereka ingin (demand); anggaran crawling = dua together.
• Google’s istilah: crawl capacity limit — parallel connections + delay antara fetches. Automatic, tracks server health.
• Emergency 5xx/429 window: 1–2 days max — lebih lama risks de-pengindeksan + Ads pausing.
• Tidak manual increase — Anda dapat hanya tanyakan Google untuk lebih rendah, tidak pernah raise.
• Manual GSC crawl-rate slider: dihapus Jan 8, 2024 (announced Nov 24, 2023).
• semua Googlebots share satu crawl pool (penelusuran, images, ads, dan seterusnya.).
• laju crawling adalah tidak sebuah peringkat factor.
• Bing equivalent: crawl Control grid + crawl-delay honored.

Temporarily tell Googlebot untuk slow down

ini adalah emergency lever hanya — mengembalikan 503 (atau 429) dengan sebuah Retry-After header untuk crawler alih-alih sebuah 200. Google membaca ini sebagai “slow down” (terjemahan) “slow down” hampir immediately. pertahankan ini pada untuk sebuah day atau dua di sebagian besar: leave ini lebih lama dan affected URLs dapat menjadi dropped dari indeks (dan apa pun Google Ads pointing di them dapat menjadi paused). right panjang-istilah perbaiki adalah sebuah lebih cepat, healthier server, tidak sebuah permanent error respons.

Apache (.htaccess) — kembalikan 503 dengan Retry-setelah

# Emergency only — remove within 1–2 days.
# Sends Googlebot a "slow down / try later" signal.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot) [NC]
RewriteRule ^ - [R=503,L]
Header always set Retry-After "3600"
ErrorDocument 503 "Server temporarily overloaded — please retry later."

Nginx — kembalikan 503 dengan Retry-setelah untuk crawler

# Emergency only — remove within 1–2 days.
if ($http_user_agent ~* (Googlebot|bingbot)) {
    return 503;
}
# Send a Retry-After hint with the 503 response.
add_header Retry-After 3600 always;

Express / Node.js — 429 terlalu banyak permintaan dengan Retry-setelah

// Emergency only — remove within 1–2 days.
// 429 explicitly means "too many requests" and carries a Retry-After.
app.use((req, res, next) => {
  const ua = req.get("user-agent") || "";
  if (/Googlebot|bingbot/i.test(ua)) {
    res.set("Retry-After", "3600"); // seconds
    return res.status(429).send("Too many requests — please retry later.");
  }
  next();
});

Reminder: ini hanya slows crawling temporarily. ini adalah tidak sebuah cara untuk pause atau block pengindeksan, dan ini adalah tidak sebuah substitute untuk memperbaiki server capacity.

alat untuk seeing dan controlling laju crawling

• Google Search Console — Statistik Crawling report — Google’s own view: total crawl permintaan di atas time, total download size, average respons time, host status (situs availability untuk Google di atas ~90 days), dan breakdowns oleh kode respons, file jenis, crawl purpose, dan Googlebot jenis. ini adalah di mana Anda’ll see throttling.
• Bing Webmaster alat — crawl Control — manual hour-oleh-hour grid (presets atau custom-drawn) untuk setting Bingbot’s speed oleh time dari day. manual lever Google retired.
• robots.txt crawl-delay — honored oleh Bing (dan beberapa lainnya mesin), ignored oleh Google. berguna untuk Bing, useless untuk Google.
• server log file analysis — ground truth untuk bagaimana fast bot adalah sebenarnya hitting Anda dan apa kode status mereka’re getting. (See log file analysis.)
• situs audits / crawler — Ahrefs situs Audit dan Screaming Frog SEO Spider untuk temukan duplicate, parameterized, dan trap-like URLs itu waste crawling.

Apa seharusnya Anda melakukan tentang laju crawling?

Incident playbook: crawler traffic adalah overloading origin

1. Verify bot. Konfirmasi sumber IP belongs untuk claimed crawler. jika tidak, block atau rate-limit impersonator melalui wajar security controls.
2. mengukur impact. Correlate crawler permintaan dengan latency, saturation, timeouts, dan 5xx respons. jika mereka melakukan tidak align, investigate sebenarnya muat sumber.
3. Lindungi availability. Shed hanya necessary traffic; untuk sebuah temporary Googlebot emergency, gunakan 429 atau 503, tidak 403 atau 404.
4. temukan hot patterns. Group permintaan oleh directory, parameters, kode respons, dan bytes. jika sebuah runaway URL space dominates, perbaiki -nya tautan atau generation aturan.
5. Repair penyebab. Increase capacity, cache safe respons, hapus crawler traps, atau gunakan spesifik crawler’s didukung controls.
6. Restore dan verify. hapus temporary throttling, lalu konfirmasi pengguna latency dan crawler error rates kembalikan untuk situs’s baseline.

crawl-rate mistakes

• menggunakan crawl-delay untuk Googlebot. Google ignores ini. gunakan temporary 429/503 respons hanya untuk sebuah emergency dan perbaiki underlying muat.
• Returning 403 atau 404 untuk slow Googlebot. itu statuses communicate access atau absence, tidak temporary overload. gunakan correct temporary sinyal.
• Trying untuk force sebuah permanent increase. retired Search Console slider adalah hilang, dan lebih crawling melakukan tidak meningkatkan rankings. meningkatkan server health dan demand sinyal.
• Trusting pengguna-agent string. Spoofers dapat claim untuk menjadi Googlebot. Verify IP sebelum mengubah situs perilaku.
• Leaving emergency throttling di place. panjang-berjalan errors dapat harm crawling dan pengindeksan. Set sebuah owner dan removal condition sebelum deployment.

verify → lindungi → repair kerangka kerja

• Verify: prove traffic adalah sebuah nyata crawler dan itu ini correlates dengan server harm.
• Lindungi: gunakan narrowest temporary control itu preserves pengguna availability dan communicates right HTTP meaning.
• Repair: hapus capacity bottleneck atau runaway URL space, lalu withdraw temporary control.

pertahankan crawl rate terpisah dari crawl demand: sebuah healthy server dapat raise capacity ceiling, tetapi ini cannot force sebuah mesin pencari untuk ingin lebih URLs.

Prove sebuah crawl-rate intervention worked

Temporary throttle respons

Test untuk jalankan: permintaan sebuah throttled test URL dengan curl -I. Yang diharapkan hasil: planned 429 atau 503 muncul hanya selama incident dan wajar URLs tetap tersedia. Failure interpretation: aturan adalah mis-scoped atau wrong status adalah menjadi dikembalikan. Monitoring window: immediate. Rollback trigger: pengguna atau unrelated bot menerima throttle unexpectedly.

Recovery setelah menghapus throttle

Test untuk jalankan: repeat header memeriksa dan monitor server plus access logs. Yang diharapkan hasil: wajar 200 respons kembalikan, crawler errors decline, dan pengguna latency tetap di baseline. Failure interpretation: temporary aturan tetap active atau capacity masalah persists. Monitoring window: immediate untuk HTTP perilaku; continue melalui berikutnya wajar crawl window. Rollback trigger: renewed saturation atau 5xx errors memerlukan returning untuk incident plan.

URL-space repair

Test untuk jalankan: crawl dan log-periksa parameter atau path pattern itu disebabkan excess permintaan. Yang diharapkan hasil: baru trap URLs adalah Tidak lebih lama generated atau ditautkan, sementara valuable URLs tetap reachable. Failure interpretation: lainnya penemuan path masih exposes pattern. Monitoring window: bandingkan equivalent log windows. Rollback trigger: valuable halaman atau diperlukan resources become inaccessible.

Metrics untuk crawl-rate health

Verified crawler permintaan rate

Metric: permintaan per time unit dari verified crawler IPs. Apa ini tells Anda: sebenarnya crawler pace. cara pull ini: access logs setelah bot verification. Benchmark / realistic range: establish sebuah baseline oleh crawler dan traffic period; Tidak universal safe rate ada. Cadence: daily selama incidents, monthly jika tidak.

crawler-correlated error dan latency rate

Metric: 5xx/timeouts dan origin latency selama crawler activity. Apa ini tells Anda: apakah rate exceeds capacity. cara pull ini: align server telemetry dengan crawler log timestamps. Benchmark / realistic range: gunakan situs’s wajar non-incident baseline dan capacity objectives. Cadence: continuous alerting untuk critical situs.

berguna-permintaan share

Metric: verified crawler permintaan untuk valuable 200 halaman versus redirects, errors, dan known trap URLs. Apa ini tells Anda: apakah capacity adalah spent productively. cara pull ini: classify log URLs dan statuses. Benchmark / realistic range: trend terhadap situs’s own inventory; hindari sebuah universal target. Cadence: monthly.

Uji pemahaman Anda: laju crawling

Resources worth Anda time

My related writing

• Ketika seharusnya Anda Worry tentang anggaran crawling? — laju crawling sebagai satu half dari anggaran crawling, plus reduce/increase levers.
• Apa adalah Googlebot & Bagaimana melakukan ini berfungsi? — bagaimana Googlebot decides bagaimana fast dan apa untuk crawl (dan mengapa “ubah laju crawling” (terjemahan) “perubahan laju crawling” adalah now deprecated).
• Beginner’s Guide untuk SEO teknis — di mana crawling dan laju crawling fit di bigger picture.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — di mana I frame laju crawling limit sebagai “apa Anda site dapat dukung” (terjemahan) “apa Anda situs dapat mendukung” dan note semua Googlebots share satu crawl pool. (Standing disclaimer: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari others

• mesin pencari Land — Googlebot laju crawling alat adalah going away dan alat adalah now hilang — deprecation, dengan Illyes’ reasoning.
• Google’s crawling December series — best concentrated set dari official crawl explainers.
• mesin pencari Journal — Google menghapus laju crawling Limiter alat dari Search Console — Roger Montti’s relay dari Nov-2023 deprecation dengan baru auto-set minimum crawl speed detail.
• mesin pencari Journal — jangan gunakan 403/400 Error respons untuk Rate Limiting Googlebot — covers Google’s Feb-2023 blog post warning terhadap menggunakan 4xx untuk throttle crawling.
• Bing Webmaster Blog — bingbot Series: Optimizing crawl Frequency — Bing’s own explanation dari ketika dan bagaimana Bingbot decides untuk re-fetch; berguna counterpoint untuk Google’s automatic approach.
• Bing Webmaster Blog — Getting sebagian besar dari Bingbot melalui Bing Webmaster alat — cara gunakan crawl Control dan lainnya BWT settings untuk manage Bingbot’s laju crawling.

Log perubahan