crawl Delay

TL;DR — Crawl-delay adalah sebuah line Anda dapat put di robots.txt asking bot untuk slow down — tunggu sebuah sedikit seconds antara halaman fetches. big hal untuk know: Google ignores ini (dan memiliki since 2019). Bing masih honors ini. jika Anda’re trying untuk berhenti Googlebot dari hammering Anda server, crawl-delay tidak akan help — gunakan berbeda approach (di bawah).

Apa crawl-delay adalah

Crawl-delay adalah sebuah line Anda tambahkan untuk Anda robots.txt file itu menanyakan sebuah crawler untuk tunggu sebuah certain angka dari seconds antara permintaan, so ini tidak fetch Anda halaman so fast itu ini slows Anda server down. ini looks like ini:

User-agent: *
Crawl-delay: 10

itu’s saying, roughly, “setiap bot, please pause antara halaman fetches.” (terjemahan) “setiap bot, please pause antara halaman fetches.”

paling penting hal: Google ignores ini

ini adalah bagian itu trips orang up. Google melakukan tidak honor crawl-delay. ini berhenti processing directive pada September 1, 2019, dan bahkan sebelum itu ini tidak pernah officially didukung ini. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications So jika Anda’ve put crawl-delay di Anda robots.txt hoping untuk slow Googlebot down, ini adalah melakukan tidak ada apa pun.

Bing adalah berbeda — Bing melakukan honor crawl-delay. So melakukan beberapa lainnya crawler (lebih pada itu di Advanced tab).

jika Anda’re trying untuk slow Google down

jangan reach untuk crawl-delay. Alih-alih:

• Best panjang-istilah: perbaiki atau upgrade Anda server so ini dapat tangani crawl.
• Emergency hanya: memiliki Anda server mengembalikan 503 atau 429 kode status untuk Googlebot. Google membaca itu sebagai “slow down” (terjemahan) “slow down” hampir immediately. hanya melakukan ini untuk sebuah day atau dua — lebih lama daripada itu dan Google dapat mulai dropping halaman. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
• tidak pernah gunakan 403 atau 404 untuk try untuk throttle — itu jangan memengaruhi crawl speed.

jika Anda’re trying untuk slow Bing down

Bing melakukan respect crawl-delay, tetapi Bing’s own preferred alat adalah crawl Control di dalam Bing Webmaster alat — sebuah grid di mana Anda set crawl speed oleh time dari day. gunakan itu pertama; ini adalah lebih precise.

ingin history, mengapa Yandex dropped ini di 2018, dan yang AI bot respect ini? Switch untuk Advanced tab.

TL;DR — Crawl-delay adalah sebuah unofficial robots.txt directive untuk throttling bot; ini adalah tidak pernah di formal standard (RFC 9309). Google retired ini September 1, 2019 dan explicitly tidak proses ini — slow Googlebot dengan 429/503 (1-2 days max) atau oleh memperbaiki server, tidak crawl-delay. Bing’s saat ini guidance documents nilai dari 1–20 seconds. Yandex dropped mendukung untuk ini pada February 22, 2018 — ini adalah tidak honored di sana either; Yandex now menggunakan sebuah crawl-rate setting di dalam Yandex Webmaster. banyak SEO crawler (AhrefsBot, Semrush) dan beberapa AI bot (ClaudeBot) respect ini too — yang adalah satu nyata gunakan case left: controlling non-Google, non-Bing, non-Yandex bot.

Mengapa crawl-delay ada

Crawl-delay adalah sebuah throttle. idea adalah straightforward: sebuah aggressive crawler fetching halaman back-untuk-back dapat put nyata muat pada sebuah server, terutama sebuah kecil atau slow satu. Crawl-delay adalah courtesy lever — sebuah cara untuk tanyakan sebuah bot untuk pause sebuah sedikit seconds antara permintaan so Anda server dapat pertahankan up. ini lives di robots.txt di dalam sebuah User-agent group, yang sama place Anda disallow dan allow lines go. (untuk penuh file, see robots-txt.)

catch adalah itu ini adalah tidak pernah standardized. Robots Exclusion Protocol adalah finally diformalkan sebagai RFC 9309 di 2022, dan crawl-delay tidak di ini. ini adalah selalu sebuah unofficial extension itu berbeda crawler chose untuk implement — atau tidak — dan interpreted di mereka own cara. itu inconsistency adalah persis mengapa Google walked away dari ini.

Google retired ini pada September 1, 2019

pada July 2, 2019, Gary Illyes published sebuah note pada unsupported aturan di robots.txt pada Google Search Central. Google adalah open-sourcing -nya robots.txt parser dan, sebagai bagian dari itu, retiring semua code itu handled aturan itu adalah tidak pernah bagian dari internet draft — secara khusus noindex, nofollow, dan crawl-delay. retirement took effect September 1, 2019.

Google’s reasoning: ini aturan adalah undocumented, unofficial, dan interpreted inconsistently di seluruh crawler, yang dibuat ambiguity. saat ini robots.txt documentation adalah now jelas — Google mendukung four fields (user-agent, allow, disallow, dan sitemap), dan docs say “other fields such as crawl-delay aren’t supported.” (terjemahan) “field lain seperti crawl-delay tidak didukung.” Google’s Myths dan facts tentang crawling halaman repeats ini: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (terjemahan) “Aturan robots.txt nonstandar ‘crawl-delay’ tidak diproses oleh crawler Google.” Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

Worth menjadi jelas tentang cakupan: ini adalah ignored Tidak penting yang pengguna-agent group Anda put ini di. sebuah User-agent: Googlebot block dengan sebuah Crawl-delay line adalah hanya sebagai ignored sebagai satu di bawah User-agent: *.

Apa untuk gunakan alih-alih untuk Google

Google’s laju crawling adalah fully automatic now, tuned untuk Anda server’s health — dan old manual crawl-rate slider di Search Console adalah dihapus pada January 8, 2024 (announced prior November). So ketika Anda genuinely perlu Googlebot untuk back off, Anda memiliki three levers:

1. Perbaiki server. nyata perbaiki. jika Anda server dapat take muat, Anda tidak perlu untuk throttle apa pun.
2. kembalikan 429, 500, atau 503 untuk emergencies. Google’s Reduce Googlebot laju crawling docs say untuk “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (terjemahan) “Untuk mengurangi laju crawling dengan cepat, gunakan respons galat pada permintaan crawling, bukan respons sukses.” Googlebot membaca ini sebagai “slow down” (terjemahan) “slow down” hampir immediately. hard aturan: “We jangan merekomendasikan itu Anda lakukan ini untuk a long period dari time (meaning, lebih lama daripada 1-2 days).” (terjemahan) “kami jangan merekomendasikan itu Anda melakukan ini untuk sebuah panjang period dari time (meaning, lebih lama daripada 1-2 days).” Sustained 5xx risks halaman getting dropped (dan Google Ads pausing). Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
3. File sebuah crawl-rate reduction permintaan melalui Search Console untuk sebuah persistent masalah. ini adalah slow, dan ini hanya reduces, tidak pernah raises.

Satu trap untuk hindari: jangan gunakan 401, 403, atau 404 untuk throttle. Per Google’s HTTP kode status guide, “the 4xx status codes, except 429, have no effect on crawl rate,” (terjemahan) “kode status 4xx, kecuali 429, tidak memengaruhi laju crawling,” dan Anda seharusnya tidak “use 401 and 403 status codes for limiting the crawl rate.” (terjemahan) “seharusnya tidak menggunakan kode status 401 dan 403 untuk membatasi laju crawling.”

ini adalah juga mengapa, di my crawl-rate guide, I treat crawl-delay sebagai hal tidak untuk gunakan untuk Google — see itu artikel untuk penuh speed-up / slow-down playbook.

Bing documents sebuah 1–20 kedua range

saat ini Bing Webmaster guidance documents crawl-delay nilai dari 1–20 seconds. itu melakukan tidak membuat field sebuah portable standard: Google ignores ini, dan setiap lainnya crawler perlu -nya own terdokumentasi konfirmasi.

Yandex dropped ini di 2018

Yandex digunakan untuk honor crawl-delay sebagai sebuah literal minimum angka dari seconds antara permintaan — itu’s versi dari fact Anda’ll masih see repeated di seluruh sebagian besar SEO blogs. ini adalah stale. Yandex’s own saat ini documentation adalah jelas: “Dari February 22, 2018, Yandex tidak take menjadi account itu Crawl-delay directive.” (terjemahan) “dari February 22, 2018, Yandex tidak take ke account crawl-delay directive.” Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: 2026-07-18 Yandex Webmaster: The Crawl-delay directive untuk set bagaimana fast Yandex’s bot crawl Anda situs now, Anda gunakan laju crawling setting di dalam Yandex Webmaster secara langsung — tidak robots.txt. So sebagai dari hari ini, honest scorecard adalah: Bing honors crawl-delay di dalam -nya terdokumentasi range, Google tidak pernah melakukan, dan Yandex digunakan untuk tetapi berhenti di 2018.

lainnya crawler: SEO alat dan AI bot

Plenty dari well-behaved non-penelusuran-mesin crawler honor crawl-delay sebagai sebuah courtesy:

• AhrefsBot dan Semrush’s bot keduanya respect ini.
• AI crawler adalah sebuah newer audience. Anthropic’s ClaudeBot adalah terdokumentasi sebagai supporting non-standard crawl-delay directive. Others (GPTBot, Perplexity) seharusnya menjadi diperiksa terhadap mereka own published docs alih-alih assumed.

pattern: lebih kecil, compliance-focused, atau courtesy-minded crawler tend untuk honor crawl-delay; major mesin pencari memiliki largely moved untuk internal sinyal (Google) atau richer manual alat (Bing). dan none dari ini binds sebenarnya buruk actors — scrapers itu ignore robots.txt entirely akan ignore Anda crawl-delay too.

gunakan case itu’s left

So adalah crawl-delay dead? Tidak quite. ini adalah useless untuk Google, redundant-di-best untuk Bing (gunakan crawl Control), tetapi ini adalah genuinely simplest cara untuk tanyakan broad middle — SEO alat, AI bot, dan lainnya minor crawler itu respect ini — untuk ease off. jika sebuah spesifik alat’s bot adalah overrunning Anda server, sebuah targeted User-agent: group dengan sebuah crawl-delay adalah sebuah reasonable pertama move:

User-agent: SomeBot
Crawl-delay: 10

hanya remember ini adalah sebuah permintaan, tidak sebuah jaminan, dan ini scopes per host dan per pengguna-agent group like semuanya else di robots.txt. untuk lebih luas efficiency picture — apa bot sebenarnya cost Anda dan siapa perlu untuk care — see crawl-budget.

AI summary

sebuah condensed take pada Advanced versi:

• Apa ini adalah: Crawl-delay adalah sebuah non-standard robots.txt directive asking bot untuk pause sebuah set angka dari seconds antara fetches untuk reduce server muat. ini adalah tidak pernah di formal standard (RFC 9309, 2022).
• Google ignores ini. Retired September 1, 2019 (Gary Illyes’ 2019 post); saat ini docs say “other fields such as crawl-delay aren’t supported.” (terjemahan) “dokumentasi menyatakan field lain seperti crawl-delay tidak didukung.” Ignored regardless dari yang pengguna-agent group ini adalah di.
• Slow Google alih-alih dengan: memperbaiki server (best), atau returning 429/500/503 untuk emergencies hanya (1-2 days max — lebih lama risks de-pengindeksan). tidak pernah gunakan 401/403/404 untuk throttle. GSC manual crawl-rate slider adalah dihapus January 8, 2024.
• Bing documents 1–20 kedua nilai. Treat itu sebagai Bing-spesifik guidance, tidak sebuah portable robots.txt standard.
• Yandex dropped mendukung untuk ini pada February 22, 2018. Older advice itu ini membaca nilai sebagai literal seconds adalah stale — Yandex now menggunakan sebuah crawl-rate setting di dalam Yandex Webmaster alih-alih.
• lainnya crawler: AhrefsBot dan Semrush respect ini; Anthropic’s ClaudeBot adalah terdokumentasi sebagai supporting ini. buruk-actor scrapers ignore robots.txt entirely.
• Remaining gunakan case: controlling non-Google, non-Bing, non-Yandex crawler (SEO alat, AI bot) melalui sebuah targeted User-agent: group.

Dokumentasi resmi

Utama-sumber documentation pada crawl-delay dan -nya alternatives.

Google

• robots.txt documentation — lists four didukung fields dan status crawl-delay tidak didukung.
• sebuah note pada unsupported aturan di robots.txt (July 2, 2019) — retirement announcement (effective September 1, 2019) covering noindex, nofollow, dan crawl-delay.
• Myths dan facts tentang crawling — “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (terjemahan) “Aturan robots.txt nonstandar ‘crawl-delay’ tidak diproses oleh crawler Google.”
• Reduce Googlebot laju crawling — apa untuk gunakan alih-alih: 429/500/503, dan 1-2 day limit.
• Bagaimana HTTP kode status Memengaruhi Google’s crawler — mengapa 4xx (except 429) jangan throttle.
• Upcoming deprecation dari laju crawling Limiter alat (Nov 2023) — GSC slider’s removal.

Bing / Microsoft

• Bingbot guidance — saat ini Bing Webmaster guidance documents nilai dari 1–20 seconds.
• Bing Webmaster alat — crawl Control — preferred alternative untuk crawl-delay untuk Bing.

Yandex

• Yandex Webmaster — crawl-delay directive — status Yandex memiliki tidak honored directive since February 22, 2018 dan poin untuk Yandex Webmaster crawl-rate setting alih-alih.

** standard**

• RFC 9309: Robots Exclusion Protocol — diformalkan standard, yang melakukan tidak sertakan crawl-delay.

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman di mana didukung.

Google — crawl-delay adalah tidak processed

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (terjemahan) “Aturan robots.txt nonstandar ‘crawl-delay’ tidak diproses oleh crawler Google.” — Google Search Central docs. Jump untuk quote
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” (terjemahan) “Google mendukung field berikut; field lain seperti crawl-delay tidak didukung.” — robots.txt documentation. Jump untuk quote

Google — apa untuk gunakan alih-alih

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (terjemahan) “Untuk mengurangi laju crawling dengan cepat, gunakan respons galat pada permintaan crawling, bukan respons sukses.” — Reduce Googlebot laju crawling. Jump untuk quote
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (terjemahan) “kami jangan merekomendasikan itu Anda melakukan ini untuk sebuah panjang period dari time (meaning, lebih lama daripada 1-2 days).” — Reduce Googlebot laju crawling. Jump untuk quote

Gary Illyes, Google (pada GSC crawl-rate alat deprecation, November 2023)

• “jika itu server persistently returns HTTP 500 status codes untuk a range dari URLs, Googlebot akan secara otomatis, dan hampir immediately slow down crawling.” (terjemahan) “jika server persistently mengembalikan HTTP 500 kode status untuk sebuah range dari URLs, Googlebot akan secara otomatis, dan hampir immediately slow down crawling.” He ditambahkan itu alat’s “usefulness has dissipated.” (terjemahan) “usefulness memiliki dissipated.” Relayed melalui mesin pencari Land’s coverage dari deprecation post — baca coverage; konfirmasi terhadap Google’s original post sebelum treating sebagai akhir.

Bing / Microsoft

• saat ini Bingbot guidance documents crawl-delay nilai dari 1–20 seconds. ini adalah Bing-spesifik guidance, tidak sebuah umum REP aturan.

Yandex (saat ini Webmaster documentation)

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (terjemahan) “dari February 22, 2018, Yandex tidak take ke account crawl-delay directive. untuk atur rate di yang pengindeksan bot seharusnya access Anda situs’s halaman, gunakan situs laju crawling setting di Yandex Webmaster.” — Yandex Webmaster: crawl-delay directive

crawl-delay decision checklist

berfungsi down list berdasarkan yang bot Anda’re trying untuk slow:

• Audit Anda robots.txt. adalah di sana sebuah crawl-delay line sudah? Note yang User-agent group(s) ini adalah di dan yang bot Anda sebenarnya berarti untuk throttle.
• jika ini adalah di sana untuk Google: hapus ini (atau document itu ini adalah dengan sengaja targeting lainnya bot). ini melakukan tidak ada apa pun untuk Googlebot.
• Trying untuk slow Google? Perbaiki server pertama. untuk sebuah genuine emergency, kembalikan 429/503 — untuk Tidak lebih daripada 1-2 days. tidak pernah gunakan 401/403/404 untuk throttle. untuk sebuah persistent masalah, file sebuah crawl-rate permintaan di Penelusuran Console.
• Trying untuk slow Bing? gunakan crawl Control di Bing Webmaster alat pertama. jika Anda melakukan gunakan crawl-delay, pertahankan nilai di 10 atau di bawah, dan remember ini applies dari * group bahkan dengan sebuah bingbot bagian present.
• Trying untuk slow lainnya crawler (SEO alat, AI bot, dan seterusnya.)? Put sebuah crawl-delay di sebuah targeted User-agent: group untuk itu bot — ini helps jika itu crawler honors directive (banyak melakukan).
• Konfirmasi nilai’s meaning untuk Anda target bot: Bing membaca ini sebagai sebuah relative throttle factor. Yandex digunakan untuk baca ini sebagai literal seconds tetapi berhenti honoring directive entirely pada February 22, 2018 — gunakan Yandex Webmaster crawl-rate setting untuk Yandex alih-alih.
• jangan expect scrapers atau buruk actors untuk comply — mereka ignore robots.txt entirely. crawl-delay adalah untuk well-behaved bot hanya.

crawl-delay cheat sheet

Siapa honors crawl-delay?

Bing throttle scale

Apa untuk gunakan alih-alih, oleh mesin

jangan

• jangan gunakan crawl-delay expecting ini untuk memengaruhi Google atau Yandex.
• jangan gunakan 401/403/404 untuk throttle Googlebot (Tidak effect; hanya 429 among 4xx melakukan).
• jangan set Bing nilai di atas 10.

Bagaimana seharusnya Anda slow sebuah crawler?

alat untuk crawl-delay berfungsi

• robots.txt Tester memeriksa yang pengguna-agent group dan aturan apply; ini helps catch scoping mistakes bahkan though mendukung untuk crawl-delay tetap crawler-spesifik.
• robots.txt Generator helps bangun terpisah bot groups alih-alih applying sebuah broad delay untuk setiap crawler.
• Log File Analyzer menampilkan permintaan rate sebenarnya produced setelah sebuah perubahan dan separates penelusuran crawler dari spoofed pengguna agents.
• Googlebot Verifier verifies apakah IP membuat muat benar-benar belongs untuk crawler ini claims untuk menjadi.

Resources worth Anda time

My related writing

• Robots.txt dan SEO: Semuanya Anda perlu Know — penuh robots.txt picture, including mengapa crawl-delay tidak sebuah Google directive.
• Beginner’s Guide untuk SEO teknis — di mana crawl controls sit di bigger picture.
• terindeks, though blocked oleh robots.txt — sebuah reminder itu robots.txt controls crawling, tidak pengindeksan.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat. (Standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari sekitar industry

• sebuah note pada unsupported aturan di robots.txt (Google Search Central) — original 2019 retirement announcement.
• Bingbot guidance — saat ini Bing Webmaster guidance documents 1–20 kedua nilai.
• Google untuk Drop mendukung untuk crawl-delay, nofollow, dan noindex di robots.txt (mesin pencari Roundtable) — coverage dari 2019 perubahan.
• Google menghapus mendukung untuk crawl-delay, nofollow, dan noindex aturan di robots.txt (Coywolf) — additional context pada retirement.
• Googlebot laju crawling alat di Search Console adalah going away (mesin pencari Land) — Gary Illyes’ quotes pada alternatives menjadi better.
• crawl-delay: 10 di robots.txt: apa melakukan ini berarti? (Conductor) — sebuah widely-cited explainer pada directive.

Uji pemahaman Anda: crawl Delay

Five quick pertanyaan pada crawl-delay directive. Pick sebuah jawaban untuk setiap, lalu periksa.

Log perubahan