Hướng dẫn về Crawl Delay

Tóm tắt — Crawl-delay là line Bạn có thể put trong robots.txt asking bots để chậm xuống — chờ một vài seconds giữa trang fetches. big điều để know: Google bỏ qua nó (và có since 2019). Bing vẫn honors nó. nếu bạn’re trying để dừng Googlebot từ hammering của bạn máy chủ, crawl-delay sẽ không help — sử dụng khác approach (dưới).

Điều gì crawl-delay là

Crawl-delay là line bạn thêm để của bạn robots.txt file đó asks crawler để chờ certain number của seconds giữa các yêu cầu, so nó không fetch của bạn các trang so fast đó nó làm chậm của bạn máy chủ xuống. nó looks như điều này:

User-agent: *
Crawl-delay: 10

đó là saying, roughly, “every bot, please pause between page fetches.” (bản dịch) «mỗi bot, please pause giữa trang fetches.»

phần lớn quan trọng điều: Google bỏ qua nó

Đây là part đó trips mọi người up. Google không honor crawl-delay. nó đã dừng processing directive on September 1, 2019, và even trước khi đó nó không bao giờ officially supported nó. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications So nếu bạn’ve put crawl-delay trong của bạn robots.txt hoping để chậm Googlebot xuống, nó đang làm không có gì.

Bing là khác — Bing làm honor crawl-delay. So làm some khác các crawler (nhiều hơn on đó trong Nâng cao tab).

nếu bạn’re trying để chậm Google xuống

không reach cho crawl-delay. Thay vì:

• Best dài-term: khắc phục hoặc upgrade của bạn máy chủ so nó có thể xử lý crawl.
• Emergency chỉ: có của bạn máy chủ trả về 503 hoặc 429 mã trạng thái để Googlebot. Google đọc những điều đó as “chậm xuống” gần như immediately. chỉ làm điều này cho ** day hoặc hai** — lâu hơn hơn đó và Google có thể bắt đầu dropping các trang. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
• không bao giờ sử dụng 403 hoặc 404 để try để throttle — những điều đó không ảnh hưởng crawl speed.

nếu bạn’re trying để chậm Bing xuống

Bing làm respect crawl-delay, nhưng Bing own được ưu tiên tool là Crawl Control bên trong Bing Quản trị viên web Tools — grid nơi bạn đặt crawl speed by time của day. sử dụng đó đầu tiên; nó nhiều hơn precise.

Muốn history, Vì sao Yandex dropped nó trong 2018, và mà AI bots respect nó? Switch để Nâng cao tab.

Tóm tắt — Crawl-delay là không chính thức robots.txt directive cho throttling bots; nó là không bao giờ trong formal tiêu chuẩn (RFC 9309). Google retired nó September 1, 2019 và explicitly không xử lý nó — chậm Googlebot với 429/503 (1-2 days max) hoặc by sửa máy chủ, không crawl-delay. Bing hiện tại hướng dẫn documents các giá trị từ 1–20 seconds. Yandex dropped hỗ trợ cho nó on February 22, 2018 — nó không honored ở đó either; Yandex hiện tại dùng crawl-rate setting bên trong Yandex Quản trị viên web. nhiều SEO các crawler (AhrefsBot, Semrush) và some AI bots (ClaudeBot) respect nó cũng — mà là một thực sử dụng case left: controlling non-Google, non-Bing, non-Yandex bots.

Vì sao crawl-delay tồn tại

Crawl-delay là throttle. idea là straightforward: aggressive crawler fetching các trang back-để-back có thể put thực load on máy chủ, especially nhỏ hoặc chậm một. Crawl-delay là courtesy lever — way để ask bot để pause một vài seconds giữa các yêu cầu so của bạn máy chủ có thể giữ up. nó lives trong robots.txt bên trong User-agent group, giống nhau place của bạn disallow và allow lines go. (cho đầy đủ file, see robots-txt.)

catch là đó nó là không bao giờ standardized. Robots Exclusion Giao thức là finally được chuẩn hóa as RFC 9309 trong 2022, và crawl-delay không phải trong nó. nó là luôn không chính thức extension đó khác các crawler chose để implement — hoặc không — và interpreted trong của họ own way. đó inconsistency là chính xác Vì sao Google walked away từ nó.

Google retired nó on September 1, 2019

On July 2, 2019, Gary Illyes published note on unsupported rules trong robots.txt on Google Search Central. Google là open-sourcing của nó robots.txt parser và, as part của đó, retiring all code đó handled rules đó là không bao giờ part của internet draft — cụ thể noindex, nofollow, và crawl-delay. retirement took effect September 1, 2019.

Google reasoning: những rules đã là undocumented, không chính thức, và interpreted inconsistently across các crawler, mà đã tạo ambiguity. Đó hiện tại robots.txt tài liệu là hiện tại rõ ràng — Google hỗ trợ four các trường (user-agent, allow, disallow, và sitemap), và đó tài liệu say “other fields such as crawl-delay aren’t supported.” (bản dịch) «other các trường such as crawl-delay không supported.» Google Myths và facts về crawling trang repeats điều này: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (bản dịch) «Đó non-tiêu chuẩn ‘crawl-delay’ robots.txt rule không phải processed by Google các crawler.» Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

Worth là clear về phạm vi: nó đã bỏ qua không quan trọng mà người dùng-agent group bạn put nó trong. User-agent: Googlebot block với Crawl-delay line là chỉ as đã bỏ qua as một under User-agent: *.

Điều gì để sử dụng thay vì cho Google

Google tốc độ crawl là fully tự động hiện tại, tuned để của bạn máy chủ health — và old manual crawl-rate slider trong Search Console là đã xóa on January 8, 2024 (announced prior November). So Khi bạn genuinely cần Googlebot để back off, bạn có three levers:

1. Cách sửa đó máy chủ. Đó real cách sửa. Nếu máy chủ của bạn có thể take đó load, bạn không cần to throttle bất cứ điều gì.
2. Trả về 429, 500, hoặc 503 cho emergencies. Google Reduce đó Googlebot tốc độ crawl tài liệu say to “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (bản dịch) «trả về 500, 503, hoặc 429 HTTP phản hồi mã trạng thái thay vì 200 to đó các yêu cầu crawl.» Googlebot đọc những as “chậm xuống” gần như immediately. Đó hard rule: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (bản dịch) «We không khuyến nghị đó bạn làm này cho một dài period of time (meaning, lâu hơn hơn 1-2 days).» Sustained 5xx risks các trang getting dropped (và Google Quảng cáo pausing). Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
3. File một crawl-rate reduction yêu cầu qua Search Console cho một persistent vấn đề. đây là chậm, và điều này chỉ reduces, không bao giờ raises.

Một trap to tránh: không dùng 401, 403, hoặc 404 to throttle. Theo Google HTTP các mã trạng thái hướng dẫn, “the 4xx status codes, except 429, have no effect on crawl rate,” (bản dịch) «đó 4xx các mã trạng thái, except 429, có không effect on tốc độ crawl,» và bạn không nên “use 401 and 403 status codes for limiting the crawl rate.” (bản dịch) «dùng 401 và 403 các mã trạng thái cho limiting đó tốc độ crawl.»

Đây là cũng Vì sao, trong my crawl-rate hướng dẫn, I treat crawl-delay as điều không để sử dụng cho Google — see đó bài viết cho đầy đủ speed-up / chậm-xuống playbook.

Bing documents 1–20 thứ hai range

hiện tại Bing Quản trị viên web hướng dẫn documents crawl-delay các giá trị từ 1–20 seconds. đó không làm trường portable tiêu chuẩn: Google bỏ qua nó, và mỗi khác crawler cần của nó own được ghi lại xác nhận.

Yandex dropped nó trong 2018

Yandex được dùng để honor crawl-delay as một literal minimum number of seconds giữa các yêu cầu — đó là đó version of đó fact bạn’ll vẫn see repeated across hầu hết SEO blogs. đây là stale. Yandex own hiện tại tài liệu là rõ ràng: “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (bản dịch) «Từ February 22, 2018, Yandex không take vào account đó Crawl-delay directive.» Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: 2026-07-18 Yandex Webmaster: The Crawl-delay directive To set cách fast Yandex bots crawl trang web của bạn hiện tại, bạn dùng đó tốc độ crawl setting bên trong Yandex Quản trị viên web trực tiếp — không robots.txt. So as of hôm nay, đó honest scorecard là: Bing honors crawl-delay trong của nó được ghi lại range, Google không bao giờ đã làm, và Yandex được dùng để nhưng đã dừng trong 2018.

khác các crawler: SEO tools và AI bots

Plenty của well-behaved non-tìm kiếm-engine các crawler honor crawl-delay as courtesy:

• AhrefsBot và Semrush bot cả hai respect nó.
• AI các crawler là newer audience. Anthropic ClaudeBot là được ghi lại as supporting non-tiêu chuẩn crawl-delay directive. Others (GPTBot, Perplexity) nên là checked so với của họ own published tài liệu thay vì assumed.

pattern: nhỏ hơn, compliance-focused, hoặc courtesy-minded các crawler tend để honor crawl-delay; major các công cụ tìm kiếm có largely moved để internal các tín hiệu (Google) hoặc richer manual tools (Bing). và none của điều này binds thực tế bad actors — scrapers đó bỏ qua robots.txt hoàn toàn sẽ bỏ qua của bạn crawl-delay cũng.

sử dụng case đó left

So là crawl-delay dead? không quite. nó useless cho Google, redundant-tại-best cho Bing (sử dụng Crawl Control), nhưng nó genuinely simplest way để ask rộng middle — SEO tools, AI bots, và khác minor các crawler đó respect nó — để ease off. nếu cụ thể tool bot là overrunning của bạn máy chủ, targeted User-agent: group với crawl-delay là reasonable đầu tiên move:

User-agent: SomeBot
Crawl-delay: 10

chỉ remember nó yêu cầu, không bảo đảm, và nó scopes theo host và theo người dùng-agent group như mọi thứ khác trong robots.txt. cho rộng hơn efficiency picture — Điều gì bots thực ra cost bạn và ai cần để care — see crawl-budget.

AI summary

condensed take on Nâng cao version:

• Điều gì điều này là: Crawl-delay là một non-tiêu chuẩn robots.txt directive asking bots to pause một set number of seconds giữa fetches to reduce máy chủ load. Điều này đã là không bao giờ trong đó formal tiêu chuẩn (RFC 9309, 2022).
• Google bỏ qua điều này. Retired September 1, 2019 (Gary Illyes’ 2019 post); hiện tại tài liệu say “other fields such as crawl-delay aren’t supported.” (bản dịch) «other các trường such as crawl-delay không supported.» Đã bỏ qua regardless of mà người dùng-agent group đây là trong.
• Chậm Google thay vì với: sửa đó máy chủ (best), hoặc returning 429/500/503 cho emergencies chỉ (1-2 days max — lâu hơn risks de-lập chỉ mục). Không bao giờ dùng 401/403/404 to throttle. Đó GSC manual crawl-rate slider đã là đã xóa January 8, 2024.
• Bing documents 1–20 second các giá trị. Treat đó as Bing-cụ thể hướng dẫn, không một portable robots.txt tiêu chuẩn.
• Yandex dropped hỗ trợ cho điều này on February 22, 2018. Older advice đó điều này đọc đó giá trị as literal seconds là stale — Yandex hiện tại dùng một crawl-rate setting bên trong Yandex Quản trị viên web thay vì.
• Other các crawler: AhrefsBot và Semrush respect điều này; Anthropic ClaudeBot là được ghi lại as supporting điều này. Bad-actor scrapers bỏ qua robots.txt hoàn toàn.
• Remaining dùng case: controlling non-Google, non-Bing, non-Yandex các crawler (SEO tools, AI bots) qua một targeted User-agent: group.

Tài liệu chính thức

Chính-nguồn tài liệu on crawl-delay và của nó alternatives.

Google

• robots.txt tài liệu — lists đó four supported các trường và trạng thái crawl-delay không supported.
• MỘT note on unsupported rules trong robots.txt (July 2, 2019) — đó retirement announcement (effective September 1, 2019) covering noindex, nofollow, và crawl-delay.
• Myths và facts về crawling — “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (bản dịch) «Đó non-tiêu chuẩn ‘crawl-delay’ robots.txt rule không phải processed by Google các crawler.»
• Reduce đó Googlebot tốc độ crawl — điều cần dùng thay vì: 429/500/503, và đó 1-2 day limit.
• Cách HTTP Các mã trạng thái Ảnh hưởng Google Các crawler — vì sao 4xx (except 429) không throttle.
• Upcoming deprecation of đó Tốc độ crawl Limiter Tool (Nov 2023) — đó GSC slider removal.

Bing / Microsoft

• Bingbot hướng dẫn — hiện tại Bing Quản trị viên web hướng dẫn documents các giá trị từ 1–20 seconds.
• Bing Quản trị viên web Tools — Crawl Control — được ưu tiên alternative để crawl-delay cho Bing.

Yandex

• Yandex Quản trị viên web — Crawl-delay directive — trạng thái Yandex có không honored directive since February 22, 2018 và points để Yandex Quản trị viên web crawl-rate setting thay vì.

** tiêu chuẩn**

• RFC 9309: Robots Exclusion Giao thức — được chuẩn hóa tiêu chuẩn, mà không bao gồm crawl-delay.

Quotes từ nguồn

On—record statements từ Google và Bing. mỗi link là deep link đó jumps để quoted passage on nguồn trang nơi supported.

Google — crawl-delay không phải processed

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (bản dịch) «Đó non-tiêu chuẩn ‘crawl-delay’ robots.txt rule không phải processed by Google các crawler.» — Google Search Central tài liệu. Jump to quote
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” (bản dịch) «Google hỗ trợ đó sau các trường … (other các trường such as crawl-delay không supported).» — robots.txt tài liệu. Jump to quote

Google — Điều gì để sử dụng thay vì

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (bản dịch) «To quickly reduce đó tốc độ crawl, bạn có thể trả về 500, 503, hoặc 429 HTTP phản hồi mã trạng thái thay vì 200 to đó các yêu cầu crawl.» — Reduce đó Googlebot tốc độ crawl. Jump to quote
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (bản dịch) «We không khuyến nghị đó bạn làm này cho một dài period of time (meaning, lâu hơn hơn 1-2 days).» — Reduce đó Googlebot tốc độ crawl. Jump to quote

Gary Illyes, Google (on GSC crawl-rate tool deprecation, November 2023)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (bản dịch) «nếu đó máy chủ persistently trả về HTTP 500 các mã trạng thái cho một range of URLs, Googlebot sẽ tự động, và gần như immediately chậm xuống crawling.» He đã thêm đó đó tool “usefulness has dissipated.” (bản dịch) «usefulness có dissipated.» Relayed qua Search Engine Land’s coverage of đó deprecation post — đọc đó coverage; xác nhận so với Google original post trước treating as cuối.

Bing / Microsoft

• hiện tại Bingbot hướng dẫn documents crawl-delay các giá trị từ 1–20 seconds. nó là Bing-cụ thể hướng dẫn, không chung REP rule.

Yandex (hiện tại Quản trị viên web tài liệu)

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (bản dịch) «Từ February 22, 2018, Yandex không take vào account đó Crawl-delay directive. To set đó rate tại mà đó lập chỉ mục bots nên access trang web của bạn các trang, dùng đó site tốc độ crawl setting trong Yandex Quản trị viên web.» — Yandex Quản trị viên web: Đó Crawl-delay directive

Crawl-delay decision checklist

Hoạt động xuống list dựa trên mà bot bạn’re trying để chậm:

• Audit của bạn robots.txt. là ở đó crawl-delay line đã? Note mà User-agent group(s) nó trong và mà bots bạn thực ra có nghĩa là để throttle.
• nếu nó ở đó cho Google: xóa nó (hoặc document đó nó có chủ ý targeting khác bots). nó làm không có gì cho Googlebot.
• Trying để chậm Google? khắc phục máy chủ đầu tiên. cho genuine emergency, trả về 429/503 — cho không nhiều hơn hơn 1-2 days. không bao giờ sử dụng 401/403/404 để throttle. cho persistent vấn đề, file crawl-rate yêu cầu trong Tìm kiếm Console.
• Trying để chậm Bing? sử dụng Crawl Control trong Bing Quản trị viên web Tools đầu tiên. nếu bạn làm sử dụng crawl-delay, giữ giá trị tại 10 hoặc dưới, và remember nó áp dụng từ * group even với bingbot section present.
• Trying để chậm một crawler (SEO tool, AI bot, etc.)? Put crawl-delay trong targeted User-agent: group cho đó bot — nó helps nếu đó crawler honors directive (nhiều làm).
• xác nhận giá trị meaning cho của bạn đích bot: Bing đọc nó as relative throttle factor. Yandex được sử dụng để đọc nó as literal seconds nhưng đã dừng honoring directive hoàn toàn on February 22, 2018 — sử dụng Yandex Quản trị viên web crawl-rate setting cho Yandex thay vì.
• không expect scrapers hoặc bad actors để comply — họ bỏ qua robots.txt hoàn toàn. crawl-delay là cho well-behaved bots chỉ.

Crawl-delay bảng tra nhanh

Ai honors crawl-delay?

Bing throttle scale

Điều gì để sử dụng thay vì, by engine

không

• không sử dụng crawl-delay expecting nó để ảnh hưởng Google hoặc Yandex.
• không sử dụng 401/403/404 để throttle Googlebot (không effect; chỉ 429 among 4xx làm).
• không đặt Bing các giá trị trên 10.

Cách nên bạn chậm crawler?

Tools cho crawl-delay hoạt động

• robots.txt Tester kiểm tra mà người dùng-agent group và rule apply; nó helps catch scoping mistakes mặc dù hỗ trợ cho crawl-delay vẫn crawler-cụ thể.
• robots.txt Generator helps xây dựng tách biệt bot groups thay vì applying rộng delay để mỗi crawler.
• Log File Trình phân tích hiển thị yêu cầu rate thực ra produced sau khi thay đổi và separates tìm kiếm các crawler từ spoofed người dùng agents.
• Googlebot Verifier verifies liệu IP creating load thực sự belongs để crawler nó claims để là.

các tài nguyên worth của bạn time

My related writing

• Robots.txt và SEO: Mọi thứ bạn cần Know — đầy đủ robots.txt picture, including Vì sao crawl-delay không phải Google directive.
• Người mới bắt đầu Hướng dẫn để kỹ thuật SEO — nơi crawl controls sit trong bigger picture.
• được lập chỉ mục, though blocked by robots.txt — reminder đó robots.txt controls crawling, không lập chỉ mục.

My speaking

• Cách Tìm kiếm Hoạt động (SlideShare) — my walkthrough of crawling, kết xuất, lập chỉ mục, và xếp hạng. (Standing disclaimer áp dụng: “This is my understanding of systems… not going to be 100% complete or accurate.” (bản dịch) «Này là my understanding of các hệ thống… không going to là 100% hoàn tất hoặc chính xác.»)

từ khoảng ngành

• note on unsupported rules trong robots.txt (Google Search Central) — gốc 2019 retirement announcement.
• Bingbot hướng dẫn — hiện tại Bing Quản trị viên web hướng dẫn documents 1–20 thứ hai các giá trị.
• Google để Drop Hỗ trợ cho crawl-delay, nofollow, và noindex trong robots.txt (công cụ tìm kiếm Roundtable) — coverage của 2019 thay đổi.
• Google xóa hỗ trợ cho crawl-delay, nofollow, và noindex rules trong robots.txt (Coywolf) — additional context on retirement.
• Googlebot tốc độ crawl tool trong Search Console là going away (công cụ tìm kiếm Land) — Gary Illyes’ quotes on alternatives là tốt hơn.
• Crawl-delay: 10 trong robots.txt: Điều gì làm nó có nghĩa là? (Conductor) — widely-cited explainer on directive.

Tự kiểm tra: Crawl Delay

Five nhanh các câu hỏi on crawl-delay directive. Pick câu trả lời cho mỗi, sau đó kiểm tra.

Nhật ký thay đổi