Ngôn ngữ

Tốc độ crawl

Cách fast các công cụ tìm kiếm fetch của bạn các trang — điều gì tốc độ crawl là, vì sao Google retired đó Search Console rate slider, cách safely chậm Googlebot xuống hôm nay, vì sao bạn không thể force an increase, và cách Bing manual Crawl Control differs.

Xuất bản lần đầu: 22 thg 6, 2026 · Cập nhật lần cuối: 8 thg 8, 2026 · Advanced
Ngôn ngữ
AIĐược viết bởiAI v2

Tốc độ crawl là cách fast một crawler fetches các trang từ máy chủ của bạn — đó supply side of ngân sách crawl (đó demand side là cách nhiều đó engine wants to crawl). Google hiện tại sets điều này tự động từ máy chủ của bạn health: đó manual Search Console rate slider đã là đã xóa on January 8, 2024. To chậm Googlebot hôm nay bạn tín hiệu qua HTTP các mã trạng thái — trả về 500/503/429 cho một day hoặc hai, không bao giờ 403/404, và crawl-delay là đã bỏ qua by Google. Bạn không thể yêu cầu một vĩnh viễn increase; bạn improve điều này indirectly với một nhanh hơn máy chủ, sạch sitemaps, và ít hơn wasted URLs. Bing vẫn cho bạn một manual Crawl Control grid. Tốc độ crawl không phải một xếp hạng factor, và hầu hết các trang không bao giờ cần to manage điều này.

Tóm tắt — Tốc độ crawl là supply side của ngân sách crawl — Cách fast crawler fetches, đặt by Điều gì Google calls crawl capacity limit (parallel connections

  • delay giữa fetches). nó tự động và reacts để máy chủ health; manual GSC slider là đã xóa Jan 8, 2024. để chậm Googlebot hiện tại bạn tín hiệu qua HTTP: 500/503/429 cho 1–2 days max, không bao giờ 401/403/404, và crawl-delay là đã bỏ qua by Google (honored by Bing). Bạn có thể’t yêu cầu increase — improve nó indirectly. Bing vẫn có manual Crawl Control grid. Tốc độ crawl không phải xếp hạng factor, và phần lớn các trang không bao giờ cần để touch nó.

Điều gì tốc độ crawl thực ra là

Tốc độ crawl là cách fast một crawler fetches các trang từ máy chủ của bạn — đó number of simultaneous các yêu cầu điều này làm và đó delay giữa them. Google name cho điều này là đó crawl capacity limit: “the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (bản dịch) «đó maximum number of simultaneous parallel connections đó Google có thể dùng to crawl một site, cũng như đó time delay giữa fetches.» Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: Google: Large site crawl budget guide

đây là một half of ngân sách crawl. As I put điều này trong my Ahrefs crawl-budget hướng dẫn, ngân sách crawl breaks vào “crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” (bản dịch) «crawl demand mà là cách nhiều các trang một công cụ tìm kiếm wants to crawl trên trang web của bạn và tốc độ crawl mà là cách fast they có thể crawl.» Tốc độ crawl là đó supply side (cách fast bạn’ll let them); crawl demand là đó demand side (cách nhiều they muốn to). Ngân sách crawl là nơi đó hai đáp ứng — và thứ hạng sit bên ngoài đó loop hoàn toàn.

Trong my Cách Tìm kiếm Hoạt động deck I frame tốc độ crawl limit as đơn giản Điều gì của bạn trang web có thể hỗ trợ — nó driven by của bạn máy chủ stability và crawl health, chậm các phản hồi, 5xx (máy chủ) các lỗi, và 429 (Quá nhiều yêu cầu) các phản hồi. Google backs off Khi của bạn máy chủ bắt đầu để struggle vì nó không muốn để crash của bạn trang web. Một detail mọi người miss: all Googlebots share single crawl pool — bots Đối với tìm kiếm, images, quảng cáo, và so on all draw từ giống nhau rate. So runaway crawl của một tài nguyên loại eats vào crawling của mọi thứ khác.

Crawl rate is the capacity gate. It can constrain demand, but increasing capacity does not manufacture demand or rankings. Nguồn: Google Search Central

Crawl demand orders URLs using popularity, genuine change, and useful inventory. Crawl capacity is shaped by server response speed, stability, and errors. The capacity gate determines how far Googlebot proceeds through the ordered queue. A faster, healthier server can raise the ceiling, but it does not create crawl demand and is not a ranking signal.

© Patrick Stox LLC · CC BY 4.0 ·

Điều gì sets tốc độ crawl

Đó capacity limit là tự động và reacts to máy chủ của bạn trong real time. Google: “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.” (bản dịch) «Nếu đó site responds quickly cho một trong khi, đó limit goes up, meaning hơn connections có thể là được dùng để crawl. Nếu đó site làm chậm xuống hoặc responds với máy chủ các lỗi, đó limit goes xuống và Google crawl ít hơn.»

có một second lever bạn không control: Google own các tài nguyên. “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” (bản dịch) «Google có một lot of machines, nhưng không infinite machines. We vẫn cần to làm choices với đó các tài nguyên đó we có.» So máy chủ của bạn health sets đó ceiling Google là willing to dùng, nhưng Google own capacity và trang web của bạn crawl demand decide cách nhiều of đó ceiling thực ra nhận dùng.

Đó myths doc xác nhận đó máy chủ-health link hoạt động cả hai ways: “A speedy site is a sign of healthy servers, so it can get more content over the same number of connections,” (bản dịch) «MỘT speedy site là một sign of healthy các máy chủ, so điều này có thể nhận hơn nội dung over đó giống nhau number of connections,» trong khi “a significant number of 5xx HTTP response status codes (server errors) or connection timeouts signal the opposite, and crawling slows down.” (bản dịch) «một significant number of 5xx HTTP phản hồi các mã trạng thái (máy chủ các lỗi) hoặc connection timeouts tín hiệu đó opposite, và crawling làm chậm xuống.»

Làm tốc độ crawl ảnh hưởng thứ hạng? Không.

Bust này đầu tiên, vì điều này drives một lot of misguided effort. Crawling là bắt buộc to xuất hiện trong tìm kiếm, nhưng điều này là không phải là tín hiệu xếp hạng. Google là rõ ràng: “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” (bản dịch) «Improving của bạn tốc độ crawl sẽ không nhất thiết lead to tốt hơn positions trong Google Kết quả tìm kiếm.» Nhanh hơn hoặc hơn crawling buys bạn fresher discovery và lập chỉ mục, không cao hơn positions. Tốc độ crawl là an efficiency và máy chủ-health concern — đầy đủ dừng.

Evidence for this claim Improving crawl rate does not itself improve ranking positions; crawling is necessary for eligibility but is not a ranking signal. Scope: websites Confidence: high · Verified: Myths and facts about crawling

Cách reduce Googlebot’s tốc độ crawl

Trong order, từ thực khắc phục để emergency lever:

1. khắc phục máy chủ ( thực khắc phục). Speed nó up hoặc thêm các tài nguyên. vì capacity limit tracks phản hồi time và các lỗi, healthier máy chủ là durable way để giữ crawling trong comfortable range — và nó một đó không risk của bạn lập chỉ mục.

2. Đó emergency lever — 500/503/429. Google: “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (bản dịch) «trả về 500, 503, hoặc 429 HTTP phản hồi mã trạng thái thay vì 200 to đó các yêu cầu crawl.» Của nó các crawler “treat the 429 status code as a signal that the server is overloaded,” (bản dịch) «treat đó 429 mã trạng thái as một tín hiệu đó đó máy chủ là overloaded,» và “5xx and 429 server errors prompt Google’s crawlers to temporarily slow down with crawling.” (bản dịch) «5xx và 429 máy chủ các lỗi prompt Google các crawler to temporarily chậm xuống với crawling.» Gary Illyes put đó speed of này trong concrete terms: “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (bản dịch) «nếu đó máy chủ persistently trả về HTTP 500 các mã trạng thái cho một range of URLs, Googlebot sẽ tự động, và gần như immediately chậm xuống crawling.» Ưu tiên 429 khi bạn có thể — điều này explicitly có nghĩa là “too many requests” (bản dịch) «quá nhiều yêu cầu» và có thể carry một Retry-After header.

Đó catch là đó này là strictly tạm thời. Google: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (bản dịch) «We không khuyến nghị đó bạn làm này cho một dài period of time (meaning, lâu hơn hơn 1-2 days).» Leave điều này on và đó cost là real — nếu những codes persist on đó giống nhau URL cho multiple days, “the URL may be dropped from Google’s index” (bản dịch) «đó URL có thể là dropped từ Google chỉ mục» và, cho Google Quảng cáo, “your campaigns may be cancelled or paused, and your ads may not serve.” (bản dịch) «của bạn campaigns có thể là cancelled hoặc paused, và của bạn quảng cáo có thể không serve.»

3. Điều không nên làm. không dùng 4xx to throttle. “The 4xx status codes, except 429, have no effect on crawl rate,” (bản dịch) «Đó 4xx các mã trạng thái, except 429, có không effect on tốc độ crawl,» và Google says plainly “Don’t use 401 and 403 status codes for limiting the crawl rate.” (bản dịch) «không dùng 401 và 403 các mã trạng thái cho limiting đó tốc độ crawl.» Trong một dedicated 2023 post về mọi người đang làm chính xác này, Google wrote: “Over the last few months we noticed an uptick in website owners and some content delivery networks (CDNs) attempting to use 404 and other 4xx client errors (but not 429) to attempt to reduce Googlebot’s crawl rate. The short version of this blog post is: please don’t do that…” (bản dịch) «Over đó cuối cùng một vài months we noticed an uptick trong website owners và some nội dung phân phối networks (CDNs) attempting to dùng 404 và other 4xx client các lỗi (nhưng không 429) to attempt to reduce Googlebot’s crawl rate. Phiên bản ngắn gọn of này blog post là: please không làm đó…» Và không reach cho robots.txt crawl-delay: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (bản dịch) «Đó non-tiêu chuẩn ‘crawl-delay’ robots.txt rule là không processed by Google các crawler.»

Evidence for this claim Google's crawlers do not process the non-standard crawl-delay robots.txt rule. Scope: websites Confidence: high · Verified: Myths and facts about crawling

4. Đó non-emergency yêu cầu. Cho an ongoing vấn đề đó không một fire, bạn có thể “file a special request to report a problem with unusually high crawl rate, mentioning the optimal rate for your site.” (bản dịch) «file một special yêu cầu to báo cáo một vấn đề với unusually cao tốc độ crawl, mentioning đó optimal rate cho trang web của bạn.» đây là chậm, và điều này chỉ goes một direction (see dưới).

có thể bạn increase tốc độ crawl? Không — không trực tiếp.

Có không manual increase. Google: “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” (bản dịch) «Bạn không thể yêu cầu an increase trong tốc độ crawl, và điều này có thể take several days cho đó yêu cầu to là evaluated và fulfilled.» Điều gì bạn có thể làm là improve điều này indirectly. Từ my crawl-budget hướng dẫn, đó levers đó thực ra move hiệu quả crawl: speed up máy chủ của bạn / thêm các tài nguyên; giữ quan trọng các trang trong sạch sitemaps; kill duplicate nội dung; earn hơn links (external và internal); cách sửa được chuyển hướng links; dùng GET thay vì POST nơi có thể; và dùng đó Lập chỉ mục API nơi bạn là eligible. Note đó “a speedy site… can get more content over the same number of connections” (bản dịch) «một speedy site… có thể nhận hơn nội dung over đó giống nhau number of connections» — so máy chủ health là đó lever đó cho thấy up on cả hai đó reduce và đó increase side.

Cách control Bingbot’s tốc độ crawl

Ở đây sharp cross-engine contrast. nơi Google retired manual control, Bing kept nó. Bing Quản trị viên web Tools có Crawl Control (under Configuration): hour-by-hour grid nơi mỗi hour hiển thị bricks representing crawl speed — nhiều hơn bricks có nghĩ là nhanh hơn crawling, ít hơn có nghĩ là chậm hơn. Bạn có thể pick preset được xây dựng khoảng của bạn peak business hours, hoặc chọn “Custom” và draw của bạn own pattern across day. Bing cũng vẫn honors crawl-delay trong robots.txt — chính xác directive Google bỏ qua. So hai-engine rule của thumb: cho Google bạn tín hiệu qua máy chủ các phản hồi; cho Bing bạn có thực tế dial.

Điều gì happened để Search Console tốc độ crawl tool?

timeline, vì so nhiều advice vẫn references tool đó không lâu hơn tồn tại:

  • Dec 2008 — Google introduces người dùng crawl-rate control trong Quản trị viên web Tools.
  • Feb 2023 — Google publishes “don’t use 403s or 404s for rate limiting.” (bản dịch) «không dùng 403s hoặc 404s cho rate limiting.»
  • Nov 24, 2023 — Google announces đó deprecation of đó Tốc độ crawl Limiter Tool. Illyes’ reasoning: “with the improvements we’ve made to our crawling logic and other tools available to publishers, its usefulness has dissipated.” (bản dịch) «với đó improvements chúng ta đã đã làm to của chúng ta crawling logic và other tools khả dụng to publishers, của nó usefulness có dissipated.» Đó old tool đã là chậm và barely dùng — điều này đã có “a much slower effect” (bản dịch) «một nhiều chậm hơn effect» và “would have taken over a day for the new limits to be applied on crawling,” (bản dịch) «sẽ có taken over một day cho đó new limits to là applied on crawling,» và đã là dùng “rarely,” với những ai đã làm “in many cases set the crawling speed to the bare minimum.” (bản dịch) «trong nhiều cases set đó crawling speed to đó bare minimum.»
  • Jan 8, 2024 — đó tool là đã xóa. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: Google: Crawl rate limiter deprecation Google cũng lowered đó floor: “With the deprecation of the crawl limiter tool, we’re also setting the minimum crawling speed to a lower rate, comparable to the old crawl rate limits.” (bản dịch) «Với đó deprecation of đó crawl limiter tool, chúng ta là cũng setting đó minimum crawling speed to một thấp hơn rate, comparable to đó old tốc độ crawl limits.»

practical upshot: old manual slider có >24-hour lag anyway; hôm nay máy chủ-tín hiệu approach (5xx/429) làm chậm Googlebot gần như immediately, mà là strictly tốt hơn cho thực tế emergency.

Cách monitor tốc độ crawl

GSC Crawl Số liệu báo cáo là của bạn window vào Điều gì Google là thực ra đang làm: total các yêu cầu crawl theo thời gian, total download size, average phản hồi time, và host status view của của bạn trang web availability để Google over cuối cùng ~90 days, plus breakdown by phản hồi code, file loại, crawl purpose, và Googlebot loại. Watch average phản hồi time và host-status các tín hiệu — climbing phản hồi time hoặc rash của 5xx là chính xác Điều gì làm Googlebot throttle bạn, so điều này báo cáo là nơi bạn’ll see self-inflicted slowdown trước khi bạn go hunting cho một. On Bing, Crawl Control và crawl information trong Bing Quản trị viên web Tools là equivalents.

Tốc độ crawl so với ngân sách crawl so với crawl frequency

giữ những điều này straight:

  • Tốc độ crawl = cách fast (supply / capacity).
  • Crawl demand = cách nhiều they muốn to (popularity + staleness).
  • Ngân sách crawl = đó interaction of đó hai — “the amount of time and resources a search engine allows for crawling a website.” (bản dịch) «đó amount of time và các tài nguyên một công cụ tìm kiếm cho phép cho crawling một website.»
  • Crawl frequency = cách thường một được cho trang nhận re-được crawl, mà là mostly một crawl-demand câu hỏi (popularity và cách fresh/stale đó trang là).

Và đó reassuring part, mà là my standing take: hầu hết các trang không cần to worry về any of này. “Most sites don’t need to worry about crawl budget, but there are few cases where you may want to take a look” (bản dịch) «Hầu hết các trang không cần to worry về ngân sách crawl, nhưng ở đó là một vài cases nơi bạn có thể muốn to take một look» — newer các trang với một lot of các trang, very lớn hoặc rapidly thay đổi các trang, và các trang với một pile of “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» URLs trong GSC. Nếu đó là không bạn, leave tốc độ crawl alone và let Google automation làm của nó job.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.