Hướng dẫn về Crawling

Tóm tắt — Crawling là Cách các công cụ tìm kiếm tìm và download của bạn các trang. bot (Googlebot cho Google, Bingbot cho Bing) follows links và đọc sitemaps để discover các URL, sau đó fetches them. trang có để là được crawl trước khi nó có thể hiển thị up trong tìm kiếm — nhưng là được crawl lot không làm bạn xếp hạng cao hơn.

Điều gì crawling là

các công cụ tìm kiếm không browse web way bạn làm. họ gửi out automated programs — được gọi là các crawler, bots, hoặc spiders — đó visit các trang, download Điều gì on them, và follow links để tìm nhiều hơn các trang. Google crawler là Googlebot; Bing là Bingbot.

Think của nó as three steps, trong order:

1. Crawl — bot discovers URL và downloads trang.
2. chỉ mục — engine xử lý đó trang và files nó away trong giant database của mọi thứ nó có thể hiển thị trong kết quả.
3. phục vụ (xếp hạng) — Khi ai đó searches, engine pulls best matches từ chỉ mục và puts them trong order.

Crawling là step một. nếu trang không bao giờ nhận được crawl, nó có thể’t là được lập chỉ mục, và nếu nó không được lập chỉ mục, nó có thể’t xếp hạng. So crawling matters — nhưng nó gate, không scoreboard.

Cách các crawler tìm của bạn các trang

Hai main ways:

• Sau links. Khi bot crawl trang, nó grabs links on nó và adds những điều đó các URL để của nó list để crawl tiếp theo. Good liên kết nội bộ là Cách new các trang nhận tìm thấy.
• Sitemaps. XML sitemap là list của của bạn các URL bạn hand trực tiếp để tìm kiếm engines so họ không có để discover mọi thứ qua links.

có cũng “push” options nơi bạn actively tell engine trang changed — nhiều hơn on những điều đó dưới — nhưng links và sitemaps làm phần lớn của hoạt động.

Cách help các công cụ tìm kiếm crawl của bạn trang web

• Link để của bạn quan trọng các trang từ khác các trang (especially của bạn homepage và main navigation).
• Submit XML sitemap trong Google Search Console và Bing Quản trị viên web Tools.
• không accidentally block các trang bạn muốn tìm thấy (kiểm tra của bạn robots.txt).
• giữ của bạn máy chủ fast và healthy — nếu nó chậm hoặc throwing các lỗi, bots back off và crawl ít hơn.

điều phần lớn mọi người nhận sai

Crawling không phải xếp hạng. Getting được crawl nhiều hơn thường sẽ không move bạn up kết quả. và blocking trang trong robots.txt không xóa nó từ Google — nó chỉ dừng Google từ reading nó. Evidence for this claim robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Scope: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt nếu bạn thực ra muốn trang đã biến mất, bạn let nó là được crawl và thêm noindex tag. (I tested blocking side của điều này myself — see Nâng cao version.)

Muốn deeper version, với Cách crawl scheduler hoạt động, byte limits, và crawl-so với-chỉ mục-so với-xếp hạng phân biệt? Switch để Nâng cao tab.

Tóm tắt — Crawling là đầu tiên của tìm kiếm three stages (crawl → chỉ mục → phục vụ). Bots discover các URL by pull (links + sitemaps) và push (IndexNow, lập chỉ mục API), sau đó fetch them on algorithmic schedule đó throttles để của bạn máy chủ health. Kết xuất JavaScript là tách biệt step. Crawling là bắt buộc để xếp hạng nhưng không phải itself tín hiệu xếp hạng, và nó distinct từ lập chỉ mục — robots-blocked trang có thể vẫn là được lập chỉ mục. phần lớn các trang không cần để manage crawl budget; nhật ký là Cách bạn see Điều gì thực ra happened.

Crawling là giai đoạn một của three

Google là blunt về đó pipeline: “Google Search works in three stages, and not all pages make it through each stage” (bản dịch) «Google Search hoạt động trong three stages, và không all các trang làm điều này qua mỗi stage» — crawling, lập chỉ mục, và serving. Evidence for this claim Google describes Search as three stages: crawling, indexing, and serving results. Scope: Google Search's documented processing model; it does not guarantee that a page reaches every stage. Confidence: high · Verified: 2026-07-14 Google Search Central: In-depth guide to how Google Search works Đó “not all pages make it” (bản dịch) «không all các trang làm điều này» part là đó toàn bộ game trong SEO kỹ thuật. MỘT trang có thể là được crawl nhưng không được lập chỉ mục, hoặc được lập chỉ mục nhưng không bao giờ served cho một query. Giữ đó stages tách biệt trong của bạn head là đó single hầu hết hữu ích mental model ở đây.

Ai thực ra làm crawling

“Googlebot” sounds như một program. nó không phải. Trong my Cách Tìm kiếm Hoạt động deck I mô tả nó as 1 000+ các hệ thống đang chạy family của specialized các crawler — desktop, mobile, image, news, video, quảng cáo — với các yêu cầu mostly originating out của Mountain View. họ all draw từ giống nhau ngân sách crawl pool, mà là Vì sao runaway image hoặc parameter crawl có thể starve crawling của của bạn thực tế nội dung.

và nó không chỉ các công cụ tìm kiếm anymore. Trong my analysis của Cloudflare Radar dữ liệu (Đáp ứng New Web Các crawler), tìm kiếm-engine bots vẫn crawl phần lớn — nhưng AI bots là firmly trong thứ hai place và on track để overtake them trong tiếp theo couple của năm. nếu bạn’re reading của bạn nhật ký, cast của characters có changed.

Cách các crawler discover các URL

Phát hiện là cả hai pull và push:

• Pull — links. Google: “Other pages are discovered when Google extracts a link from a known page to a new page.” (bản dịch) «Other các trang là discovered khi Google extracts một link từ một known trang to một new trang.» Này là vì sao orphan các trang (không có gì links to them) struggle to nhận được tìm thấy.
• Pull — sitemaps. “Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl.” (bản dịch) «Vẫn other các trang là discovered khi bạn submit một list of các trang (một sitemap) cho Google to crawl.»
• Push — thay đổi notifications. Thay vì đang chờ to là re-được crawl, bạn tell đó engine điều gì đó changed: IndexNow (Bing, Yandex, và others — Google làm không dùng điều này cho chung các trang) và Google Lập chỉ mục API (officially chỉ cho JobPosting và BroadcastEvent các trang). Sitemaps’ lastmod, RSS, và WebSub round out đó push options.

Google calls đó toàn bộ điều “URL discovery.” (bản dịch) «phát hiện URL.»

Cách các crawler fetch các trang

• Đó schedule là algorithmic. “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (bản dịch) «Googlebot dùng an algorithmic xử lý to determine mà các trang to crawl, cách thường, và cách nhiều các trang to fetch từ mỗi site.» Bạn influence điều này; bạn không set điều này.
• Crawling là polite. Bots throttle themselves so they không knock trang web của bạn over: “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down.’” (bản dịch) «they try không to crawl đó site cũng fast to tránh overloading điều này… HTTP 500 các lỗi có nghĩa là ‘chậm xuống.’» Này là đó lever behind temporarily slowing một crawl — trả về 503/429 và Googlebot eases off (cho một day hoặc hai, không forever).
• có một byte limit. As of Google March 2026 Bên trong Googlebot cập nhật, Googlebot fetches up to roughly 2 MB theo URL (xuống từ đó old 15 MB hình), với PDFs được phép up to 64 MB. Go over và đó fetch là truncated, không rejected — chỉ đó downloaded portion là đã truyền on cho lập chỉ mục. Nếu của bạn cốt yếu nội dung sits dưới 2 MB of bloat, đó matters.
• Bộ nhớ đệm cuts re-crawl cost. Google các crawler dùng các yêu cầu có điều kiện và bộ nhớ đệm so unchanged các tài nguyên không re-fetched mỗi khi. Google không publish an chính xác bộ nhớ đệm duration cho kết xuất các tài nguyên, so không assume một fixed refresh window cho một code thay đổi — expect some lag, không an instant reflect.

Kết xuất không phải crawling

Này trips mọi người up constantly. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (bản dịch) «During đó crawl, Google renders đó trang và chạy any JavaScript điều này tìm thấy dùng một gần đây version of Chrome.» Kết xuất là một distinct step từ fetching đó HTML. Đó renderer (đó Web Kết xuất Service) là stateless — storage và cookies là cleared giữa loads, điều này denies permission prompts, và điều này rejects service workers. Nếu nội dung của bạn chỉ xuất hiện sau một click hoặc một JS-driven navigation đó không một real <a href> link, expect phát hiện và kết xuất các vấn đề. (Đầy đủ treatment trong JavaScript SEO.)

Crawling so với lập chỉ mục so với xếp hạng

phần lớn quan trọng distinctions on điều này trang:

• Crawling ≠ xếp hạng. Crawling là necessary to là trong kết quả, nhưng điều này là không một tín hiệu xếp hạng. MỘT cao hơn tốc độ crawl sẽ không lift của bạn positions. Ngân sách crawl là an efficiency concern, đầy đủ dừng.
• Crawling ≠ lập chỉ mục. MỘT trang bạn block trong robots.txt có thể vẫn là được lập chỉ mục nếu other các trang link to điều này — Google chỉ không thể see đó nội dung, hoặc any noindex tag bạn put ở đó. As I put điều này trong Được lập chỉ mục, though blocked by robots.txt: “crawling and indexing are two different things.” (bản dịch) «crawling và lập chỉ mục là hai khác nhau điều.» To thực ra xóa một trang, cho phép crawling và thêm noindex — không block điều này.

I tested đó blocking side trực tiếp. Trong Đó Story of Blocking 2 Cao-Xếp hạng Các trang Với Robots.txt I blocked hai of của chúng ta xếp hạng các trang. Đó kết quả: “We lost a position here or there and all of the featured snippets for the pages… I expected a lot more impact, but the world didn’t end.” (bản dịch) «We lost một position ở đây hoặc ở đó và all of đó featured snippets cho đó các trang… I dự kiến một lot hơn impact, nhưng đó world đã không end.» My takeaway stands: “Don’t block pages you want indexed. It hurts. Not as bad as you might think it does — but it still hurts.” (bản dịch) «không block các trang bạn muốn được lập chỉ mục. Điều này hurts. Không as bad as bạn có thể think điều này làm — nhưng điều này vẫn hurts.»

Cách control crawling

• robots.txt controls crawling, không lập chỉ mục. “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (bản dịch) «MỘT robots.txt file tells công cụ tìm kiếm các crawler mà URLs đó crawler có thể access trên trang web của bạn.» Evidence for this claim robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Scope: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt Dùng điều này to giữ bots out of thấp-giá trị spaces — không as một deindexing tool.
• Kiến trúc trang web & liên kết nội bộ govern cách deep các trang sit và liệu họ là discovered tại all (see crawl depth).
• Crawl-rate controls. Google retired của nó manual crawl-rate slider trong Search Console (sớm 2024) — điều này hiện tại leans on máy chủ của bạn các phản hồi và một thấp hơn tự động minimum. Bing vẫn cho bạn một manual Crawl Control grid trong Bing Quản trị viên web Tools (see tốc độ crawl).

Hiệu quả crawl và ngân sách crawl

Cả hai engines think về crawling as efficiency. Gary Illyes frames Google side as tốc độ crawl limit + crawl demand (popularity và staleness). Bing Fabrice Canel calls điều này của họ “crawl efficiency north star … to crawl a URL only when the content has been added … updated.” (bản dịch) «hiệu quả crawl north star … to crawl một URL chỉ khi đó nội dung đã được đã thêm … đã cập nhật.»

Đó reassuring part: hầu hết các trang không cần to worry về điều này. Google says điều này plainly — nếu trang web của bạn không có một lớn number of rapidly thay đổi các trang, hoặc của bạn các trang là được crawl đó giống nhau day họ là published, “you don’t need to read this guide.” (bản dịch) «bạn không cần to đọc này hướng dẫn.» Điều này bắt đầu to quan trọng khoảng 1M+ các trang thay đổi weekly hoặc 10k+ thay đổi daily (see ngân sách crawl và crawl frequency).

Khi crawling goes sai — Cách see nó

trước khi bạn reach cho khắc phục, hình out mà stage là thực ra hỏng — symptoms và remedies là khác tại mỗi một:

• không discovered tại all? Không có gì links để trang và nó missing từ của bạn sitemap. khắc phục liên kết nội bộ và sitemap coverage — see crawl depth và crawl frequency.

• Discovered nhưng không bao giờ fetched? máy chủ các lỗi, timeouts, hoặc robots.txt block là chuyển thành bots away. kiểm tra GSC Crawl Số liệu và của bạn nhật ký — see ngân sách crawl và tốc độ crawl.

• Fetched nhưng kết xuất sai? nội dung phụ thuộc vào click hoặc JS-chỉ navigation Googlebot sẽ không perform, hoặc WRS times out. See JavaScript SEO cho render-cụ thể thất bại modes.

• Fetched và được kết xuất nhưng vẫn không được lập chỉ mục? đó tách biệt decision chỉ mục làm — see lập chỉ mục hub thay vì treating nó as crawl vấn đề.

• Log file analysis là ground truth. của bạn máy chủ nhật ký hiển thị chính xác mà các URL bots thực ra hit, Cách thường, và Điều gì các mã trạng thái họ đã nhận — best way để spot wasted crawling và tìm các trang bots không bao giờ reach (see log file analysis).

• Spider traps — infinite URL spaces từ calendars, faceted navigation, session IDs, hoặc relative-link explosions — âm thầm burn của bạn ngân sách crawl on junk các URL (see spider traps).

nơi để go tiếp theo: crawling cluster

điều này hub là map. mỗi topic dưới là của nó own deep dive:

Hiệu quả crawl — Cách nhiều và Cách thường

• Ngân sách crawl — Điều gì nó là (capacity + demand), Điều gì wastes nó, và ai thực ra cần để care.
• Tốc độ crawl — Cách fast bots fetch, Vì sao GSC rate slider went away, và Cách để speed up hoặc chậm xuống crawl hôm nay.
• Crawl frequency — Điều gì làm Google re-crawl trang sooner (popularity, staleness, chính xác lastmod) và Điều gì không.
• Crawl depth — click depth so với. crawl traversal depth, và Vì sao quan trọng các trang belong close để homepage.

Đáp ứng các crawler — ai thực ra fetching của bạn các trang

• Crawler — Điều gì web crawler (bot, spider) là và fetch → parse → follow loop họ all chạy.
• Người dùng agent — người dùng-agent string và robots.txt token bot identifies itself với, và Vì sao Bạn có thể’t trust string alone.
• Googlebot — Google crawler: Smartphone so với. Desktop, kết xuất, và Cách verify nó.
• Bingbot — Microsoft crawler, Cách nó differs, và surfaces beyond Bing nó feeds.
• AI các crawler — bots từ AI companies (training so với. AI-tìm kiếm so với. người dùng-triggered fetchers) và Cách control them.

Diagnosing crawl các vấn đề

• Log file analysis — verifying thực bots và reading Điều gì họ được crawl.
• Spider traps (crawler traps) — patterns đó generate infinite các URL, và Cách khắc phục them.

mỗi topic trên là của nó own deep dive nested under điều này hub — họ’re trong sidebar cũng.

Qualifying của bạn outbound links là related on-trang control đó overlaps với crawling — những điều này tell Google Cách treat link thay vì liệu để crawl nó: nofollow ( gốc catch-all, hiện tại hint), plus rel=sponsored và rel=ugc cho paid/advertising và người dùng-generated links. All three trực tiếp trong on-trang meta tags cluster.

Getting tìm thấy trong đầu tiên place là related nhưng tách biệt stage. Cách tìm kiếm engines discover của bạn các URL — liên kết nội bộ, sitemaps (XML, sitemap chỉ mục, image, và video), và push các giao thức IndexNow và Google lập chỉ mục API (Điều gì mỗi là thực ra cho, và Vì sao Google không sử dụng IndexNow) — hiện tại lives trong của nó own Phát hiện hub. cho rộng hơn topic, see Cách Tìm kiếm Hoạt động.

AI summary

condensed take on Nâng cao version:

• Crawling = giai đoạn một of tìm kiếm (crawl → chỉ mục → serve). đây là bắt buộc to xếp hạng nhưng là không phải là tín hiệu xếp hạng, và đây là distinct từ lập chỉ mục và từ kết xuất.
• Phát hiện là pull + push: links và sitemaps (pull); IndexNow và đó Lập chỉ mục API (push). Google calls điều này “URL discovery.” (bản dịch) «phát hiện URL.»
• Fetching là algorithmic và polite: Google decides điều gì/cách thường/cách nhiều, và throttles on 5xx/429 (“chậm xuống”). Googlebot fetches ~2 MB theo URL (PDFs up to 64 MB) as of 2026, truncating beyond đó.
• Kết xuất là tách biệt: JS chạy trong một stateless headless Chrome; Google caches các tài nguyên to cut re-crawl cost nhưng không publish an chính xác duration, so thay đổi có thể lag.
• Crawl ≠ chỉ mục: một robots-blocked trang có thể vẫn là được lập chỉ mục qua links; dùng noindex (với crawling được phép) to xóa một trang. Patrick blocking thử nghiệm showed blocked các trang largely kept xếp hạng — “but it still hurts.” (bản dịch) «nhưng điều này vẫn hurts.»
• Ngân sách crawl = capacity + demand (popularity + staleness). Hầu hết các trang không cần to manage điều này.
• Diagnose với logs; watch cho spider traps wasting budget. AI bots là hiện tại một major và growing share of crawl traffic.

Tài liệu chính thức

Chính-nguồn tài liệu từ các công cụ tìm kiếm.

Google

• Trong-Depth Hướng dẫn để Cách Google Search Hoạt động — crawl → chỉ mục → phục vụ overview, phát hiện URL, và crawl scheduler.
• Crawling và lập chỉ mục — hub cho robots, sitemaps, canonicalization, và crawl controls.
• Introduction để robots.txt — Điều gì robots.txt làm (và không) làm.
• Optimize của bạn ngân sách crawl — crawl capacity + demand; ai cần nó.
• Overview của Google các crawler và fetchers — mỗi Google người dùng-agent và published IP ranges.
• Bên trong Googlebot (March 2026) — hiện tại byte limits và crawling architecture.
• Googlebot và 15 MB điều (2022) — older limit, hữu ích cho cho thấy thay đổi.
• Crawling December series (2024) — Googlebot, HTTP bộ nhớ đệm, faceted nav, và CDNs.

Bing / Microsoft

• bingbot Series: Maximizing Hiệu quả crawl — Bing definition of crawling và của nó “crawl efficiency north star.” (bản dịch) «hiệu quả crawl north star.»
• Bing Quản trị viên web Tools — Crawl Control — set Bingbot’s speed và timing.
• IndexNow / indexnow.org — đó push giao thức cho instantly signaling changed URLs.

Quotes từ nguồn

On—record statements từ Google và Bing. mỗi link là deep link đó jumps để quoted passage on nguồn trang.

Google — Cách crawling hoạt động

• “Google Search works in three stages, and not all pages make it through each stage.” (bản dịch) «Google Search hoạt động trong three stages, và không all các trang làm điều này qua mỗi stage.» — Google Search Central tài liệu. Jump to quote
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” (bản dịch) «Other các trang là discovered khi Google extracts một link từ một known trang to một new trang… Vẫn other các trang là discovered khi bạn submit một list of các trang (một sitemap) cho Google to crawl. Này xử lý là called ‘phát hiện URL’.» Jump to quote
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (bản dịch) «Googlebot dùng an algorithmic xử lý to determine mà các trang to crawl, cách thường, và cách nhiều các trang to fetch từ mỗi site.» Jump to quote
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (bản dịch) «They try không to crawl đó site cũng fast to tránh overloading điều này. Này mechanism là dựa trên đó các phản hồi of đó site (ví dụ, HTTP 500 các lỗi có nghĩa là ‘chậm xuống’).» Jump to quote
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (bản dịch) «During đó crawl, Google renders đó trang và chạy any JavaScript điều này tìm thấy dùng một gần đây version of Chrome.» Jump to quote

Google — robots.txt, ngân sách crawl

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (bản dịch) «MỘT robots.txt file tells công cụ tìm kiếm các crawler mà URLs đó crawler có thể access trên trang web của bạn.» — Google Search Central tài liệu. Jump to quote
• “Taking crawl capacity and crawl demand together, Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (bản dịch) «Taking crawl capacity và crawl demand together, Google defines một site ngân sách crawl as đó set of URLs đó Google có thể và wants to crawl.» Jump to quote
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (bản dịch) «Nếu trang web của bạn không có một lớn number of các trang đó thay đổi rapidly, hoặc nếu của bạn các trang seem to là được crawl đó giống nhau day đó they là published, bạn không cần to đọc này hướng dẫn.» Jump to quote

Gary Illyes, Google (qua công cụ tìm kiếm Land verbatim reproduction của Google 2017 crawl-budget post)

• Tốc độ crawl limit là “the number of simultaneous parallel connections Googlebot may use to crawl the site, as well as the time it has to wait between the fetches.” (bản dịch) «đó number of simultaneous parallel connections Googlebot có thể dùng to crawl đó site, cũng như đó time điều này có to chờ giữa đó fetches.» Crawl demand là driven by popularity và staleness. Đọc đó coverage

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (bản dịch) «Crawling là đó xử lý by mà bingbot discovers new và đã cập nhật documents hoặc nội dung to là đã thêm to Bing searchable chỉ mục.» Jump to quote
• “Our crawl efficiency north star is to crawl a URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (bản dịch) «Của chúng ta hiệu quả crawl north star là to crawl một URL chỉ khi đó nội dung đã được đã thêm (URL không được crawl trước), đã cập nhật (fresh on-trang context hoặc hữu ích outbound links).» Jump to quote

Crawl-health checklist

nhanh truyền để xác nhận các công cụ tìm kiếm có thể tìm và fetch Điều gì matters:

• quan trọng các trang là linked từ nơi nào đó crawlable (không orphans).
• robots.txt không block bất cứ điều gì bạn muốn được lập chỉ mục (và làm block thấp-giá trị spaces như internal kết quả tìm kiếm).
• XML sitemap là được gửi trong Google Search Console và Bing Quản trị viên web Tools, lists chỉ canonical, indexable các URL, và có chính xác lastmod.
• máy chủ trả về fast, ổn định các phản hồi — minimal 5xx/timeouts (bots chậm xuống Khi của bạn máy chủ struggles).
• bạn’re không sử dụng robots.txt để try để deindex — đó noindex’s job (với crawling được phép).
• Không spider traps generating infinite các URL (calendars, facets, session IDs).
• GSC Crawl Số liệu reviewed cho phản hồi-code spikes và average phản hồi time.
• máy chủ nhật ký checked cho crawl waste và uncrawled quan trọng các URL.
• JS-dependent nội dung là reachable qua thực <a href> links, không click-chỉ navigation.

mental models

1. Đó pipeline — crawl → render → chỉ mục → serve. Mỗi stage là một filter, và “not all pages make it through each stage.” (bản dịch) «không all các trang làm điều này qua mỗi stage.» Khi một trang không performing, locate mà stage đây là failing tại trước khi bạn thay đổi bất cứ điều gì: Đã là điều này được crawl? Được kết xuất? Được lập chỉ mục? Served cho đó query?

2. three “không equals.” giữ những điều này tách biệt và phần lớn crawl confusion disappears:

• Crawling ≠ lập chỉ mục (blocked các trang có thể vẫn là được lập chỉ mục qua links)
• Crawling ≠ xếp hạng (tốc độ crawl không phải tín hiệu xếp hạng)
• Crawling ≠ kết xuất (JS chạy trong tách biệt, bộ nhớ đệm-able step)

3. Phát hiện = pull + push. Pull: links + sitemaps. Push: IndexNow / lập chỉ mục API / lastmod. nếu trang không phải là tìm thấy, ask mà channel nên là carrying nó — và liệu bất cứ điều gì links để nó tại all.

4. Ngân sách crawl = capacity + demand. Capacity là Điều gì của bạn máy chủ có thể take; demand là popularity + staleness. bạn raise effective budget by removing waste (traps, duplicates, junk parameters) far nhiều hơn hơn by trying để làm Google crawl “hơn.”

5. decision rule cho removing trang. Muốn nó đã biến mất từ tìm kiếm? Cho phép crawling + noindex. Muốn bots để skip space hoàn toàn (và không care về lập chỉ mục)? robots.txt disallow. không bao giờ sử dụng disallow để deindex.

Controlling crawling — bảng tra nhanh

Điều gì mỗi control thực ra làm

các mã trạng thái bots care về

• 200 — fetched fine.
• 301/308 — vĩnh viễn chuyển hướng (consolidates).
• 404/410 — đã biến mất; drops từ chỉ mục theo thời gian (410 touch nhanh hơn).
• 429 / 500 / 503 — “chậm xuống” / try sau đó; sustained = crawl drops.

Fast facts

• Googlebot fetch limit: ~2 MB theo URL (PDFs 64 MB), truncated beyond.
• Manual crawl-rate slider trong GSC: đã xóa (Jan 2024) — máy chủ các tín hiệu hiện tại.
• Bing tương đương: Crawl Control grid trong Bing Quản trị viên web Tools.
• IndexNow: Bing/Yandex/others — không Google. lập chỉ mục API: Google, **JobPosting

• BroadcastEvent chỉ**.

Verify bot là thực sự Googlebot

Plenty của traffic claims để là Googlebot. xác nhận nó với reverse + forward DNS kiểm tra (Google publishes không shortcut — fake người dùng-agents là phổ biến).

hoặc làm giống nhau kiểm tra by hand:

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

nếu reverse lookup không end trong Google domain, hoặc forward lookup không match gốc IP, nó không phải Googlebot. Bạn có thể cũng match so với Google published IP ranges (Googlebot.json).

safe robots.txt starting point

User-agent: *
Disallow: /search           # internal search result pages
Disallow: /*?*sort=         # sort-order parameter spaces
Allow: /

Sitemap: https://example.com/sitemap.xml

Remember: Disallow chặn crawling, không lập chỉ mục — không sử dụng nó để xóa trang từ kết quả.

Tools cho seeing và managing crawling

• Google Search Console — Crawl Số liệu báo cáo — Google own view của Cách nó crawl bạn: các yêu cầu theo thời gian, phản hồi codes, average phản hồi time, by file loại và Googlebot loại.
• Bing Quản trị viên web Tools — crawl info, Crawl Control, và trang web Scan.
• máy chủ log file analysis — ground truth. Tools: Screaming Frog Log File Analyser, hoặc pipe nhật ký vào BigQuery / log nền tảng. (See log file analysis.)
• Các crawler / trang web audits — Ahrefs trang web Audit và Screaming Frog SEO Spider simulate crawl, surface depth, chuyển hướng chains, blocked các URL, và trap-như patterns.
• Ahrefs Quản trị viên web Tools — free crawl + audit cho các trang bạn verify.
• URL Inspection (GSC) — kiểm tra Cách single URL là được crawl, được kết xuất, và được lập chỉ mục.

các tài nguyên worth của bạn time

My related writing

• Người mới bắt đầu Hướng dẫn để kỹ thuật SEO — nơi crawling fits trong bigger picture.
• Story của Blocking 2 Cao-Xếp hạng các trang với Robots.txt — my đầu tiên-party crawl-so với-xếp hạng thử nghiệm.
• được lập chỉ mục, though blocked by robots.txt — Vì sao blocked các trang vẫn nhận được lập chỉ mục.
• Robots.txt và SEO: Mọi thứ bạn cần Know.
• JavaScript SEO Các vấn đề & Thực hành tốt nhất — kết xuất side.
• Đáp ứng New Web Các crawler: AI Bots là Closing trong on công cụ tìm kiếm Bots.

My speaking

• Cách Tìm kiếm Hoạt động (SlideShare) — my walkthrough of crawling, kết xuất, lập chỉ mục, và xếp hạng. (My standing disclaimer áp dụng: “This is my understanding of systems… not going to be 100% complete or accurate.” (bản dịch) «Này là my understanding of các hệ thống… không going to là 100% hoàn tất hoặc chính xác.»)

Từ others

• r/TechSEO — đó community cho crawl/chỉ mục gỡ lỗi.
• Google Crawling December series (chính thức, nhưng đó best concentrated set of crawl explainers).
• Google Giải thích Ngân sách crawl cho Quản trị viên web (Search Engine Land) — verbatim reproduction of Gary Illyes’ original crawl-budget post với đó tốc độ crawl limit + crawl demand definitions.
• Googlebot Ngân sách crawl Explained (Search Engine Journal) — đơn giản-language breakdown of đó crawl capacity và demand model.
• Google Giải thích Googlebot Byte Limits và Crawling Architecture (Search Engine Journal) — coverage of đó March 2026 “Inside Googlebot” (bản dịch) «Bên trong Googlebot» cập nhật; 2 MB theo URL, 64 MB PDFs, truncation behavior.
• Cách Bingbot Hoạt động: Discovering, Crawling, Extracting, Lập chỉ mục (Search Engine Journal) — Bing side of đó crawl pipeline, với Fabrice Canel context.
• Googlebot File Size Limit (DebugBear) — giải thích điều gì happens khi một trang exceeds Googlebot’s fetch limit (truncation, không rejection).

Podcasts

• Tìm kiếm Off Record (Google Search Relations) — Cách Googlebot crawl web. Gary Illyes và Martin Splitt on past, present, và tương lai của Googlebot: unified crawling infrastructure, HTTP/1,1 so với HTTP/2, conditional các yêu cầu, và byte limits. Listen

Videos

• Google Search Central (YouTube) — Cách Google Search Hoạt động series và Martin Splitt crawling/kết xuất explainers, including JavaScript SEO videos. Channel

Số liệu worth citing

• AI bots là closing trong on tìm kiếm bots. từ my Cloudflare Radar analysis, tìm kiếm-engine các crawler vẫn crawl phần lớn, nhưng AI bots là clear #2 và on pace để overtake them trong couple của năm. Nguồn
• Tens của billions của normalized các URL không bao giờ seen trước khi là discovered by Bing mỗi day — scale của phát hiện vấn đề engines aggressively filter (Fabrice Canel, Microsoft Bing, 2022). Coverage
• Mà các crawler ~140M các trang block phần lớn — robots.txt block-rate dữ liệu từ my study với Xibeijia Guan; hữu ích cho understanding Cách open web gates bots. Nguồn
• Byte limit: ~2 MB theo URL (PDFs 64 MB) — Google được ghi lại Googlebot fetch limit as của March 2026 (xuống từ 15 MB). Nguồn

Tự kiểm tra: Crawling

Five nhanh các câu hỏi on Cách các công cụ tìm kiếm discover và fetch các trang. Pick câu trả lời cho mỗi, sau đó kiểm tra.

Nhật ký thay đổi