Ngôn ngữ

Web Các crawler

Điều gì một web crawler (spider, bot) thực ra là, cách đó fetch → parse → queue loop hoạt động, và vì sao crawling không đó giống nhau as lập chỉ mục, kết xuất, hoặc xếp hạng.

Xuất bản lần đầu: 24 thg 6, 2026 · Cập nhật lần cuối: 8 thg 8, 2026 · Advanced
Ngôn ngữ
AIĐược viết bởiAI v2
2 tín hiệu bằng chứng trên trang này

Web các crawler — cũng called spiders hoặc bots — là automated programs đó fetch các trang, extract links, và queue new URLs to visit, feeding đó công cụ tìm kiếm chỉ mục. Đó mechanical loop là discover → fetch → parse → schedule, repeated forever. Crawling là giai đoạn một of three (crawl → chỉ mục → serve) và đây là một prerequisite cho xếp hạng, không phải là yếu tố xếp hạng: hơn crawling sẽ không lift của bạn positions. Crawling là cũng distinct từ lập chỉ mục và kết xuất. Reputable các crawler respect robots.txt và throttle themselves; hôm nay đây là không chỉ các công cụ tìm kiếm — AI bots là một lớn và growing share of đó traffic. Cho engine specifics see đó Googlebot, Bingbot, AI các crawler, và người dùng-agent siblings.

TL;DR — MỘT crawler (spider, bot) là an automated program đó discovers, fetches, parses, và re-schedules URLs trong một loop. Google own words: điều này “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (bản dịch) «downloads text, images, và videos từ các trang điều này được tìm thấy on đó internet với automated programs called các crawler.» Đó mechanics là một frontier (đó queue of URLs), một fetch (download đó HTML), một parse (extract links + nội dung), và một scheduler đó decides điều cần fetch tiếp theo và cách fast — throttling on máy chủ của bạn health. Kết xuất JavaScript là một tách biệt step. Crawling là bắt buộc to xếp hạng nhưng không một tín hiệu xếp hạng, và đây là distinct từ lập chỉ mục — một robots-blocked trang có thể vẫn là được lập chỉ mục. Và trong 2026 đây là không chỉ tìm kiếm engines crawling: AI bots là một lớn, fast-growing share of đó traffic.

Điều gì crawler thực ra là

Google definition là về as đơn giản as điều này nhận: điều này “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (bản dịch) «downloads text, images, và videos từ các trang điều này được tìm thấy on đó internet với automated programs called các crawler.» Google own glossary phrasing là even rộng hơn — “a crawler is a generic term for any program that is used to automatically discover and scan websites.” (bản dịch) «một crawler là một generic term cho any program đó là được dùng để tự động discover và scan websites.» Crawler, spider, bot, spiderbot: giống nhau concept, khác nhau name. Evidence for this claim Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Scope: Google crawler terminology. Confidence: high · Verified: Google: Googlebot overview

Đó reason crawling matters tại all là đó pipeline. Google là blunt về điều này: “Google Search works in three stages, and not all pages make it through each stage” (bản dịch) «Google Search hoạt động trong three stages, và không all các trang làm điều này qua mỗi stage» — crawling, lập chỉ mục, và serving. Crawling là gate một. MỘT trang đó là không bao giờ được crawl không thể là được lập chỉ mục, và một trang đó là không được lập chỉ mục không thể xếp hạng.

Cách crawler hoạt động, mechanically

Strip away branding và phần lớn link-sau các crawler chạy some version của giống nhau loop: discover → fetch → parse → schedule → repeat. nó hữu ích mental model cho reasoning về crawler behavior — không bảo đảm đó mỗi crawler bao giờ được xây dựng implements những điều này chính xác stages identically.

Đó frontier (đó queue). MỘT crawler không wander randomly. Điều này giữ một queue of URLs điều này knows về nhưng hasn’t visited tuy vậy — đó crawl frontier — và một scheduler đó decides mà URL to pull off tiếp theo. Điều này bắt đầu từ một seed set of known URLs và grows đó queue as điều này discovers hơn. Google mô tả phát hiện như này: “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” (bản dịch) «Other các trang là discovered khi Google extracts một link từ một known trang to một new trang… Vẫn other các trang là discovered khi bạn submit một list of các trang (một sitemap) cho Google to crawl. Này xử lý là called ‘phát hiện URL.’» Evidence for this claim Google discovers URLs through links from known pages and through submitted sitemaps. Scope: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confidence: high · Verified: Google: How Search works

Fetch. Đó crawler gửi an HTTP yêu cầu; đó máy chủ trả về đó trang. Tại này step đây là downloading đó thô HTML (các tài nguyên như JavaScript và CSS là fetched riêng, thường sau đó). Bing Fabrice Canel frames đó goal of này toàn bộ xử lý cleanly: “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (bản dịch) «Crawling là đó xử lý by mà bingbot discovers new và đã cập nhật documents hoặc nội dung to là đã thêm to Bing searchable chỉ mục.»

Parse. fetched HTML là parsed để pull out links, text, headings, images, và metadata. Newly tìm thấy các URL là normalized và dropped back vào frontier — mà là Điều gì giữ loop going.

Schedule. Điều gì nhận fetched, cách thường, và cách nhiều các trang theo visit là decided algorithmically, không by bạn. Google: “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (bản dịch) «Googlebot dùng an algorithmic xử lý to determine mà các trang to crawl, cách thường, và cách nhiều các trang to fetch từ mỗi site.» Popular và frequently thay đổi các trang nhận revisited sooner; obscure, static ones nhận revisited rarely. (Cách đó schedule là set — ngân sách crawl, tốc độ crawl, crawl frequency — mỗi có của nó own deep dive trong này cluster.)

Evidence for this claim Googlebot algorithmically determines which sites to crawl, how often, and how many pages to fetch. Scope: web Confidence: high · Verified: In-Depth Guide to How Google Search Works

”Googlebot” không phải một program

Đây là insight phần lớn explainers miss. “Googlebot” sounds như single program; nó không phải. Trong my Cách Tìm kiếm Hoạt động deck I mô tả nó as 1 000+ các hệ thống đang chạy family của specialized các crawler — desktop, mobile, image, news, video, quảng cáo — all drawing từ giống nhau ngân sách crawl pool. Gary Illyes có đã làm giống nhau point từ bên trong: name là essentially misnomer cho central crawling nền tảng đó nhiều Google các sản phẩm (Shopping, AdSense, và rest) route của họ các yêu cầu qua, under khác người dùng-agent names. So Khi bạn đọc của bạn nhật ký, bạn’re không watching một bot — bạn’re watching fleet đó happens để share label. ( engine-cụ thể details trực tiếp trong Googlebot và Bingbot siblings.)

Politeness — Cách các crawler tránh taking xuống của bạn trang web

MỘT well-behaved crawler có chủ ý throttles itself. Google: “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (bản dịch) «They try không to crawl đó site cũng fast to tránh overloading điều này. Này mechanism là dựa trên đó các phản hồi of đó site (ví dụ, HTTP 500 các lỗi có nghĩa là ‘chậm xuống’).» đó là cũng đó lever behind temporarily slowing một crawl — sustained 5xx/429 các phản hồi làm Googlebot back off (cho một day hoặc hai, không forever). Politeness không tùy chọn courtesy; tại đó scale các crawler operate, đây là điều duy nhất giữ them từ hammering các máy chủ off đó web.

Robots.txt — tiêu chuẩn crawl control

robots.txt là đó de facto access-control convention. Google: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (bản dịch) «MỘT robots.txt file tells công cụ tìm kiếm các crawler mà URLs đó crawler có thể access trên trang web của bạn.» Hai điều to giữ straight:

  • Điều này controls crawling, không lập chỉ mục. MỘT trang bạn disallow có thể vẫn là được lập chỉ mục nếu other các trang link to điều này — Google chỉ không thể see đó nội dung (hoặc any noindex tag bạn put ở đó). As I put điều này trong Được lập chỉ mục, though blocked by robots.txt: “crawling and indexing are two different things.” (bản dịch) «crawling và lập chỉ mục là hai khác nhau điều.» To thực ra xóa một trang, cho phép crawling và thêm noindex — không block điều này.
  • Reputable các crawler obey điều này; bad actors không. Googlebot, Bingbot, Ahrefsbot và đó như respect robots.txt; nhiều scrapers và disreputable bots bỏ qua điều này hoàn toàn. đây là một convention, không an enforcement mechanism.

I tested đó blocking side trực tiếp. Trong Đó Story of Blocking 2 Cao-Xếp hạng Các trang Với Robots.txt I blocked hai of của chúng ta xếp hạng các trang cho nearly five months. They lost all của họ featured snippets và của họ custom các tiêu đề (kết quả showed “no information is available” (bản dịch) «không information là khả dụng»), và clicks dropped hơn position alone sẽ giải thích — nhưng đó traffic estimate barely moved. My takeaway stands: không block các trang bạn muốn được lập chỉ mục. Điều này hurts. Không as bad as bạn có thể think điều này làm — nhưng điều này vẫn hurts.

Crawl ≠ chỉ mục ≠ render ≠ xếp hạng

distinctions đó nguyên nhân phần lớn confusion:

  • Crawling ≠ lập chỉ mục. Crawling là fetch + download; lập chỉ mục là understand + store. MỘT trang có thể là được crawl và không được lập chỉ mục (Google chose không to bao gồm điều này), và một blocked trang có thể là được lập chỉ mục không có bao giờ đang đọc. “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (bản dịch) «Lập chỉ mục không guaranteed; không mỗi trang đó Google xử lý sẽ là được lập chỉ mục.»
  • Crawling ≠ kết xuất. Fetching đó HTML và đang chạy của nó JavaScript là hai khác nhau steps. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome,” (bản dịch) «During đó crawl, Google renders đó trang và chạy any JavaScript điều này tìm thấy dùng một gần đây version of Chrome,» nhưng đó kết xuất happens trong một tách biệt queue đó có thể lag behind đó ban đầu fetch. Nếu nội dung của bạn chỉ xuất hiện sau JavaScript chạy, điều này không khả dụng trong đó giống nhau truyền as đó HTML.
  • Crawling ≠ xếp hạng. Đang được crawl hơn thường không phải một tín hiệu xếp hạng. Crawl rate là an efficiency concern, đầy đủ dừng — mà là vì sao hầu hết các trang không bao giờ cần to manage ngân sách crawl tại all.

Types của các crawler (cao level)

Giữ điều này brief — mỗi có sibling đó goes deep:

  • công cụ tìm kiếm các crawler — Googlebot, Bingbot. họ xây dựng indexes đó power kết quả tìm kiếm.
  • AI / LLM các crawler — GPTBot, ClaudeBot, CCBot, và others, gathering web nội dung để train hoặc power AI models. Growing fast (see dưới).
  • SEO audit các crawler — Ahrefs trang web Audit, Screaming Frog, và similar tools đó simulate crawl để surface kỹ thuật các vấn đề.
  • Người dùng-triggered fetchers — tools đó làm single yêu cầu on demand (Google URL Inspection tool, Rich Kết quả Kiểm thử). không autonomous các crawler.

Ai crawling web hiện tại

nó không lâu hơn chỉ các công cụ tìm kiếm. Trong my analysis của Cloudflare Radar dữ liệu (Đáp ứng New Web Các crawler), tìm kiếm-engine bots vẫn crawl phần lớn, nhưng AI bots là firmly trong thứ hai place. scale ở đây là hard để overstate: Bing alone discovers tens của billions của normalized các URL nó không bao giờ seen trước khi mỗi single day (Fabrice Canel) — mà là chính xác Vì sao engines có để aggressively prioritize Điều gì họ thực ra fetch.

Cách verify crawler là ai nó claims để là

bất kỳ bot có thể put “Googlebot” trong của nó người dùng-agent string, so không trust string alone. thực kiểm tra là reverse + forward DNS lookup (see Scripts tab): reverse-DNS IP từ của bạn nhật ký, xác nhận nó resolves để googlebot.com / google.com hostname, sau đó forward-DNS đó hostname và xác nhận nó points back để giống nhau IP. Google cũng publishes của nó IP ranges. đầy đủ theo-engine người dùng-agent details trực tiếp trong người dùng-agent sibling.

nơi để go tiếp theo

Đây là chung-concept trang. cho specifics:

  • Googlebot — Google crawler: người dùng-agents, mobile-đầu tiên crawling, kết xuất, Search Console Crawl Số liệu.
  • Bingbot — Bing crawler: Crawl Control và IndexNow.
  • AI các crawler — GPTBot, ClaudeBot, CCBot, và newer agentic bots.
  • Người dùng-agent — Điều gì người dùng-agent string là và Cách đọc nó.
  • Crawling hub — toàn bộ pipeline, plus ngân sách crawl, tốc độ crawl, crawl frequency, crawl depth, spider traps, và log file analysis.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.