Hướng dẫn về Googlebot

Tóm tắt — Googlebot là Google web crawler — program đó visits của bạn các trang, downloads them, và hands them off so Google có thể chỉ mục và xếp hạng them. có hai của them ( smartphone một và desktop một), và smartphone một làm phần lớn của hoạt động. là được crawl là requirement để hiển thị lên trong tìm kiếm — nhưng getting được crawl nhiều hơn không làm bạn xếp hạng cao hơn.

Điều gì Googlebot là

Google không browse web way bạn làm. nó gửi out automated program — crawler, hoặc bot — đó visits các trang, downloads Điều gì on them, và follows links để tìm nhiều hơn các trang. đó program là Googlebot. (Bing tương đương là Bingbot.)

I mô tả điều này đơn giản trong my Ahrefs hướng dẫn để Googlebot: “Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web.” (bản dịch) «Googlebot là đó web crawler dùng by Google để gather đó information needed và xây dựng một searchable chỉ mục of đó web.» Mọi thứ Google cho thấy bạn trong kết quả tìm kiếm đã bắt đầu với Googlebot fetching đó trang.

có thực ra hai Googlebots

Googlebot xuất hiện trong hai flavors:

• Googlebot Smartphone — pretends để là ai đó on phone. Đây là main một. Google mostly xem xét mobile version của bạn trang web (đó được gọi là mobile-đầu tiên lập chỉ mục), so phần lớn crawl come từ smartphone bot.
• Googlebot Desktop — pretends để là ai đó on desktop computer. nó làm nhỏ hơn share của crawling.

Ở đây đó catch: trong của bạn robots.txt file (đó file đó tells bots nơi they có thể go), cả hai share đó giống nhau name — Googlebot. So bạn không thể tell robots.txt “let the desktop one in but not the mobile one.” (bản dịch) «let đó desktop một trong nhưng không đó mobile một.» đây là all-hoặc-không có gì.

Làm Googlebot chạy JavaScript?

Có. Googlebot dùng một gần đây version of Chrome dưới đó hood, so điều này có thể đọc modern, JavaScript-nặng các trang. As I put điều này trong my Googlebot hướng dẫn: “Googlebot is evergreen, meaning it sees websites as users would in the latest Chrome browser.” (bản dịch) «Googlebot là evergreen, meaning điều này sees websites as người dùng sẽ trong đó latest Chrome trình duyệt.» Nhưng đang chạy đó JavaScript happens một little sau đó, trong một tách biệt step — không đó instant trang của bạn là đầu tiên fetched.

hai điều mọi người nhận sai

1. Crawling không phải xếp hạng. Getting được crawl nhiều hơn thường sẽ không move bạn lên kết quả. Crawling là chỉ Cách Google tìm thấy và downloads của bạn trang — nó gate bạn có để nhận qua, không scoreboard.
2. Blocking Googlebot trong robots.txt không delete bạn từ Google. nó chỉ dừng Google từ reading trang. nếu khác các trang link để nó, URL có thể vẫn hiển thị lên trong kết quả (chỉ không có hữu ích mô tả). để thực ra giữ trang out, bạn let Google crawl nó và thêm noindex tag.

Muốn kỹ thuật version — chính xác người dùng-agent strings, Cách verify thực Googlebot, byte limits, và kết xuất queue? Switch để Nâng cao tab.

Tóm tắt — Googlebot là Google Search’s crawler, split vào Smartphone (chính, mobile-đầu tiên) và Desktop, mà share một Googlebot robots.txt token — Bạn có thể’t đích them riêng. nó chạy evergreen Chromium và renders JavaScript trong tách biệt, sau đó queue (crawl ≠ render). Crawling là bắt buộc để xếp hạng nhưng là không tín hiệu xếp hạng, và robots-blocked URL có thể vẫn là được lập chỉ mục URL-chỉ. Verify nó by reverse + forward DNS để Google domain hoặc so với Google published IP ranges — người dùng-agent là trivially spoofed. và “Googlebot” là thực sự chỉ Tìm kiếm-facing slice của nhiều bigger crawling nền tảng.

Điều gì Googlebot thực ra là

Google là precise về đó name: “Googlebot is the generic name for two types of web crawlers used by Google Search.” (bản dịch) «Googlebot là đó generic name cho hai types of web các crawler dùng by Google Search.» Những hai types là Googlebot Smartphone (“a mobile crawler that simulates a user on a mobile device” (bản dịch) «một trình thu thập di động mô phỏng người dùng trên thiết bị di động») và Googlebot Desktop (“a desktop crawler that simulates a user on desktop” (bản dịch) «một trình thu thập máy tính mô phỏng người dùng trên máy tính»).

Điều này không phải một little program đang chạy on một machine. “Googlebot runs on thousands of machines,” (bản dịch) «Googlebot chạy on thousands of machines,» as I mô tả điều này trong my Googlebot hướng dẫn, “they determine how fast and what to crawl on websites,” (bản dịch) «they determine cách fast và điều cần crawl on websites,» distributed trên datacenters worldwide nhưng egressing primarily từ US IP addresses. Phát hiện happens mostly qua links — Google tìm thấy new URLs “primarily from links embedded in previously crawled pages” (bản dịch) «primarily từ links embedded trong previously được crawl các trang» — plus sitemaps. (Cho đó đầy đủ phát hiện và scheduling picture, đó là đó crawling hub job.)

Smartphone so với Desktop — và vì sao đây là “smartphone-first” (bản dịch) «smartphone-đầu tiên»

Dưới mobile-đầu tiên lập chỉ mục, đó smartphone crawler là đó chính một. Google: “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” (bản dịch) «Đối với hầu hết trang web Google Search primarily indexes đó mobile version of đó nội dung. As such đó majority of Googlebot các yêu cầu crawl sẽ là đã làm dùng đó mobile crawler, và một minority dùng đó desktop crawler.» Mobile-đầu tiên lập chỉ mục đã được hoàn tất cho all các trang since October 2023, so đó practical rule là: nếu nội dung không visible để đó smartphone agent, điều này không được lập chỉ mục. Match nội dung của bạn, dữ liệu có cấu trúc, metadata, và robots tags trên mobile và desktop.

Đó robots.txt gotcha: “Both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.” (bản dịch) «Cả hai crawler types obey đó giống nhau sản phẩm token (người dùng agent token) trong robots.txt, và so bạn không thể selectively đích either Googlebot Smartphone hoặc Googlebot Desktop dùng robots.txt.» Đó chỉ way để differentiate là để đọc đó HTTP user-agent header yêu cầu trong của bạn own máy chủ-side logic. (Cho đó mechanics of đó header format, see mobile-đầu tiên lập chỉ mục và người dùng-agent.)

người dùng-agent strings

robots.txt sản phẩm token cho cả hai là chỉ Googlebot. đầy đủ UA strings differ:

Googlebot Desktop:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

W.X.Y.Z là placeholder cho hiện tại Chrome version, mà moves as Googlebot’s evergreen Chromium là đã cập nhật. không trust string on của nó own, though — nó trivially spoofed (see verification dưới).

Evergreen Chromium và kết xuất queue

Này là đó phân biệt đó trips mọi người lên hầu hết: crawling và kết xuất là tách biệt steps. Googlebot chạy “an evergreen version of Chromium,” (bản dịch) «an evergreen version of Chromium,» và điều này trở thành evergreen back trong Có thể 2019 (jumping từ đó old Chrome 41 để hiện tại ổn định), mà là vì sao điều này hiện tại xử lý ES6+, IntersectionObserver, Web Components, và modern CSS. Nhưng điều này không execute của bạn JavaScript đó moment điều này fetches đó HTML.

Google: “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page. The page may stay on this queue for a few seconds, but it can take longer than that. Once Google’s resources allow, a headless Chromium renders the page and executes the JavaScript.” (bản dịch) «Googlebot queues all các trang với một 200 HTTP mã trạng thái cho kết xuất, trừ khi một robots meta tag hoặc header tells Google không để chỉ mục đó trang. Đó trang có thể stay on này queue cho vài seconds, nhưng điều này có thể take lâu hơn đó. Khi Google các tài nguyên cho phép, một headless Chromium renders đó trang và executes đó JavaScript.» Đó kết xuất service (WRS) behaves như một modern trình duyệt nhưng với quirks worth knowing: đây là effectively stateless — local/session storage và cookies là cleared trên trang loads — điều này không fetch images hoặc videos (để save bandwidth), caches aggressively (và có thể bỏ qua của bạn bộ nhớ đệm các header), và không hỗ trợ WebSockets hoặc WebRTC. Nếu nội dung của bạn chỉ xuất hiện sau một nhấp hoặc một JS-driven navigation đó không một real <a href> link, expect kết xuất trouble. (Depth lives trong đó kết xuất sibling.)

Byte limits

Googlebot không download an unlimited amount theo URL. As of Google March 2026 Bên trong Googlebot cập nhật, điều này fetches khoảng đó đầu tiên 2 MB of bất kỳ individual URL (including đó HTTP header) và lên để 64 MB cho một PDF. Đó hình là một moving đích — Google own cách diễn đạt là đó “this limit is not set in stone and may change over time as the web evolves and HTML pages grow in size,” (bản dịch) «này limit không phải set trong stone và có thể thay đổi theo thời gian as đó web evolves và HTML các trang grow trong size,» và trước đó tài liệu listed 15 MB (mà turned out để là đó rộng hơn infrastructure default, không Tìm kiếm number). Đó practical point holds regardless: bất cứ điều gì past đó cutoff đơn giản không fetched — “to Googlebot, they simply don’t exist.” (bản dịch) «để Googlebot, they đơn giản không exist.» Giữ cốt yếu nội dung và markup trên đó bloat.

Worked thất bại: canonical tồn tại, nhưng Googlebot không bao giờ nhận nó

Imagine sản phẩm template returning 2,4 MB của HTML. application serializes huge sản phẩm-state object và khuyến nghị payload near top của document; canonical, sản phẩm mô tả, dữ liệu có cấu trúc, và related-sản phẩm links làm không xuất hiện cho đến khi khoảng byte 2 180 000. trình duyệt downloads toàn bộ phản hồi, so View Nguồn looks đúng. Googlebot Tìm kiếm dừng khoảng của nó được ghi lại 2 MB limit, so những điều đó sau đó các tín hiệu không exist trong fetched tài nguyên.

Diagnose phản hồi trong byte order, không chỉ trong được kết xuất DOM:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

local byte được tính là approximation vì phân phối intermediaries và phản hồi xử lý có thể differ, nhưng họ câu trả lời hữu ích đầu tiên câu hỏi: là cốt yếu các tín hiệu comfortably sớm, hoặc là họ sitting near hoặc beyond boundary? khắc phục là để xóa hoặc defer oversized inline dữ liệu và emit essential metadata, chính nội dung, và crawlable links sớm—không để move giống nhau bloat khoảng và hope cutoff thay đổi.

Cách Googlebot fetches — politely

• Tốc độ crawl là algorithmic và self-throttling. “For most sites, Googlebot shouldn’t access your site more than once every few seconds on average.” (bản dịch) «Đối với hầu hết trang web, Googlebot không nên access trang web của bạn hơn khi mỗi một vài seconds on average.» Điều này speeds lên hoặc backs off dựa trên máy chủ của bạn health.
• Các mã trạng thái là đó lever. Returning 429, 500, hoặc 503 tells Googlebot để chậm xuống — nhưng đó ảnh hưởng đó entire hostname, không chỉ đó erroring URLs, và chỉ hoạt động cho một day hoặc hai trước sustained các lỗi bắt đầu dropping các trang từ đó chỉ mục. John Mueller: “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts,” (bản dịch) «I’d chỉ expect đó tốc độ crawl để react đó quickly nếu they đã là returning 429 / 500 / 503 / timeouts,» và “404s are generally fine & once discovered, Googlebot will retry them anyway.” (bản dịch) «404s là generally fine & khi discovered, Googlebot sẽ retry them anyway.»
• crawl-delay là đã bỏ qua. Google không xử lý đó non-tiêu chuẩn crawl-delay robots.txt directive tại all. (Bing làm honor điều này — một of đó real Googlebot/Bingbot divergences.)
• Crawling tracks crawl demand, không một flat quota — capacity (điều gì máy chủ của bạn có thể take) plus demand (popularity và staleness). Đối với hầu hết trang web này là một non-vấn đề; điều này chỉ bites tại real quy mô. Đó đầy đủ treatment là trong ngân sách crawl.

Verifying nó thực sự Googlebot

Người dùng-agent header là “often spoofed by other crawlers” (bản dịch) «thường spoofed by other các crawler» — so điều này alone proves không có gì. Google các crawler identify themselves three ways: người dùng-agent header, đó nguồn IP, và đó reverse-DNS hostname of đó IP. Hai real verification các phương thức:

1. Manual (một-off). Reverse-DNS nguồn IP; xác nhận nó resolves để hostname ending trong googlebot.com, google.com, hoặc googleusercontent.com ( mask looks như crawl-***-***-***-***.googlebot.com); sau đó forward-DNS đó hostname và xác nhận nó trả về gốc IP.
2. Tự động (tại quy mô). Match IP so với Google published CIDR ranges. Google có split những điều này từ old single googlebot.json vào several JSON files by crawler category — Googlebot một là https://www.gstatic.com/ipranges/common-crawlers.json ( legacy googlebot.json URL vẫn các chuyển hướng để giống nhau dữ liệu).

Cả hai là trong đó Scripts tab, cho macOS/Linux và Windows. Vì sao bother? Plenty of traffic lies về đang Googlebot, so logs đó “show Googlebot” (bản dịch) «cho thấy Googlebot» có thể là largely impostors — verify trước khi bạn trust.

Googlebot là một bot trong fleet

“Googlebot” là genuinely một bit of một misnomer. Gary Illyes, March 2026: “I mean, calling it Googlebot, that’s a misnomer,” (bản dịch) «I có nghĩa là, calling điều này Googlebot, đó là một misnomer,» và “Googlebot is not our crawler infrastructure.” (bản dịch) «Googlebot không phải của chúng ta crawler infrastructure.» Đó infrastructure underneath, trong his words, là “software as a service, if you like. SaaS” (bản dịch) «software as một service, nếu bạn như. SaaS» — một shared nền tảng nhiều Google các sản phẩm draw từ. Điều gì bạn see trong của bạn logs là đó Tìm kiếm slice of điều này: “When you see Googlebot in your server logs, you are just looking at Google Search.” (bản dịch) «Khi bạn see Googlebot trong máy chủ của bạn logs, bạn là chỉ looking tại Google Search.» He cũng notes có “dozens, if not hundreds of different crawlers,” (bản dịch) «dozens, nếu không hundreds of khác nhau các crawler,» hầu hết cũng nhỏ để bother documenting.

named ones bạn’ll thực ra đáp ứng alongside Googlebot bao gồm Googlebot-Image, Googlebot-Video, và Googlebot-News (mà share Googlebot’s strings/tokens), Storebot-Google, và Google-InspectionTool (powers URL Inspection và Rich Kết quả tools). Hai behave unusually: AdsBot bỏ qua global * robots.txt rule ( Disallow: / dưới User-agent: * vẫn sẽ không dừng nó), và Google-Safety bỏ qua robots.txt hoàn toàn. AI-related các crawler — Google-Extended (controls Gemini training; không tín hiệu xếp hạng) và GoogleOther (R&D crawl, offloaded từ Googlebot) — exist cũng, nhưng AI các crawler sibling covers những điều đó trong depth, so I’ll point ở đó thay vì duplicate.

Cách control Googlebot

Three controls, three khác effects:

• robots.txt dừng crawling, không lập chỉ mục. sử dụng nó để giữ bots out của thấp-giá trị URL spaces — không bao giờ as deindexing tool.
• noindex dừng lập chỉ mục — nhưng Googlebot phải là được phép để crawl trang để see tag trong đầu tiên place.
• Password protection chặn access hoàn toàn.

Mà brings us để đó single hầu hết misunderstood Googlebot fact: “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” (bản dịch) «có một khác biệt giữa crawling và lập chỉ mục; blocking Googlebot từ crawling một trang không ngăn đó URL of đó trang từ appearing trong kết quả tìm kiếm.» MỘT robots-blocked URL có thể vẫn nhận được lập chỉ mục URL-chỉ nếu điều gì đó links để điều này. Để thực ra xóa một trang, cho phép crawling và thêm noindex. I’ve được viết này lên trong detail trong Được lập chỉ mục, though blocked by robots.txt.

cho wider pipeline Googlebot lives bên trong — phát hiện URL, crawl scheduler, kết xuất, và crawl-so với-chỉ mục-so với-xếp hạng distinctions — see crawling hub và Cách Tìm kiếm Hoạt động.

AI summary

condensed take on Nâng cao version:

• Googlebot = Google Search’s web crawler, trong hai variants: Smartphone (chính, dưới mobile-đầu tiên lập chỉ mục) và Desktop. They share một Googlebot robots.txt token, so bạn không thể đích them riêng — chỉ qua đó HTTP người dùng-agent header.
• Mobile-đầu tiên since Oct 2023: nếu nội dung không visible để đó smartphone agent, điều này không được lập chỉ mục.
• Evergreen Chromium, tách biệt kết xuất queue: Googlebot chạy hiện tại Chromium nhưng executes JavaScript sau đó, trong một stateless render step (storage/cookies cleared; không images/video fetched; aggressive bộ nhớ đệm). Crawl ≠ render.
• Byte limit ~2 MB theo URL (PDFs 64 MB) as of 2026 — nội dung beyond đó cutoff không fetched. Đó chính xác hình là “not set in stone.” (bản dịch) «không set trong stone.»
• Polite, algorithmic fetching: 429/5xx chẳng hạn “chậm xuống” (hostname-wide, ngắn-term); crawl-delay là đã bỏ qua (Bing honors điều này).
• Crawling ≠ xếp hạng, và robots-block ≠ deindex — một blocked URL có thể vẫn là được lập chỉ mục URL-chỉ. Xóa các trang với noindex (crawling được phép), không robots.txt.
• Verify by reverse + forward DNS để *.googlebot.com/*.google.com/ *.googleusercontent.com, hoặc so với Google published IP ranges (common-crawlers.json) — người dùng-agent là trivially spoofed.
• “Googlebot” là một fleet, không một program — đó Tìm kiếm-facing slice of một lớn hơn crawling nền tảng, alongside Googlebot-Image/Video/News, Google-InspectionTool, AdsBot (bỏ qua *), Google-Safety (bỏ qua robots.txt), và đó AI các crawler (Google-Extended, GoogleOther — see đó AI các crawler sibling).

Tài liệu chính thức

Chính-nguồn tài liệu từ các công cụ tìm kiếm.

Google

• Googlebot — đó canonical doc: đó hai crawler types, UA strings, byte limits, và crawl/chỉ mục controls. Bắt đầu ở đây.
• Overview of Google các crawler và fetchers — mỗi Google người dùng-agent, đó three crawler categories, và đó published IP ranges.
• Google phổ biến các crawler — đó đầy đủ UA-string và robots-token reference cho Googlebot và của nó siblings.
• Verify Google các crawler và fetchers — reverse/forward DNS và đó JSON IP-range files.
• Mobile-đầu tiên lập chỉ mục thực hành tốt nhất — vì sao Smartphone là chính và điều cần giữ consistent.
• JavaScript SEO basics — đó evergreen Chromium renderer và đó kết xuất queue.
• Cách HTTP các mã trạng thái ảnh hưởng Google các crawler — cách 2xx/3xx/4xx/429/5xx thay đổi crawl behavior.
• Bên trong Googlebot (March 2026) — đó hiện tại byte limits và “Googlebot is just Google Search” (bản dịch) «Googlebot là chỉ Google Search» cách diễn đạt.

Bing / Microsoft (cho contrast)

• Bingbot crawl control — Bing manual crawl scheduling và của nó crawl-delay hỗ trợ, mà Googlebot không có.

Quotes từ nguồn

On—record statements từ Google. mỗi link là deep link đó jumps để quoted passage on nguồn trang.

Google — Điều gì Googlebot là

• “Googlebot is the generic name for two types of web crawlers used by Google Search.” (bản dịch) «Googlebot là đó generic name cho hai types of web các crawler dùng by Google Search.» — Google Search Central tài liệu. Nhảy đến trích dẫn
• “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” (bản dịch) «Đối với hầu hết trang web Google Search primarily indexes đó mobile version of đó nội dung. As such đó majority of Googlebot các yêu cầu crawl sẽ là đã làm dùng đó mobile crawler, và một minority dùng đó desktop crawler.» Nhảy đến trích dẫn
• “Google uses the mobile version of a site’s content, crawled with the smartphone agent, for indexing and ranking.” (bản dịch) «Google dùng đó mobile version of một site nội dung, được crawl với đó smartphone agent, cho lập chỉ mục và xếp hạng.» Nhảy đến trích dẫn

Google — kết xuất và byte limits

• “While Google Search runs JavaScript with an evergreen version of Chromium, there are a few things that you can optimize.” (bản dịch) «Trong khi Google Search chạy JavaScript với an evergreen version of Chromium, có vài điều đó bạn có thể optimize.» Nhảy đến trích dẫn
• “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page.” (bản dịch) «Googlebot queues all các trang với một 200 HTTP mã trạng thái cho kết xuất, trừ khi một robots meta tag hoặc header tells Google không để chỉ mục đó trang.» Nhảy đến trích dẫn
• “Googlebot crawls the first 2MB of a supported file type, and the first 64MB of a PDF file.” (bản dịch) «Googlebot crawl đó đầu tiên 2MB of một supported file loại, và đó đầu tiên 64MB of một PDF file.» Nhảy đến trích dẫn

Google — crawl so với chỉ mục

• “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” (bản dịch) «có một khác biệt giữa crawling và lập chỉ mục; blocking Googlebot từ crawling một trang không ngăn đó URL of đó trang từ appearing trong kết quả tìm kiếm.» — Google Search Central tài liệu. Nhảy đến trích dẫn

Gary Illyes, Google (reported qua công cụ tìm kiếm Journal và Google March 2026 blog post)

• “I mean, calling it Googlebot, that’s a misnomer.” (bản dịch) «I có nghĩa là, calling điều này Googlebot, đó là một misnomer.» … “Googlebot is not our crawler infrastructure.” (bản dịch) «Googlebot không phải của chúng ta crawler infrastructure.» … “it’s software as a service, if you like. SaaS.” (bản dịch) «đây là software as một service, nếu bạn như. SaaS.» Đọc bài đưa tin
• “When you see Googlebot in your server logs, you are just looking at Google Search.” (bản dịch) «Khi bạn see Googlebot trong máy chủ của bạn logs, bạn là chỉ looking tại Google Search.» Đọc bài đưa tin

John Mueller, Google (qua công cụ tìm kiếm Journal Reddit coverage)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts.” (bản dịch) «I’d chỉ expect đó tốc độ crawl để react đó quickly nếu they đã là returning 429 / 500 / 503 / timeouts.» … “404s are generally fine & once discovered, Googlebot will retry them anyway.” (bản dịch) «404s là generally fine & khi discovered, Googlebot sẽ retry them anyway.» Đọc bài đưa tin

Googlebot readiness checklist

nhanh truyền để xác nhận Googlebot có thể tìm, fetch, render, và correctly xử lý của bạn các trang:

• quan trọng nội dung là reachable qua thực <a href> links (không nhấp-chỉ hoặc JS-driven navigation renderer có thể’t follow).
• Mobile và desktop versions match — giống nhau nội dung, dữ liệu có cấu trúc, metadata, và robots tags (mobile-đầu tiên có nghĩ là smartphone agent view là Điều gì được tính).
• Cốt yếu nội dung và markup sit trên ~2 MB fetch cutoff; PDFs dưới 64 MB.
• robots.txt không block bất cứ điều gì bạn muốn được lập chỉ mục — và bạn’re không sử dụng nó để try để deindex (đó noindex’s job, với crawling được phép).
• máy chủ trả về fast, ổn định các phản hồi — minimal 5xx/429/timeouts, since những điều đó throttle crawling hostname-wide.
• bạn’re không relying on crawl-delay (Google bỏ qua nó).
• máy chủ nhật ký là checked với verified Googlebot (reverse + forward DNS hoặc IP ranges) — không thô người dùng-agent matches, mà impostors spoof.
• bạn understand robots-blocked URL có thể vẫn là được lập chỉ mục URL-chỉ nếu linked để.

Googlebot — bảng tra nhanh

** hai crawler types**

robots.txt sản phẩm token (cả hai): Googlebot

khác Google các crawler bạn’ll see trong nhật ký

Fast facts

• Fetch limit: ~2 MB theo URL (PDFs 64 MB), as of 2026 — beyond điều này không fetched. (“Not set in stone.” (bản dịch) «Không set trong stone.»)
• Renders với evergreen Chromium, trong một tách biệt, sau đó queue (crawl ≠ render).
• crawl-delay: đã bỏ qua by Google (Bing honors điều này).
• 429/5xx: tạm thời “chậm xuống” — ảnh hưởng đó toàn bộ hostname.
• Verify với reverse + forward DNS hoặc published IP ranges — không bao giờ đó UA string alone.
• Crawling là không một xếp hạng factor; robots-block là không deindexing.

Verify bot là thực sự Googlebot

người dùng-agent header là trivially spoofed, so xác nhận với reverse-DNS lookup (phải end trong Google domain) followed by forward-DNS lookup (phải resolve back để giống nhau IP).

macOS / Linux

# 1) Reverse-DNS the IP from your logs — it should end in
#    googlebot.com, google.com, or googleusercontent.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

nếu reverse lookup không end trong Google domain, hoặc forward lookup không match gốc IP, nó không phải Googlebot.

Verify tại quy mô so với Google IP ranges

cho lớn-quy mô kiểm tra, match nguồn IPs so với Google published CIDR ranges thay vì đang làm theo-yêu cầu DNS. Google split old single googlebot.json vào several files by category — Googlebot lives trong common-crawlers.json:

# Fetch the current Googlebot (common crawlers) ranges
curl -s https://www.gstatic.com/ipranges/common-crawlers.json
# The legacy URL still works and redirects to the same data:
# https://developers.google.com/static/search/apis/ipranges/googlebot.json

Load CIDR prefixes từ đó JSON và kiểm thử mỗi logged IP cho membership trước khi trusting bất kỳ “Googlebot” hit.

các tài nguyên worth của bạn time

My related writing

• Điều gì là Googlebot & Cách Làm nó Hoạt động? — my đầy đủ Ahrefs hướng dẫn on Googlebot, với crawl/control/verify detail.
• Đáp ứng New Web Các crawler: AI Bots là Closing trong on công cụ tìm kiếm Bots — Cách Googlebot stacks lên so với AI các crawler by share và speed.
• JavaScript SEO Các vấn đề & Thực hành tốt nhất — kết xuất side của Điều gì Googlebot làm.
• được lập chỉ mục, though blocked by robots.txt — Vì sao robots-blocked URL có thể vẫn là được lập chỉ mục.
• Người mới bắt đầu Hướng dẫn để kỹ thuật SEO — nơi Googlebot fits trong bigger picture.

My speaking

• Cách Tìm kiếm Hoạt động (SlideShare) — my walkthrough of crawling, kết xuất, lập chỉ mục, và xếp hạng. (Standing disclaimer áp dụng: “This is my understanding of systems… not going to be 100% complete or accurate.” (bản dịch) «Này là my understanding of các hệ thống… không going để là 100% hoàn tất hoặc chính xác.»)

Từ others

• Google Crawling December series — đó best concentrated set of chính thức crawl explainers.
• r/TechSEO — đó community cho crawl/chỉ mục gỡ lỗi.
• Googlebot: Điều gì điều này là, cách nó hoạt động & cách optimize (Search Engine Land) — thorough practical hướng dẫn với SEL editorial depth; good cho một second opinion on đó basics.
• Google giải thích cách crawling hoạt động trong 2026 (Barry Schwartz, Search Engine Land) — solid ghi-lên of Gary Illyes March 2026 Bên trong Googlebot post, including đó 2 MB byte-limit clarification.
• Google Says They Deploy Hundreds of Undocumented Các crawler (Search Engine Journal) — covers Gary Illyes “calling it Googlebot is a misnomer” (bản dịch) «calling điều này Googlebot là một misnomer» remarks trong depth.
• Là Google Hai Waves of Lập chỉ mục Over? (Onely) — Martin Splitt on-record conversation về đó crawl-thì-render queue và cách đó khoảng trống là shrinking; vẫn đó clearest ngành treatment of WRS timing.
• Google Reveals JavaScript Kết xuất Secrets tại Chrome Dev Summit 2018 (Lumar) — detailed notes on WRS stateless behavior (cookies/localStorage cleared, không image fetches, WebSockets unsupported) đó là vẫn relevant hôm nay.
• Từ Googlebot để GPTBot: Ai crawling trang web của bạn? (Cloudflare blog) — Cloudflare Radar dữ liệu on crawler share và speed cho thấy Googlebot leading “good bot” traffic.
• Đã là Đó Thực sự một Google Bot Crawling My Site? (Imperva Research) — dữ liệu-được hỗ trợ xem Googlebot impersonation; context cho vì sao DNS verification matters.

Số liệu worth citing

• Googlebot là đó fastest crawler on đó web. Từ my đọc of Cloudflare Radar dữ liệu: “Googlebot is the fastest crawler on the web according to Cloudflare Radar, with Ahrefsbot being the 2nd fastest.” (bản dịch) «Googlebot là đó fastest crawler on đó web theo Cloudflare Radar, với Ahrefsbot đang đó 2nd fastest.» Nguồn
• AI bots là closing trong on tìm kiếm bots. Từ my Cloudflare Radar analysis, tìm kiếm-engine các crawler (Googlebot among them) vẫn crawl đó hầu hết, nhưng AI bots là một clear #2 và on pace để overtake them trong một couple of năm. Nguồn
• Byte limit: ~2 MB theo URL (PDFs 64 MB) — Google được ghi lại Googlebot fetch limit as of 2026, với đó rõ ràng caveat đó hình không fixed. Nguồn

Googlebot mistakes để tránh

sử dụng robots.txt để try để deindex trang. robots.txt dừng crawling, không lập chỉ mục. robots-blocked URL có thể vẫn hiển thị lên trong kết quả (được lập chỉ mục URL-chỉ) nếu điều gì đó links để nó. Làm thay vì: let Google crawl trang và thêm noindex tag — đó chỉ reliable way để xóa nó.

Trying để đích desktop hoặc smartphone crawler riêng trong robots.txt. Cả hai share single Googlebot sản phẩm token, so rule được viết cho một áp dụng để cả hai. Làm thay vì: nếu bạn cần khác behavior theo device, đọc HTTP user-agent yêu cầu header trong của bạn own máy chủ-side logic — robots.txt có thể’t làm đó phân biệt.

Letting mobile và desktop versions của trang drift apart. Dưới mobile-đầu tiên lập chỉ mục, smartphone agent view là Điều gì nhận được lập chỉ mục và được xếp hạng. nội dung, dữ liệu có cấu trúc, metadata, hoặc robots tags đó chỉ exist on desktop là effectively invisible để Google. Làm thay vì: giữ cả hai versions trong sync, và kiểm tra Điều gì smartphone agent thực ra sees.

Relying on crawl-delay để chậm Googlebot xuống. Google không xử lý non-tiêu chuẩn crawl-delay directive tại all — nó Bing-chỉ lever. Làm thay vì: trả về 429/500/503 nếu bạn genuinely cần Google để back off, understanding đó throttles toàn bộ hostname và chỉ holds cho day hoặc hai trước khi sustained các lỗi bắt đầu dropping các trang từ chỉ mục.

Trusting Googlebot người dùng-agent string trong của bạn nhật ký tại face giá trị. UA header là trivially spoofed, và plenty của traffic đó claims để là Googlebot không phải. Làm thay vì: verify với reverse + forward DNS hoặc so với Google published IP ranges trước khi treating “Googlebot” traffic trong của bạn phân tích as thực.

Assuming JavaScript-chỉ navigation (nhấp handlers, không thực <a href>) sẽ nhận discovered và được kết xuất như thông thường link. Googlebot discovers các URL primarily qua links, và kết xuất happens sau đó trong tách biệt, stateless queue đó không fire arbitrary UI interactions. Làm thay vì: expose mỗi quan trọng path as thực <a href> link đó hoạt động không có JavaScript.

Treating crawl frequency as xếp hạng lever. Getting được crawl nhiều hơn thường không phải scoreboard — nó chỉ gate bạn có để truyền qua để là eligible để xếp hạng. Làm thay vì: spend effort on nội dung và kỹ thuật health, không on trying để attract nhiều hơn crawl hits cho của họ own sake.

phổ biến Googlebot các vấn đề

trang là blocked trong robots.txt nhưng vẫn hiển thị lên trong tìm kiếm

• Nguyên nhân: robots.txt chỉ dừng crawling, không lập chỉ mục. nếu khác các trang link để blocked URL, Google có thể vẫn chỉ mục nó URL-chỉ (thường với không snippet/mô tả).
• khắc phục: nếu bạn thực ra muốn nó out của kết quả, cho phép crawling trong robots.txt và thêm noindex tag thay vì — Googlebot có để là able để đọc trang để see tag. xác nhận khắc phục với robots-txt-tester tool và re-kiểm tra URL’s status sau khi nó recrawled.

JavaScript-được kết xuất nội dung không phải cho thấy lên trong chỉ mục

• Nguyên nhân: crawling và kết xuất là tách biệt steps. fetched HTML nhận queued cho kết xuất — thường seconds, đôi khi nhiều lâu hơn — trước khi headless Chromium executes JavaScript. nội dung đó phụ thuộc vào nhấp-chỉ hoặc non-<a href> navigation có thể không bao giờ render tại all, since Web Kết xuất Service không fire arbitrary UI interactions.
• khắc phục: kiểm tra liệu nội dung tồn tại trong thô HTML phản hồi versus chỉ sau khi JS execution, và hãy đảm bảo quan trọng paths là thực <a href> links. render-khoảng trống tool là được xây dựng cho chính xác điều này kiểm tra — nó hiển thị khoảng trống giữa Điều gì fetched và Điều gì thực ra renders.

máy chủ nhật ký hiển thị lot của “Googlebot” traffic đó seems off

• Nguyên nhân: Googlebot người dùng-agent string là trivially spoofed. có ý nghĩa share của traffic claiming để là Googlebot trong thô nhật ký là impostors.
• khắc phục: verify với reverse-DNS (nên resolve để hostname ending trong googlebot.com, google.com, hoặc googleusercontent.com) followed by forward-DNS back để giống nhau IP, hoặc match so với Google published IP ranges (common-crawlers.json) cho bulk log kiểm tra — see Scripts tab cho cả hai các phương thức, hoặc chạy log pull qua log-file-trình phân tích tool, mà flags spoofed Googlebot hits tự động.

Tốc độ crawl dropped suddenly

• Nguyên nhân: Googlebot’s tốc độ crawl là algorithmic và self-throttling — sustained 429, 500, 503, hoặc timeout các phản hồi tell nó để back off, và đó throttle áp dụng hostname-wide, không chỉ để erroring các URL.
• khắc phục: kiểm tra gần đây máy chủ lỗi rates và phản hồi codes với http-status-checker tool hoặc của bạn máy chủ nhật ký. nếu các lỗi persist nhiều hơn day hoặc hai, expect các trang để bắt đầu dropping từ chỉ mục, không chỉ chậm hơn crawling. Sửa underlying 5xx/429 nguồn là Điều gì restores tốc độ crawl — có không tách biệt “unthrottle” lever.

nội dung đó chỉ tồn tại on desktop không phải xếp hạng

• Nguyên nhân: dưới mobile-đầu tiên lập chỉ mục, smartphone agent view là Điều gì nhận được lập chỉ mục và được xếp hạng. nếu nội dung, dữ liệu có cấu trúc, hoặc metadata chỉ tồn tại on desktop version, nó effectively invisible để Google.
• khắc phục: so sánh Điều gì mobile và desktop versions phục vụ — sử dụng mobile-friendly-tester tool để see Điều gì smartphone agent renders, và bring hai versions back trong sync.

Tools cho hoạt động với Googlebot

• robots-txt-tester — kiểm tra liệu cụ thể URL là được phép hoặc blocked cho Googlebot trước khi bạn assume của bạn robots.txt là đang làm Điều gì bạn think.
• log-file-trình phân tích — parse của bạn máy chủ nhật ký để see thực tế Googlebot crawl activity và flag traffic đó claims để là Googlebot nhưng fails IP/DNS verification.
• render-khoảng trống — so sánh Điều gì Googlebot fetches versus Điều gì thực ra renders sau khi JavaScript executes, trực tiếp hữu ích cho crawl-so với-render phân biệt điều này bài viết covers.
• mobile-friendly-tester — kiểm tra Điều gì smartphone crawler ( chính một dưới mobile-đầu tiên lập chỉ mục) sees on trang.
• http-status-checker — xác nhận status codes của bạn máy chủ là returning, since sustained 429/5xx các phản hồi là Điều gì thực ra throttle Googlebot’s tốc độ crawl.

thứ ba-party: Google Search Console’s URL Inspection tool hiển thị Cách Googlebot cuối cùng được crawl và được kết xuất cụ thể URL, including mà crawler (mobile hoặc desktop) fetched nó. Screaming Frog có thể crawl trang web kết xuất as Googlebot để so sánh thô HTML so với được kết xuất output tại quy mô.

Quiz

Five các câu hỏi để kiểm tra Điều gì stuck về Googlebot.

Nhật ký thay đổi