Ngôn ngữ

Crawlability Các vấn đề: Điều gì Breaks Crawling và Cách Cách sửa Điều này

Crawlability các vấn đề là đó kỹ thuật conditions đó dừng các công cụ tìm kiếm từ discovering, accessing, hoặc fetching của bạn các trang. MỘT triage-đầu tiên hướng dẫn to đó four buckets — blocked access, hỏng links, failing các máy chủ, bloated URL inventory — cách tìm them, và cách cách sửa them.

Xuất bản lần đầu: 27 thg 6, 2026 · Cập nhật lần cuối: 8 thg 8, 2026 · Advanced
Ngôn ngữ
AIĐược viết bởiAI v2

Crawlability là cách well công cụ tìm kiếm các crawler có thể discover, access, và fetch của bạn các trang — và một crawlability vấn đề là bất cứ điều gì đó breaks đó. Gần như mỗi vấn đề falls vào một of four buckets: access là blocked (robots.txt, login walls, 403s, blocked JS/CSS), links là hỏng hoặc uncrawlable (JS-chỉ nav, orphan các trang), đó máy chủ là failing hoặc throttling (5xx, DNS failures, chậm/truncated fetches, chuyển hướng chains), hoặc đó URL inventory là bloated (spider traps, parameter duplicates, soft 404s). Crawlability là upstream of lập chỉ mục và xếp hạng — necessary nhưng không phải là yếu tố xếp hạng, và distinct từ indexability. Này hub triages đó phổ biến, cao-impact các vấn đề và points bạn to đó deep dives.

Tóm tắt — Crawlability là degree để mà các crawler có thể discover, access, và fetch của bạn các trang; crawlability vấn đề là bất cứ điều gì đó breaks đó. Gần như tất cả them fall vào four buckets — access blocked (robots.txt, login walls, 403s, blocked JS/CSS), links hỏng (JS-chỉ nav, orphans, deep các trang), máy chủ failing (5xx, DNS, chậm/truncated fetches, chuyển hướng chains), và URL inventory bloated (spider traps, parameter duplicates, soft 404s). Crawlability là upstream của lập chỉ mục và xếp hạng — necessary để xếp hạng nhưng không tín hiệu xếp hạng, và distinct từ indexability. Diagnose với GSC (trang lập chỉ mục, Crawl Số liệu, URL Inspection) và máy chủ nhật ký; khắc phục access vấn đề đầu tiên, sau đó inventory. điều này hub triages mỗi vấn đề và links để deep dives.

Điều gì crawlability là (và Điều gì nó không phải)

Crawlability là giai đoạn một của tìm kiếm pipeline — discover → crawl → render → chỉ mục → phục vụ. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: Google: How Search works mỗi thất bại ở đây là upstream của lập chỉ mục và xếp hạng. term itself là SEO umbrella, không Google một: Google own model names three Tìm kiếm stages — crawling, lập chỉ mục, và serving — và folds URL discovery và kết xuất vào crawling thay vì giving them của họ own top-level stages. five-step pipeline và four-bucket triage dưới là my synthesis cho organizing đó hoạt động vào điều gì đó actionable — hữu ích cho locating vấn đề fast, nhưng không citation cho Cách Google các hệ thống là formally staged internally.

Three “không equals” ngăn phần lớn của confusion trong điều này space:

  • Crawlability ≠ indexability. MỘT trang có thể là perfectly crawlable nhưng blocked từ đó chỉ mục by một noindex tag — hoặc technically crawlable nhưng vẫn không được lập chỉ mục làm quality các tín hiệu. Crawlability là một necessary nhưng không sufficient condition cho lập chỉ mục. (See được crawl – hiện tại không được lập chỉ mục cho đó downstream quality case.)
  • Crawling ≠ xếp hạng. Crawling là bắt buộc to xuất hiện trong kết quả, nhưng as Google puts điều này, “an increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” (bản dịch) «an increased tốc độ crawl sẽ không nhất thiết lead to tốt hơn positions trong Kết quả tìm kiếm… trong khi crawling là necessary cho đang trong đó kết quả, đây là không một tín hiệu xếp hạng.»
  • Crawling ≠ kết xuất. Google renders đó trang và chạy JavaScript trong một tách biệt step — “during the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome” (bản dịch) «during đó crawl, Google renders đó trang và chạy any JavaScript điều này tìm thấy dùng một gần đây version of Chrome» — và đó renderer chạy trong của nó own queue đó có thể lag behind đó ban đầu fetch.

đầy đủ pipeline lives trong crawling hub; điều này bài viết là triage layer cho Khi nó breaks.

four buckets của crawlability các vấn đề

sử dụng những điều này để locate của bạn vấn đề fast. mỗi một nhận ngắn treatment ở đây với link để deep dive — không try để khắc phục Điều gì Bạn có thể’t tuy vậy categorize. Đây là triage lens, không exhaustive classification: sitemaps, noindex, canonical tags, nofollow, mobile parity, và duplicate nội dung là all thực các vấn đề, nhưng phần lớn của them belong để discovery, indexability, kết xuất, hoặc hiệu quả crawl thay vì pure access/fetch thất bại — họ nhận của họ own các trang linked dưới thay vì là folded vào điều này hub as flat audit checklist.

1. Access là blocked

Robots.txt blocking (intentional hoặc accidental). MỘT Disallow rule dừng các crawler từ fetching đó URL tại all. Google là rõ ràng đó này là đó wrong tool cho removing các trang: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site… It is not a mechanism for keeping a web page out of Google.” (bản dịch) «MỘT robots.txt file tells công cụ tìm kiếm các crawler mà URLs đó crawler có thể access trên trang web của bạn… Điều này không phải một mechanism cho giữ một web trang out of Google.» Đó classic accidents: một staging-site Disallow: / pushed to production, một CMS plugin thêm an overly rộng rule, hoặc blocking đó *.js/*.css các tài nguyên đó trang cần to render. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: Google: robots.txt introduction (See robots.txt và đó GSC status blocked by robots.txt.)

Đó noindex + disallow trap. Này một bites constantly. Nếu bạn cả hai disallow một trang trong robots.txt và put một noindex on điều này, Google có thể không bao giờ fetch đó trang to see đó noindex — so đó trang có thể stay được lập chỉ mục qua liên kết bên ngoài. To deindex một trang, cho phép crawling và thêm noindex. Không bao giờ dùng disallow to deindex. I wrote up đó trực tiếp thử nghiệm behind này trong Được lập chỉ mục, though blocked by robots.txt: “crawling and indexing are two different things.” (bản dịch) «crawling và lập chỉ mục là hai khác nhau điều.»

Login walls và 401s. Nếu nội dung sits behind an interactive login hoặc OAuth flow Googlebot không thể hoàn tất, đây là đơn giản unreachable — không thể là được crawl hoặc được lập chỉ mục. đó là không đó giống nhau claim as “every paywall is uncrawlable,” (bản dịch) «mỗi paywall là uncrawlable,» though: publishers có thể chọn to expose gated hoặc subscription nội dung to các crawler differently hơn to một regular khách truy cập, so treat “requires a login Googlebot can’t get past” (bản dịch) «requires một login Googlebot không thể nhận past» và “metered/paywalled” (bản dịch) «metered/paywalled» as tách biệt cases thay vì assuming mỗi paywall behaves cùng cách. (See blocked 401.)

403 Bị cấm. trước khi reaching cho IP allowlist, hoạt động qua có khả năng gây ra trong order thay vì assuming đầu tiên một bạn tìm là chỉ một:

  1. robots.txt — xác nhận chính xác path không phải disallowed cho đó crawler người dùng-agent; Đây là single phần lớn phổ biến nguyên nhân và fastest để rule out.
  2. Intermittent hoặc được lưu đệm blocks — re-kiểm thử giống nhau URL nhiều hơn hơn sau khi, từ nhiều hơn hơn một vantage point. WAF/CDN rule đó chỉ trips occasionally, hoặc stale được lưu đệm 403, có thể trông giống vĩnh viễn block Khi nó không phải.
  3. Người dùng-agent blocks — WAF/CDN rule denying cụ thể bot string (và remember string alone có thể là spoofed, so không dừng investigation ở đây).
  4. IP-range blocks — firewall, CDN, hoặc geo rule denying Googlebot’s thực tế IP ranges hoặc datacenter geography. chỉ whitelist verified Googlebot — confirmed qua reverse + forward DNS, không chỉ người dùng-agent header — sau khi bạn’ve thực ra located mà layer là blocking nó. (See blocked 403 và blocked khác 4xx.)

Blocked JS/CSS. Google renders trong headless Chrome. nếu robots.txt blocks *.js/*.css, hoặc CDN từ chối Googlebot các tài nguyên, được kết xuất trang looks hỏng — nội dung đó chỉ xuất hiện sau khi kết xuất có thể không là được lập chỉ mục, và links đó chỉ xuất hiện sau khi JS có thể không là followed. Kiểm thử với URL Inspection → Trực tiếp Kiểm thử và xem xét được kết xuất screenshot.

Non-crawlable links. “Google can only crawl your link if it’s an <a> HTML element with an href attribute. Most links in other formats won’t be parsed and extracted by Google’s crawlers.” (bản dịch) «Google có thể chỉ crawl của bạn link nếu đây là an <a> HTML element với an href thuộc tính. Hầu hết links trong other formats sẽ không là parsed và extracted by Google các crawler.» Đó rules out <a routerLink="...">, <span href="...">, và <a onclick="goto(...)">. Nếu của bạn main navigation là JS-chỉ click handlers, toàn bộ sections of đó site có thể không bao giờ là discovered. (See đó kết xuất section of đó crawling hub và my JavaScript SEO Các vấn đề & Thực hành tốt nhất.)

Orphan các trang. trang với không liên kết nội bộ pointing để nó có thể chỉ là tìm thấy qua sitemap hoặc liên kết bên ngoài. Links là dominant discovery channel, so orphan thường hiển thị up as discovered – hiện tại không được lập chỉ mục trong GSC. sitemap entry aids discovery; nó không replace link tín hiệu. khắc phục: link trang từ relevant hub hoặc category trang. (See discovery và crawl depth.)

Deep các trang. các trang buried nhiều clicks từ homepage nhận được crawl sau đó và ít hơn thường. giữ quan trọng các trang shallow (see crawl depth).

3. máy chủ là failing hoặc throttling

5xx máy chủ các lỗi. MỘT 500/502/503/504 trả về an lỗi thay vì nội dung. Sustained 5xx làm Googlebot throttle — “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down’” (bản dịch) «they try không to crawl đó site cũng fast to tránh overloading điều này… HTTP 500 các lỗi có nghĩa là ‘chậm xuống’» — và eventually drop đã-được lập chỉ mục các trang. Nếu robots.txt itself trả về 5xx, đây là không an instant, indefinite site-wide halt: Google published behavior là staged — crawling dừng cho về 12 hours đầu tiên, thì Google có thể fall back to đó cuối cùng known-good robots.txt cho up to 30 days, và điều gì happens sau đó phụ thuộc vào đó được lưu đệm rules và liệu đó site là generally reachable. Note đó 503 nuance: một 503 với một Retry-After header là đó correct phản hồi cho planned ngắn downtime; chỉ weeks of điều này nguyên nhân harm. Google buckets 429 (quá nhiều yêu cầu) với đó giống nhau back-off behavior. (See máy chủ lỗi (5xx) và tốc độ crawl.)

DNS failures. Upstream của HTTP hoàn toàn: nếu domain không resolve — expired registration, botched nameserver migration, hỏng apex-domain resolution — có không máy chủ phản hồi để even trả về 5xx. Sustained DNS thất bại drops toàn bộ trang web. Catch nó trong GSC Crawl Số liệu → Host Status, hoặc nhanh hơn với external uptime monitoring.

Chậm các phản hồi và fetch truncation. Google politeness mechanism throttles dựa trên máy chủ health, so chậm các phản hồi có nghĩa là ít hơn crawl. và có hard byte limit: as của Google March 2026 Bên trong Googlebot cập nhật, Googlebot fetches roughly 2 MB theo URL (xuống từ old 15 MB hình), với PDFs up để 64 MB. Go over và fetch là truncated, không rejected — chỉ downloaded portion là được lập chỉ mục. nếu của bạn cốt yếu nội dung sits dưới 2 MB của bloat, nó có thể nhận cut off.

chuyển hướng chains và loops. mỗi chuyển hướng hop costs crawl credit, và dài chains có negative effect on crawling; Google follows chỉ về five hops trước khi nó có thể cho up on đích. Loops time out và land trong chuyển hướng lỗi trong GSC. phổ biến nguyên nhân: stacked www → non-www → HTTPS hops từ successive migrations. (See ngân sách crawl, mà lists chuyển hướng chains as crawl waste.)

4. URL inventory là bloated

Spider traps. Structures đó generate effectively infinite các URL — faceted filter combinations, calendar “tiếp theo month” links với không end, session IDs trong các URL, infinite pagination. Các crawler burn budget on near-duplicate junk trong khi thực các trang nhận được crawl ít hơn. Google có được gọi là faceted navigation và action parameters responsible cho bulk của của nó crawling các vấn đề, và “infinite spaces” (bản dịch) «infinite spaces» có topped crawl-waste list since 2008. có không fixed universal threshold cho Điều gì được tính as “cũng nhiều” — signature là lopsided, disproportionate share của hits concentrated on một junk URL pattern relative để của bạn own trang web thông thường baseline, không cụ thể percentage đó áp dụng mọi nơi. (See spider traps.)

URL parameters. Query strings (?key=value) tạo multiple các URL cho giống nhau nội dung — active params (sort/filter/pagination) làm near-duplicates; passive params (theo dõi, session IDs) làm pure duplicates. Cả hai waste budget và dilute tín hiệu liên kết. Note: Google retired của nó URL Parameters tool trong April 2022 (nó tìm thấy chỉ ~1% của configs hữu ích và hiện tại xử lý phần lớn cases tự động) — không tell mọi người để sử dụng nó. Bing vẫn có Bỏ qua URL Parameters tool. hiện tại khắc phục: consistent parameter ordering, rel=canonical cho passive params, robots.txt disallow chỉ cho genuine traps. (See URL parameters và canonicalization.)

Soft 404s. trang đó functionally “không tìm thấy” (rỗng kết quả tìm kiếm, gutted out-của-stock sản phẩm) nhưng trả về 200 OK. Google giữ crawling nó vì status nói nó ở đó, wasting budget cho không indexable nội dung. khắc phục: trả về thực 404 hoặc 410 (410 Gone là marginally nhanh hơn cho removal). genuine 404 là mạnh tín hiệu không để crawl đó URL again.

Ngân sách crawl exhaustion (lớn các trang chỉ)

Này là đó bucket-4 vấn đề tại scale, và đây là worth của nó own warning: hầu hết các trang không bao giờ hit điều này. Google says plainly, “if your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (bản dịch) «nếu trang web của bạn không có một lớn number of các trang đó thay đổi rapidly, hoặc nếu của bạn các trang seem to là được crawl đó giống nhau day đó they là published, bạn không cần to đọc này hướng dẫn.» John Mueller có put một number on điều này — 100 000 URLs là thường không đủ to ảnh hưởng ngân sách crawl. Điều này realistically matters tại ~1M+ các trang thay đổi weekly hoặc 10k+ thay đổi daily. Budget là theo hostname, và all of Google các crawler (image, video, news, quảng cáo) draw từ đó giống nhau theo-site pool. Đó warning light là một lớn và growing discovered – hiện tại không được lập chỉ mục count. (Đầy đủ treatment trong ngân sách crawl; I cũng wrote Khi Nên Bạn Worry Về Ngân sách crawl?.)

Cách tìm crawlability các vấn đề

Google Search Console.

  • Trang Lập chỉ mục báo cáo surfaces đó named failures: blocked by robots.txt, máy chủ lỗi (5xx), không tìm thấy (404), lỗi chuyển hướng.
  • Crawl Số liệu báo cáo cho thấy phản hồi-code trends, average thời gian phản hồi, và một host-status panel đó flags DNS, robots.txt, và máy chủ-connectivity các vấn đề. (See crawl số liệu báo cáo.)
  • URL Inspection (Trực tiếp Kiểm thử) cho thấy điều gì Googlebot thực ra fetched và được kết xuất cho một single URL — đó được kết xuất screenshot là đó fastest way to catch blocked JS/CSS.
  • “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» là đó crawl warning light: Google knows đó URL nhưng hasn’t fetched điều này (thường một linking hoặc priority vấn đề).

máy chủ log file analysis là ground truth. nhật ký hiển thị chính xác mà các URL bots hit, Cách thường, và với Điều gì status — và họ’re chỉ way để tell thực Googlebot (verified qua reverse + forward DNS) từ bots faking người dùng-agent. spider trap hiển thị up as lopsided share của hits để một URL pattern. (See log file analysis.)

trang web audit các crawler — Ahrefs trang web Audit và Screaming Frog SEO Spider — simulate crawl và surface chuyển hướng chains, blocked các URL, orphan các trang, và crawl depth trong một truyền.

Crawlability so với. indexability: không confuse them

Tóm lại: crawlability là liệu bot có thể reach trang; indexability là liệu Google chọn để store nó sau khi fetched. sau khi crawlability là fixed, indexability là tiếp theo gate.

GSC status là hữu ích starting hypothesis, không guaranteed diagnosis. Discovered – hiện tại không được lập chỉ mục thường points để crawl scheduling/priority vấn đề (thêm liên kết nội bộ, raise trang web quality). Được crawl – hiện tại không được lập chỉ mục phần lớn thường points để nội dung/quality vấn đề downstream của crawlability (thin, duplicate, hoặc intent-mismatched nội dung) — nhưng Google không publish exhaustive causal mapping cho đó status, và overlapping factors như kết xuất delays, các tín hiệu canonicalization, hoặc lập chỉ mục-eligibility kiểm tra có thể produce giống nhau label. Treat status as của bạn đầu tiên lead, xác nhận với URL Inspection và nhật ký, và không throw crawl các cách sửa tại Điều gì turns out để là indexability vấn đề, hoặc vice versa.

Cách Bing crawlability differs từ Google

một vài practical differences worth knowing nếu bạn optimize cho cả hai:

  • IndexNow — Bing (và Yandex, Naver, Seznam, Yep) take nó cho instant thay đổi notification; Google không participate. không expect IndexNow để help Google crawlability.
  • Crawl Control — Bing vẫn có manual grid trong Bing Quản trị viên web Tools để schedule crawl hours; Google đã xóa của nó crawl-rate slider trong January 2024.
  • Bỏ qua URL Parameters — Bing vẫn offers nó; Google retired của nó tương đương trong April 2022.
  • lastmod — Bing weights nó nhiều hơn heavily as recrawl tín hiệu; Google largely bỏ qua inaccurate lastmod.

Fabrice Canel of Microsoft Bing sums up Bing philosophy as “Less is more for SEO… Less URLs to crawl, better for SEO” (bản dịch) «Ít hơn là hơn cho SEO… Ít hơn URLs to crawl, tốt hơn cho SEO» — mà là đó toàn bộ crawlability game trong một line. (See bingbot.)

nơi để go tiếp theo

điều này hub là map; deep dives làm hoạt động. cho access controls, see robots.txt và noindex. cho máy chủ side, see máy chủ lỗi (5xx), tốc độ crawl, và chuyển hướng lỗi. cho inventory bloat, see spider traps, URL parameters, và ngân sách crawl. cho discovery và links, see discovery, crawl depth, và orphan các trang. và cho toàn bộ pipeline trong một place, bắt đầu tại crawling hub.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.