Lập chỉ mục
Cách các công cụ tìm kiếm store và organize các trang so they có thể xếp hạng — nội dung analysis, canonicalization, vì sao được crawl không được lập chỉ mục, và reading đó GSC Trang lập chỉ mục báo cáo.
Ngôn ngữ
1 tín hiệu bằng chứng trên trang này
- Công cụ trực tuyến liên quanGoogle Index Checker
Lập chỉ mục là giai đoạn hai of tìm kiếm (crawl → chỉ mục → serve): sau một trang là được crawl, đó engine understands điều này, deduplicates và canonicalizes điều này, và — nếu điều này qualifies — stores điều này trong đó tìm kiếm chỉ mục. Được crawl không được lập chỉ mục; Google selects điều cần giữ, và lập chỉ mục không guaranteed. đây là không phải là yếu tố xếp hạng, nhưng một trang phải được lập chỉ mục trước điều này có thể xếp hạng. Để giữ một trang out, dùng noindex và leave điều này crawlable — không block điều này trong robots.txt. Này hub giải thích đó toàn bộ stage và routes bạn để đó deep dives.
Tóm tắt — lập chỉ mục là Cách công cụ tìm kiếm stores của bạn trang so nó có thể hiển thị lên trong kết quả. sau khi trang là được crawl (downloaded), engine figures out Điều gì nó về và decides liệu để giữ nó. Getting được crawl làm không có nghĩa là bạn’re được lập chỉ mục — Google picks Điều gì worth giữ. và là được lập chỉ mục không phải giống nhau as xếp hạng; nó chỉ có nghĩ là bạn’re eligible để.
Điều gì lập chỉ mục là
Tìm kiếm hoạt động trong three steps, trong order:
- Crawl — bot như Googlebot discovers URL và downloads trang.
- chỉ mục — engine đọc đó trang, figures out Điều gì nó về, và files nó away trong giant database của mọi thứ nó có thể hiển thị trong kết quả.
- phục vụ (xếp hạng) — Khi ai đó searches, engine pulls best matches từ đó database và diễn đạt them trong order.
lập chỉ mục là step hai. nếu trang không phải được lập chỉ mục, nó có thể’t xếp hạng — nó đơn giản không phải trong database kết quả là pulled từ. nhưng lập chỉ mục on của nó own không lift bạn lên trang; nó chỉ nhận bạn vào đang chạy.
Được crawl không có nghĩa là được lập chỉ mục
Này là đó part mọi người miss. Google không chỉ mục mỗi trang điều này crawl — điều này
chọn mà ones là worth giữ. Trong Google own words, “indexing isn’t
guaranteed; not every page that Google processes will be indexed.” (bản dịch) «lập chỉ mục không guaranteed; không mỗi trang đó Google xử lý sẽ là được lập chỉ mục.» Evidence for this claim Google does not guarantee that every processed page will be indexed. Scope: Google Search indexing; the source gives examples of possible causes rather than an exhaustive decision formula. Confidence: high · Verified: Google Search Central: In-depth guide to how Google Search works Các trang nhận left
out hầu hết thường vì đó nội dung là thin hoặc thấp-giá trị, vì một noindex rule
tells Google để skip điều này, hoặc vì điều gì đó kỹ thuật làm đó trang hard để
xử lý.
So nếu một trang là bị thiếu từ tìm kiếm, “Google hasn’t crawled it” (bản dịch) «Google hasn’t được crawl điều này» và “Google crawled it but didn’t keep it” (bản dịch) «Google được crawl điều này nhưng đã không giữ điều này» là hai khác nhau các vấn đề với khác nhau các cách sửa.
Cách kiểm tra nếu bạn’re được lập chỉ mục
- Google Search Console là thực câu trả lời. URL Inspection tool tells bạn liệu cụ thể trang là được lập chỉ mục, và trang lập chỉ mục báo cáo hiển thị Vì sao các trang trên của bạn trang web là hoặc đã không được lập chỉ mục.
- cho một cụ thể URL, sử dụng URL Inspection — Bạn có thể’t tìm kiếm hoặc filter trang lập chỉ mục báo cáo by URL, so báo cáo là cho patterns trên trang web, không single-trang lookup. và sạch trực tiếp kiểm thử trong URL Inspection không phải đầy đủ story: nó không kiểm tra mọi thứ báo cáo làm, phần lớn notably duplicate và canonical conditions.
- rough shortcut là
site:operator (e.g.site:example.com/page) — handy, nhưng Search Console là nguồn của truth.
Cách giữ trang OUT của chỉ mục
Đây là nơi lot của mọi người nhận nó backwards. nếu bạn muốn trang đã biến mất từ tìm kiếm:
- Thêm
noindextag ( meta robots tag hoặcX-Robots-Tagheader), và - hãy đảm bảo trang là vẫn crawlable — không block nó trong
robots.txt.
Vì sao? vì Google có để là able để crawl trang để see noindex. nếu bạn
block nó trong robots.txt, Google có thể’t đọc tag — và trang có thể thực ra stay
được lập chỉ mục anyway nếu khác các trang link để nó. Evidence for this claim Google must be able to crawl a page to see and apply its noindex rule. Scope: Google-supported robots meta and X-Robots-Tag directives; a robots.txt block can prevent Google from seeing the rule. Confidence: high · Verified: Google Search Central: Block Search indexing with noindex
đó covers everyday case. cho removal các trường hợp biên — các trang bạn cần đã biến mất fast,
password-protected hoặc riêng tư trang đó leaked vào chỉ mục, hoặc đầy đủ 404/410 so với.
noindex decision — see dedicated
Cách deindex trang hướng dẫn.
Muốn deeper version — Điều gì thực ra happens during lập chỉ mục, Cách canonicalization hoạt động, và Cách đọc mỗi status trong Search Console trang lập chỉ mục báo cáo? Chuyển để Nâng cao tab.
Evidence for this claim Google must be able to crawl a page to see and apply its noindex rule. Scope: Google-supported robots meta and X-Robots-Tag directives; a robots.txt block can prevent Google from seeing the rule. Confidence: high · Verified: Google Search Central: Block Search indexing with noindexTL;DR — Lập chỉ mục là đó second of tìm kiếm three stages (crawl → chỉ mục → serve): Google understands một được crawl trang (text, key tags, images, video; điều này renders JS), detects duplicates, clusters similar các trang và picks đó hầu hết representative một (canonicalization —
rel=canonicallà một hint, không một rule), computes các tín hiệu, và stores đó canonical trong đó chỉ mục. Được crawl ≠ được lập chỉ mục — “indexing isn’t guaranteed,” (bản dịch) «lập chỉ mục không guaranteed,» và đó call là largely về quality/giá trị. Đó Tìm kiếm Console Trang lập chỉ mục báo cáo là của bạn cockpit. Để deindex, dùngnoindexvà giữ đó trang crawlable; không bao giờ dùngrobots.txtđể xóa một trang, vì một blocked trang có thể vẫn là được lập chỉ mục (chỉ không có một snippet).
lập chỉ mục là giai đoạn hai của three
Three stages run left to right. Crawl discovers and downloads a URL. Index processes the page and stores eligible information. Serve or rank orders the best indexed matches for a query. The Index stage is highlighted, and a note says not every page advances through every stage.
© Patrick Stox LLC · CC BY 4.0 ·
Google là blunt về đó pipeline: “Google Search works in three stages, and not all pages make it through each stage” (bản dịch) «Google Search hoạt động trong three stages, và không all các trang làm điều này qua mỗi stage» — crawling, lập chỉ mục, và serving. Lập chỉ mục là đó middle stage, và đó doc defines điều này cleanly: “Indexing: Google analyzes the text, images, and video files on the page, and stores the information in the Google index, which is a large database.” (bản dịch) «Lập chỉ mục: Google analyzes đó text, images, và video files on đó trang, và stores đó information trong đó Google chỉ mục, mà là một lớn database.»
Evidence for this claim Google Search describes crawling, indexing, and serving as three distinct stages; indexing analyzes page content and stores eligible information in Google's index. Scope: web search Confidence: high · Verified: In-depth guide to how Google Search workstrang có để là được crawl trước khi nó có thể là được lập chỉ mục, và nó có để là được lập chỉ mục trước khi nó có thể xếp hạng. nhưng none của những điều đó là bảo đảm — mỗi stage là filter. Giữ three stages tách biệt trong của bạn head là single phần lớn hữu ích mental model trong kỹ thuật SEO, và nó Vì sao I luôn ask mà stage trang là failing tại trước khi thay đổi bất cứ điều gì. (cho stage trước khi điều này một, see crawling hub — crawl → chỉ mục là pipeline.)
Điều gì thực ra happens during lập chỉ mục
Step one analyzes a crawled page for text, title, alt text, images, and video. Step two groups duplicate URLs into a cluster and chooses the most representative page as canonical. Step three stores the canonical page and its cluster information in the Google index.
© Patrick Stox LLC · CC BY 4.0 ·
lập chỉ mục không phải một điều; nó sequence:
- Understanding đó nội dung. Google: “After a page is crawled, Google tries to
understand what the page is about. This stage is called indexing.” (bản dịch) «Sau một trang là được crawl, Google tries để understand điều gì đó trang là về. Này stage là called lập chỉ mục.» Đó có nghĩa là
“Google analyzes the textual content and key content tags and attributes, such as
<title>elements and alt attributes, images, videos, and more.” (bản dịch) «Google analyzes đó textual nội dung và key nội dung tags và các thuộc tính, such as<title>elements và alt các thuộc tính, images, videos, và hơn.» JavaScript là được kết xuất as part of này — nếu nội dung của bạn chỉ xuất hiện sau JS chạy, điều này vẫn có để render trước điều này có thể là understood. - Duplicate detection & canonicalization. Này là đó part hầu hết explainers skip, và đây là nơi một lot of “why isn’t this indexed?” (bản dịch) «vì sao không này được lập chỉ mục?» mysteries trực tiếp. Google “determines if a page is a duplicate of another page on the internet or canonical.” (bản dịch) «determines nếu một trang là một duplicate of một sản phẩm khác trang on đó internet hoặc canonical.» Đó mechanic: “we first group together (also known as clustering) the pages that we found on the internet that have similar content, and then we select the one that’s most representative of the group.” (bản dịch) «we đầu tiên group together (cũng known as clustering) đó các trang đó we được tìm thấy on đó internet đó có similar nội dung, và thì we select đó một đó là hầu hết representative of đó group.» Đó representative là đó canonical — “The canonical is the page that may be shown in search results.” (bản dịch) «Đó canonical là đó trang đó có thể là shown trong kết quả tìm kiếm.»
- Computing các tín hiệu & storing. Finally, “The collected information about the canonical page and its cluster may be stored in the Google index, a large database hosted on thousands of computers.” (bản dịch) «Đó collected information về đó canonical trang và của nó cluster có thể là stored trong đó Google chỉ mục, một lớn database hosted on thousands of computers.» Google named hệ thống lập chỉ mục behind all này là Caffeine — đó layer đó ingests crawl dữ liệu, renders và extracts, computes các tín hiệu, và xây dựng đó chỉ mục đó nhận phân phối.
Canonicalization: hint, không command
Vì canonicalization happens during lập chỉ mục, điều này deserves của nó own note. “Canonicalization is the process of selecting the representative –canonical– URL of a piece of content,” (bản dịch) «Canonicalization là đó xử lý of selecting đó representative –canonical– URL of một piece of nội dung,» và điều này tồn tại vì “this process helps Google show only one version of the otherwise duplicate content in its search results.” (bản dịch) «này xử lý helps Google cho thấy chỉ một version of đó nếu không duplicate nội dung trong của nó kết quả tìm kiếm.»
Đó load-bearing detail: của bạn rel=canonical là một suggestion. Google words:
“indicating a canonical preference is a hint, not a rule.” (bản dịch) «indicating một canonical preference là một hint, không một rule.» Google weighs nhiều
các tín hiệu — trong my canonicalization hướng dẫn
I note đó, theo Google Allan Scott, có khoảng 40 khác nhau canonical
selection các tín hiệu — và điều này có thể pick một khác nhau URL hơn đó một bạn flagged. đó là
chính xác điều gì đó “Duplicate, Google chose different canonical than user” (bản dịch) «Duplicate, Google chose khác nhau canonical hơn người dùng» status trong
Search Console là telling bạn.
Được crawl ≠ được lập chỉ mục: Vì sao các trang không nhận được lập chỉ mục
Ở đây đó myth-buster, straight từ đó tài liệu: “Indexing isn’t guaranteed; not
every page that Google processes will be indexed.” (bản dịch) «Lập chỉ mục không guaranteed; không mỗi trang đó Google xử lý sẽ là được lập chỉ mục.» Evidence for this claim Google does not guarantee that every processed page will be indexed. Scope: Google Search indexing; the source gives examples of possible causes rather than an exhaustive decision formula. Confidence: high · Verified: Google Search Central: In-depth guide to how Google Search works Google lists phổ biến reasons điều này
fails — “The quality of the content on page is low,” (bản dịch) «Đó quality of đó nội dung on trang là thấp,» “Robots meta rules disallow
indexing,” (bản dịch) «Robots meta rules disallow lập chỉ mục,» và “The design of the website might make indexing difficult.” (bản dịch) «Đó design of đó website có thể làm lập chỉ mục difficult.»
reps là ngay cả nhiều hơn trực tiếp đó Đây là selection decision driven by giá trị, không quota Bạn có thể buy past:
- John Mueller, on cách dài “Discovered/Crawled – currently not indexed” (bản dịch) «Discovered/Được crawl – hiện tại không được lập chỉ mục» có thể persist: “That can be forever. It’s something where we just don’t crawl and index all pages.” (bản dịch) «Điều đó có thể kéo dài mãi. Có những trường hợp chúng tôi chỉ không thu thập dữ liệu và lập chỉ mục mọi trang.» Đó cách sửa không resubmitting — đây là đang làm đó các hệ thống recognize đó giá trị, để “continue working on the website and making sure that our systems recognize that there’s value in crawling and indexing more and then over time we will crawl and index more.” (bản dịch) «tiếp tục cải thiện trang web và bảo đảm hệ thống nhận ra giá trị của việc thu thập dữ liệu và lập chỉ mục nhiều hơn; theo thời gian, chúng tôi sẽ thu thập dữ liệu và lập chỉ mục nhiều hơn.»
- Mueller again: “it’s important to keep in mind that Google just doesn’t index every page on the web, even if it’s submitted directly.” (bản dịch) «đây là quan trọng để hãy nhớ rằng đó Google chỉ không chỉ mục mỗi trang on đó web, ngay cả khi đây là được gửi trực tiếp.» Và, bluntly: “Well, lots of SEOs & sites (perhaps not you/yours!) produce terrible content that’s not worth indexing.” (bản dịch) «Well, lots of SEOs & các trang (perhaps không bạn/yours!) produce terrible nội dung đó là không worth lập chỉ mục.»
- Gary Illyes, on vì sao đây là selective: “we don’t have infinite space, so we want to index stuff that we think– well, not we– but our algorithms determine that it might be searched for…” (bản dịch) «we không có infinite space, so we muốn để chỉ mục stuff đó we think– well, không we– nhưng của chúng ta algorithms determine đó điều này có thể là searched cho…»
- Martin Splitt frames điều này as một balancing act: “I usually describe it as a challenge with the balance between not overwhelming the website and also spending our resources where it matters.” (bản dịch) «I thường mô tả điều này as một challenge với đó balance giữa không overwhelming đó website và cũng spending của chúng ta các tài nguyên nơi điều này matters.»
Đó practical takeaway: một sitemap hoặc “request indexing” (bản dịch) «yêu cầu lập chỉ mục» aids phát hiện, không selection. Submitting một trang again sẽ không force điều này trong. Đó lever là site quality và giá trị.
Reading Google Search Console trang lập chỉ mục báo cáo
trang lập chỉ mục báo cáo là nơi lập chỉ mục các vấn đề thực ra hiển thị lên. Treat mỗi status as diagnosis. những điều này là Google own verbatim các mô tả:
- Được crawl – hiện tại không được lập chỉ mục: “The page was crawled by Google but not indexed. It may or may not be indexed in the future; no need to resubmit this URL for crawling.” (bản dịch) «Đó trang đã là được crawl by Google nhưng không được lập chỉ mục. Điều này có thể hoặc có thể không là được lập chỉ mục trong đó tương lai; không cần để resubmit này URL cho crawling.» Thường một quality/giá trị judgment — improve đó trang, không spam đó resubmit button.
- Discovered – hiện tại không được lập chỉ mục: “The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl.” (bản dịch) «Đó trang đã là được tìm thấy by Google, nhưng không được crawl tuy vậy. Thông thường, Google muốn crawl đó URL nhưng điều này được dự kiến sẽ làm quá tải trang web; làm đó Google đã lên lịch lại lượt crawl.» Technically một pre-crawl, capacity-driven status — nhưng nếu điều này persists, reps tie đó để giá trị, giống nhau as đó một trên.
- Duplicate không có người dùng-được chọn canonical: “This page is a duplicate of another page, although it doesn’t indicate a preferred canonical page. Google has chosen the other page as the canonical for this page, and so will not serve this page in Search.” (bản dịch) «Này trang là một duplicate of một sản phẩm khác trang, although điều này không indicate một được ưu tiên canonical trang. Google có chosen đó other trang as đó canonical cho này trang, và so sẽ không serve này trang trong Tìm kiếm.»
- Duplicate, Google chose khác nhau canonical hơn người dùng: “This page is marked as canonical for a set of pages, but Google thinks another URL makes a better canonical.” (bản dịch) «Này trang là marked as canonical cho một set of các trang, nhưng Google thinks một sản phẩm khác URL làm một tốt hơn canonical.» (Đó “hint, not a rule” (bản dịch) «hint, không một rule» outcome trong đó wild.)
- Alternate trang với proper canonical tag: “This page is marked as an alternate of another page… This page correctly points to the canonical page, which is indexed, so there is nothing you need to do.” (bản dịch) «Này trang là marked as an alternate of một sản phẩm khác trang… Này trang correctly points để đó canonical trang, mà là được lập chỉ mục, so có không có gì bạn cần để làm.»
- Được lập chỉ mục, though blocked by robots.txt: “The page was indexed despite being blocked by your website’s robots.txt file. Google always respects robots.txt, but this doesn’t necessarily prevent indexing if someone else links to your page.” (bản dịch) «Đó trang đã là được lập chỉ mục despite đang blocked by của bạn website robots.txt file. Google luôn respects robots.txt, nhưng này không nhất thiết ngăn lập chỉ mục nếu ai đó khác links để trang của bạn.» Này là đó proof đó blocking crawling không block lập chỉ mục.
- URL blocked by robots.txt: “This page was blocked by your site’s robots.txt file.” (bản dịch) «Này trang đã là blocked by trang web của bạn robots.txt file.»
- URL marked ‘noindex’: “When Google tried to index the page it encountered a ‘noindex’ directive and therefore did not index it.” (bản dịch) «Khi Google tried để chỉ mục đó trang điều này encountered một ‘noindex’ directive và do đó đã không chỉ mục điều này.» (Này là đó deindex hoạt động as dự kiến.)
- Trang với chuyển hướng: “This is a non-canonical URL that redirects to another page. As such, this URL will not be indexed.” (bản dịch) «Này là một non-canonical URL đó các chuyển hướng để một sản phẩm khác trang. As such, này URL sẽ không là được lập chỉ mục.»
- Soft 404: “The page request returns what we think is a soft 404 response. This means that it returns a user-friendly ‘not found’ message but not a 404 HTTP response code.” (bản dịch) «Đó trang yêu cầu trả về điều gì we think là một soft 404 phản hồi. Này có nghĩa là đó điều này trả về một người dùng-friendly ‘không tìm thấy’ message nhưng không một 404 HTTP phản hồi code.»
Cách control lập chỉ mục right way
để nhận trang được lập chỉ mục: làm nó crawlable, link để nó internally, bao gồm nó trong của bạn sitemap — và, trên all, làm nó worth lập chỉ mục. Phát hiện aids không override giá trị judgment.
Để giữ một trang OUT — đó hầu hết-botched control trong SEO: dùng noindex, “a rule set
with either a <meta> tag or HTTP response header,” (bản dịch) «một rule set với either một <meta> tag hoặc HTTP header phản hồi,» và giữ đó trang
crawlable. Google load-bearing warning: “For the noindex rule to be effective,
the page or resource must not be blocked by a robots.txt file, and it has to be
otherwise accessible to the crawler.” (bản dịch) «Cho đó noindex rule để là effective, đó trang hoặc tài nguyên không được là blocked by một robots.txt file, và điều này có để là nếu không accessible để đó crawler.»
Đó mistake I see constantly là thêm noindex và blocking đó trang trong
robots.txt. đó là counterproductive. As I put điều này trong
Cách Xóa URLs Từ Google Search:
“For these tags to be seen, a search engine needs to be able to crawl the
pages—so make sure they aren’t blocked in robots.txt,” (bản dịch) «Cho những tags để là seen, một công cụ tìm kiếm cần để là able để crawl đó các trang—so hãy bảo đảm they không blocked trong robots.txt,» và “Crawling is not the same
thing as indexing. Even if Google is blocked from crawling pages, if there are any
internal or external links to a page they can still index it.” (bản dịch) «Crawling không phải cùng một điều as lập chỉ mục. Ngay cả khi Google là blocked từ crawling các trang, nếu có bất kỳ internal hoặc liên kết bên ngoài để một trang they có thể vẫn chỉ mục điều này.» Trong my piece on đó
Được lập chỉ mục, though blocked by robots.txt
status I chẳng hạn điều này ngay cả hơn plainly: “Unless Google can crawl a page, they won’t see
the noindex meta tag and may still index it because it has links.” (bản dịch) «Trừ khi Google có thể crawl một trang, they sẽ không see đó noindex meta tag và có thể vẫn chỉ mục điều này vì điều này có links.» Đó cách sửa: “Just add
a noindex meta robots tag and make sure to allow crawling—assuming it’s canonical.” (bản dịch) «Chỉ thêm một noindex meta robots tag và hãy bảo đảm để cho phép crawling—assuming đây là canonical.»
cho fuller removal cây quyết định — 404/410 so với. noindex, Removals tool
~6-month hold, và password protection — see
Cách deindex trang.
lập chỉ mục trong Bing
Bing chạy đó giống nhau pipeline. As Microsoft mô tả điều này: “As Bingbot crawls the web,
it sends information to Bing about what it finds. These pages are then added to the
Bing index.” (bản dịch) «As Bingbot crawl đó web, điều này gửi information để Bing về điều gì điều này tìm thấy. Những các trang là thì đã thêm để đó Bing chỉ mục.» Đó giống nhau controls apply — một noindex directive giữ một trang out, và
an over-restrictive robots.txt có thể dừng Bingbot từ bao giờ crawling điều này. Bing cũng
cần ít nhất một link pointing để trang web của bạn để tìm điều này ngay từ đầu.
không mỗi trang belongs trong chỉ mục
đơn giản filter, không universal rule: trang là worth lập chỉ mục nếu nó có thể hiển thị lên cho tìm kiếm với distinct, hữu ích kết quả. đó bar để kiểm tra duplicates, parameter variants, riêng tư hoặc staging các URL, và thin hoặc repetitive inventory các trang so với — không reason để noindex toàn bộ trang loại theo mặc định. Chạy đầy đủ audit on các trang được xây dựng để own nó, tiếp theo.
nơi để go tiếp theo: lập chỉ mục cluster
điều này hub là overview. Hai điều go sai tại quy mô, và mỗi nhận của nó own deep dive:
- chỉ mục bloat — Khi cũng nhiều thấp-giá trị, duplicate, hoặc thin các URL end lên trong chỉ mục, diluting của bạn trang web và wasting crawl/chỉ mục các tài nguyên. Cách chẩn đoán nó và prune nó safely.
- Mobile-đầu tiên lập chỉ mục — Google indexes mobile version của bạn các trang, so nội dung, links, và dữ liệu có cấu trúc có để reach parity giữa mobile và desktop. Điều gì để kiểm tra và Điều gì breaks.
Cả hai topics là nested dưới điều này hub — họ’re trong sidebar cũng, và họ’ll link lại ở đây.
stage trước khi điều này một — Cách bots discover và download của bạn các trang — lives trong crawling hub; crawl → chỉ mục là pipeline, và trang có để clear crawling trước khi bất kỳ của điều này áp dụng. cho rộng hơn picture, see Cách Tìm kiếm Hoạt động.
AI summary
condensed take on Nâng cao version:
- Lập chỉ mục = giai đoạn hai of tìm kiếm (crawl → chỉ mục → serve). MỘT trang phải được crawl để là được lập chỉ mục, và được lập chỉ mục để xếp hạng — nhưng none of những là guaranteed. Điều này là không một xếp hạng factor, chỉ eligibility.
- Điều gì happens during lập chỉ mục: Google understands đó nội dung (text, key tags, images, video; renders JS), detects duplicates, clusters similar các trang và picks đó hầu hết representative (canonical), computes các tín hiệu, và stores điều này trong đó Google chỉ mục (hệ thống: Caffeine).
- Canonicalization happens during lập chỉ mục.
rel=canonicallà “a hint, not a rule” (bản dịch) «một hint, không một rule» — Google có thể pick một khác nhau canonical (~40 selection các tín hiệu). - Được crawl ≠ được lập chỉ mục. “Indexing isn’t guaranteed.” (bản dịch) «Lập chỉ mục không guaranteed.» đây là một quality/giá trị decision: Mueller — “That can be forever” (bản dịch) «Đó có thể là forever»; Illyes — “we don’t have infinite space.” (bản dịch) «we không có infinite space.» Resubmitting sẽ không force một trang trong; improving đó site là đó lever.
- Đó GSC Trang lập chỉ mục báo cáo là đó cockpit: “Crawled/Discovered – currently not indexed” (bản dịch) «Được crawl/Discovered – hiện tại không được lập chỉ mục» (thường giá trị), đó duplicate/canonical statuses, “Indexed, though blocked by robots.txt,” (bản dịch) «Được lập chỉ mục, though blocked by robots.txt,» “URL marked ‘noindex’.” (bản dịch) «URL marked ‘noindex’.»
- Để deindex: dùng
noindex(meta hoặc X-Robots-Tag) và giữ đó trang crawlable — Google phải crawl điều này để see đó tag. Không bao giờ dùngrobots.txtđể deindex: một blocked trang có thể vẫn là được lập chỉ mục qua links (không có một snippet). - Bing mirrors đó pipeline. Giống nhau
noindexrules apply. - Tại quy mô, hai các chế độ lỗi: chỉ mục bloat (cũng nhiều thấp-giá trị URLs) và mobile-đầu tiên lập chỉ mục (mà version Google indexes).
Tài liệu chính thức
Chính-nguồn tài liệu từ các công cụ tìm kiếm.
- Trong-Depth Hướng dẫn để Cách Google Search Hoạt động — đó crawl → chỉ mục → serve overview, đó lập chỉ mục stage, và vì sao “indexing isn’t guaranteed.” (bản dịch) «lập chỉ mục không guaranteed.»
- Canonicalization và duplicate URLs — cách Google clusters duplicates và selects một canonical (đó hint-không-một-rule doc).
- Block Tìm kiếm lập chỉ mục với noindex — đó correct deindex tool, và vì sao đó trang phải stay crawlable.
- Trang Lập chỉ mục báo cáo — Search Console help cho mỗi lập chỉ mục status và điều đó có nghĩa là gì.
- Crawling và Lập chỉ mục — đó hub cho robots, sitemaps, canonicalization, và lập chỉ mục controls.
Bing / Microsoft
- Cách Bing delivers kết quả tìm kiếm — Bing crawl → chỉ mục pipeline trong Microsoft own words.
- Vì sao là My trang web không trong chỉ mục? — Bing Quản trị viên web Tools help on lập chỉ mục barriers.
Quotes từ nguồn
On—record statements từ Google và Bing. mỗi link là deep link đó jumps để quoted passage on nguồn trang.
Google — Điều gì lập chỉ mục là
- “Google Search works in three stages, and not all pages make it through each stage.” (bản dịch) «Google Search hoạt động trong three stages, và không all các trang làm điều này qua mỗi stage.» — Google Search Central tài liệu. Nhảy đến trích dẫn
- “After a page is crawled, Google tries to understand what the page is about. This stage is called indexing.” (bản dịch) «Sau một trang là được crawl, Google tries để understand điều gì đó trang là về. Này stage là called lập chỉ mục.» Nhảy đến trích dẫn
- “Google analyzes the textual content and key content tags and attributes, such as
<title>elements and alt attributes, images, videos, and more.” (bản dịch) «Google analyzes đó textual nội dung và key nội dung tags và các thuộc tính, such as thẻ tiêu đề elements và alt các thuộc tính, images, videos, và hơn.» Nhảy đến trích dẫn - “The canonical is the page that may be shown in search results… we first group together (also known as clustering) the pages that we found on the internet that have similar content, and then we select the one that’s most representative of the group.” (bản dịch) «Đó canonical là đó trang đó có thể là shown trong kết quả tìm kiếm… we đầu tiên group together (cũng known as clustering) đó các trang đó we được tìm thấy on đó internet đó có similar nội dung, và thì we select đó một đó là hầu hết representative of đó group.» Nhảy đến trích dẫn
- “The collected information about the canonical page and its cluster may be stored in the Google index, a large database hosted on thousands of computers.” (bản dịch) «Đó collected information về đó canonical trang và của nó cluster có thể là stored trong đó Google chỉ mục, một lớn database hosted on thousands of computers.» Nhảy đến trích dẫn
- “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (bản dịch) «Lập chỉ mục không guaranteed; không mỗi trang đó Google xử lý sẽ là được lập chỉ mục.» Nhảy đến trích dẫn
Google — canonicalization & noindex
- “Canonicalization is the process of selecting the representative –canonical– URL of a piece of content.” (bản dịch) «Canonicalization là đó xử lý of selecting đó representative –canonical– URL of một piece of nội dung.» — Google Search Central tài liệu. Nhảy đến trích dẫn
- “That is, indicating a canonical preference is a hint, not a rule.” (bản dịch) «Đó là, indicating một canonical preference là một hint, không một rule.» Nhảy đến trích dẫn
- “For the
noindexrule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” (bản dịch) «Cho đónoindexrule để là effective, đó trang hoặc tài nguyên không được là blocked by một robots.txt file, và điều này có để là nếu không accessible để đó crawler.» — Google Search Central tài liệu. Nhảy đến trích dẫn
John Mueller, Google (qua công cụ tìm kiếm Journal)
- “That can be forever. It’s something where we just don’t crawl and index all pages.” (bản dịch) «Điều đó có thể kéo dài mãi. Có những trường hợp chúng tôi chỉ không thu thập dữ liệu và lập chỉ mục mọi trang.» Đọc bài đưa tin
- “it’s important to keep in mind that Google just doesn’t index every page on the web, even if it’s submitted directly.” (bản dịch) «đây là quan trọng để hãy nhớ rằng đó Google chỉ không chỉ mục mỗi trang on đó web, ngay cả khi đây là được gửi trực tiếp.» Đọc bài đưa tin
Gary Illyes & Martin Splitt, Google (qua công cụ tìm kiếm Journal)
- Illyes: “we don’t have infinite space, so we want to index stuff that we think– well, not we– but our algorithms determine that it might be searched for…” (bản dịch) «we không có infinite space, so we muốn để chỉ mục stuff đó we think– well, không we– nhưng của chúng ta algorithms determine đó điều này có thể là searched cho…» Đọc bài đưa tin
- Splitt: “I usually describe it as a challenge with the balance between not overwhelming the website and also spending our resources where it matters.” (bản dịch) «I thường mô tả điều này as một challenge với đó balance giữa không overwhelming đó website và cũng spending của chúng ta các tài nguyên nơi điều này matters.» Đọc bài đưa tin
Bing / Microsoft
- “As Bingbot crawls the web, it sends information to Bing about what it finds. These pages are then added to the Bing index.” (bản dịch) «As Bingbot crawl đó web, điều này gửi information để Bing về điều gì điều này tìm thấy. Những các trang là thì đã thêm để đó Bing chỉ mục.» — Microsoft Hỗ trợ. Đọc đó nguồn
lập chỉ mục health checklist
nhanh truyền để xác nhận right các trang là được lập chỉ mục và sai ones không phải:
- Các trang bạn muốn được lập chỉ mục là crawlable (không blocked trong
robots.txt) và reachable qua liên kết nội bộ — không orphans. - Quan trọng các trang trả về
200, khôngnoindex’d by accident, và point của họrel=canonicaltại themselves (hoặc đó right canonical). - Đó Search Console Trang lập chỉ mục báo cáo cho thấy của bạn key templates as “Được lập chỉ mục,” và bạn đã triaged “Crawled/Discovered – currently not indexed.” (bản dịch) «Được crawl/Discovered – hiện tại không được lập chỉ mục.»
- Duplicate/canonical statuses reviewed — xác nhận Google chosen canonical matches của bạn intent.
- Các trang bạn muốn out dùng
noindex(meta hoặcX-Robots-Tag) và vẫn crawlable so Google có thể see đó tag. - bạn là không dùng
robots.txtđể deindex bất cứ điều gì (blocked ≠ đã xóa). - Không “Indexed, though blocked by robots.txt” (bản dịch) «Được lập chỉ mục, though blocked by robots.txt» surprises trong đó báo cáo.
- JS-phụ thuộc nội dung renders để indexable HTML (điều này có để render trước điều này có thể là understood).
- Sitemap lists chỉ canonical, indexable URLs (điều này aids phát hiện, không selection).
mental models
1. Đó pipeline — crawl → chỉ mục → serve. Mỗi stage là một filter, và “not all pages make it through each stage.” (bản dịch) «không all các trang làm điều này qua mỗi stage.» Trước thay đổi bất cứ điều gì, locate mà stage một trang là failing tại: Đã là điều này được crawl? Được lập chỉ mục? Phân phối cho đó query?
2. Được crawl ≠ được lập chỉ mục ≠ xếp hạng. Được crawl có nghĩ là downloaded. được lập chỉ mục có nghĩ là stored và eligible. Xếp hạng là tách biệt contest among được lập chỉ mục các trang. lập chỉ mục không phải xếp hạng factor — nhưng Bạn có thể’t xếp hạng không có nó.
3. Lập chỉ mục là một selection decision. Google chọn điều cần giữ — “indexing isn’t guaranteed.” (bản dịch) «lập chỉ mục không guaranteed.» Nếu một trang không được lập chỉ mục, đó câu hỏi là rarely “did I submit it?” (bản dịch) «đã làm I submit điều này?» và gần như luôn “is it worth keeping?” (bản dịch) «là điều này worth giữ?» Improve giá trị; không resubmit.
4. Canonicalization là part của lập chỉ mục.
Duplicates nhận clustered và một representative URL là stored. rel=canonical là
hint — Google có thể overrule nó. nếu sai URL là được lập chỉ mục, xem xét các tín hiệu
(liên kết nội bộ, sitemaps, các chuyển hướng), không chỉ tag.
5. decision rule cho giữ trang out.
Muốn nó đã biến mất từ chỉ mục? Cho phép crawling + noindex. Muốn bots để skip URL
space hoàn toàn (và không care liệu stray copies nhận được lập chỉ mục qua links)?
robots.txt disallow. không bao giờ sử dụng disallow để deindex.
lập chỉ mục controls & statuses — bảng tra nhanh
Điều gì mỗi control thực ra làm
| Control | Dừng crawling? | Dừng lập chỉ mục? | sử dụng nó cho |
|---|---|---|---|
noindex (meta/header) | Không (phải stay crawlable) | Có | Removing trang từ chỉ mục |
robots.txt disallow | Có | Không | Giữ bots out của thấp-giá trị URL spaces |
rel=canonical | Không | Consolidates ( hint) | Pointing để được ưu tiên duplicate |
| URL removal tool (GSC) | Không | Tạm thời (~6 months) | Fast, ngắn-term hiding trong khi bạn thêm noindex |
Reading trang lập chỉ mục báo cáo (cao-giá trị statuses)
| Status | Ý nghĩ | Điều gì để làm |
|---|---|---|
| Được crawl – hiện tại không được lập chỉ mục | Được crawl, judged không worth giữ | Improve quality/giá trị — không resubmit |
| Discovered – hiện tại không được lập chỉ mục | tìm thấy, crawl deferred; persistence = giá trị tín hiệu | Improve giá trị; kiểm tra liên kết nội bộ |
| Duplicate, Google chose khác canonical | của bạn canonical là overruled | Strengthen các tín hiệu để của bạn được ưu tiên URL |
| được lập chỉ mục, though blocked by robots.txt | Blocked nhưng được lập chỉ mục qua links | Unblock + thêm noindex để xóa |
| URL marked ‘noindex’ | noindex seen và respected | Không có gì (hoạt động as dự kiến) |
| trang với chuyển hướng / soft 404 | Non-canonical chuyển hướng / fake 404 | khắc phục chuyển hướng hoặc trả về thực 404/410 |
Fast facts
- “Indexing isn’t guaranteed” (bản dịch) «Lập chỉ mục không guaranteed» — Google selects điều cần giữ.
noindexchỉ hoạt động nếu đó trang là crawlable.robots.txtchặn crawling, không lập chỉ mục — một blocked trang có thể vẫn là được lập chỉ mục.rel=canonicallà một hint, không một directive (~40 canonical selection các tín hiệu).- Lập chỉ mục là không một xếp hạng factor — đây là đó gate để đang eligible để xếp hạng.
Tools cho seeing và managing lập chỉ mục
kiểm tra liệu cụ thể trang là được lập chỉ mục với Google chỉ mục Checker:
- Paste chính xác công khai URL vào tool.
- Chạy kiểm tra các tín hiệu để fetch trực tiếp phản hồi.
- đọc status, chuyển hướng, noindex, và các tín hiệu canonical nó các báo cáo.
- Follow Open URL Inspection handoff cho Google thực tế chỉ mục verdict — tool chỉ các báo cáo Điều gì observable từ công khai trang.
- Google Search Console — trang lập chỉ mục báo cáo — Google own view của mà các trang là được lập chỉ mục và Vì sao others không phải, status by status.
- URL Inspection (GSC) — kiểm tra liệu single URL là được lập chỉ mục, see Google chosen canonical, và view được kết xuất HTML.
- Bing Quản trị viên web Tools — chỉ mục coverage, URL inspection, và submission cho Bing.
- **
site:operator** — nhanh rough kiểm tra của Điều gì được lập chỉ mục (không substitute Đối với tìm kiếm Console). - Các crawler / trang web audits — Ahrefs trang web Audit và Screaming Frog SEO Spider
surface
noindextags, canonical conflicts, duplicate clusters, và indexability các vấn đề tại quy mô. - Ahrefs Quản trị viên web Tools — free crawl + audit cho các trang bạn verify, flagging indexability các vấn đề.
các tài nguyên worth của bạn time
My related writing
- Đó Beginner Hướng dẫn để SEO kỹ thuật — nơi lập chỉ mục fits trong đó bigger picture.
- Cách Xóa URLs Từ Google Search (5 Các phương thức) — đó right (và sai) ways để deindex.
- Được lập chỉ mục, though blocked by robots.txt — vì sao blocked các trang vẫn nhận được lập chỉ mục, và đó cách sửa.
- Canonicalization: MỘT Beginner Hướng dẫn — cách Google picks đó URL điều này indexes.
- Điều gì “Crawled - Currently Not Indexed” (bản dịch) «Được crawl - Hiện tại Không Được lập chỉ mục» Có nghĩa là trong Google Search Console — diagnosing đó hầu hết phổ biến “không được lập chỉ mục” status.
Từ others
- Robots Meta Tag & X-Robots-Tag: Mọi thứ Bạn Cần để Know (Michal Pecánek, Ahrefs) — đó definitive reference on
noindexdirectives, including: “Never disallow crawling of content that you’re trying to get deindexed in robots.txt.” (bản dịch) «Không bao giờ disallow crawling of nội dung đó bạn là trying để nhận deindexed trong robots.txt.» - r/TechSEO — đó community cho crawl/chỉ mục gỡ lỗi.
Từ khoảng đó ngành
- Google Says ‘Discovered - Hiện tại Không Được lập chỉ mục’ Status Có thể Cuối cùng Forever (Search Engine Journal) — Mueller “That can be forever” (bản dịch) «Đó có thể là forever» quote trong context, với practical takeaways cho các trang stuck trong này status.
- Google Chia sẻ Insights vào Lập chỉ mục & Ngân sách crawl (Search Engine Journal) — Mueller, Illyes, và Splitt on vì sao Google không chỉ mục mọi thứ và cách think về đó crawl/chỉ mục giá trị decision.
- Gary Illyes Talks On Information Retrieval Tại Google Search (Công cụ tìm kiếm Roundtable) — Illyes on finite chỉ mục space và vì sao Google là selective về điều gì điều này stores.
- Spilling đó Beans on Caffeine (Google Hệ thống lập chỉ mục) (Tìm kiếm Off đó Record, Google) — đó Google Search Relations team giải thích cách Caffeine ingests crawl dữ liệu, renders các trang, extracts các tín hiệu, và xây dựng đó chỉ mục.
My speaking
- Cách Tìm kiếm Hoạt động (SlideShare) — my walkthrough of crawling, kết xuất, lập chỉ mục, và xếp hạng. (My standing disclaimer áp dụng: “This is my understanding of systems… not going to be 100% complete or accurate.” (bản dịch) «Này là my understanding of các hệ thống… không going để là 100% hoàn tất hoặc chính xác.»)
Podcasts
- Tìm kiếm Off Record (Google Search Relations) — Spilling beans on Caffeine (Google lập chỉ mục hệ thống) và nhiều hơn! Google team on Cách lập chỉ mục hệ thống ingests crawl dữ liệu, renders và extracts, computes các tín hiệu, và xây dựng chỉ mục. Listen
Videos
- Google Search Central (YouTube) — Cách Google Search Hoạt động series và Martin Splitt lập chỉ mục/kết xuất explainers, including canonicalization và JavaScript SEO videos. Channel
Tự kiểm tra: lập chỉ mục
Five nhanh các câu hỏi on Cách các trang nhận được lập chỉ mục (và Vì sao họ có thể không). Pick câu trả lời cho mỗi, sau đó kiểm tra.
Nhật ký thay đổi
Đã cập nhật 8 thg 8, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.
Đã cập nhật 18 thg 7, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
- Beginner
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
- Beginner
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
- Advanced
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.