Ngôn ngữ

Bị chặn do request chưa được xác thực (401)

Trạng thái Page Indexing “Blocked due to unauthorized request (401)” trong Google Search Console nghĩa là gì, khác 403 theo RFC 9110 ra sao, nguyên nhân thường gặp, cách chẩn đoán như bot và cách sửa đúng theo loại trang — công khai, riêng tư, WAF false positive hoặc paywall.

Xuất bản lần đầu: 23 thg 6, 2026 · Cập nhật lần cuối: 9 thg 8, 2026 · Advanced
Ngôn ngữ
AIĐược viết bởiAI v2
2 tín hiệu bằng chứng trên trang này

“Blocked due to unauthorized request (401)” là trạng thái Page Indexing trong Google Search Console, nghĩa là Googlebot nhận HTTP 401 — yêu cầu xác thực — khi crawl URL. Google không cung cấp thông tin đăng nhập nên không thấy trang; trang không được lập chỉ mục và URL từng được lập chỉ mục nhưng trả 401 cuối cùng bị loại. Theo RFC 9110, 401 nghĩa là request thiếu thông tin xác thực hợp lệ — không gửi hoặc dữ liệu gửi bị từ chối; 403 nghĩa là máy chủ hiểu request nhưng từ chối vì lý do không phải lúc nào cũng liên quan thông tin xác thực. Google xử lý mọi 4xx trừ 429 giống nhau khi lập chỉ mục, nhưng nguyên nhân và cách sửa phụ thuộc mục đích trang: bỏ auth khỏi trang công khai vô tình bị chặn; cho Googlebot đã xác minh qua bằng IP/reverse DNS — không dùng user-agent có thể giả mạo — khi bảo mật bot chặn nhầm; giữ xác thực trên nội dung thật sự riêng tư hoặc staging; dùng structured data paywall của Google thay vì 401 bao quát cho nội dung thuê bao cần lập chỉ mục. “Loads fine in my browser” là cái bẫy vì bạn đã xác thực còn Googlebot chưa. Đừng dùng 401/403 để giảm tốc crawl. Chẩn đoán bằng URL Inspection Live Test và curl -I; thiếu WWW-Authenticate nghĩa response sai chuẩn, không chứng minh WAF. Live Test và Validate Fix chỉ xác nhận quyền truy cập, không xác nhận lập chỉ mục; không có nhịp thử lại được công bố.

Tóm tắt — “Blocked due to unauthorized request (401)” nghĩa là Googlebot nhận HTTP 401 (Unauthorized) — một cổng xác thực bot không thể vượt qua. Google không bao giờ cung cấp thông tin đăng nhập nên không thấy nội dung: trang không được lập chỉ mục, và URL từng được lập chỉ mục nhưng trả 401 sẽ bị loại dần. 401 so với 403, theo RFC 9110: 401 = request thiếu thông tin xác thực hợp lệ — không gửi hoặc thông tin gửi bị từ chối; 403 = máy chủ hiểu request nhưng từ chối thực hiện vì những lý do không phải lúc nào cũng liên quan thông tin xác thực. Google xử lý mọi 4xx trừ 429 giống nhau khi lập chỉ mục nên kết quả hội tụ, nhưng nguyên nhân và cách sửa khác nhau. Cách sửa phụ thuộc mục đích trang: bỏ yêu cầu xác thực khỏi trang công khai vô tình bị chặn; cho Googlebot đã xác minh đi qua bằng IP/reverse DNS — không bao giờ dựa vào user-agent có thể giả mạo — khi công cụ bảo mật bot chặn nhầm; giữ xác thực trên nội dung thật sự riêng tư hoặc staging; dùng structured data paywall của Google, không dùng 401 bao quát, cho nội dung thuê bao cần lập chỉ mục. “Loads fine in my browser” (bản dịch) “Tải bình thường trong trình duyệt của tôi” là cái bẫy: bạn đã xác thực, Googlebot chưa. Đừng dùng 401/403 để giảm tốc crawl. Hãy chẩn đoán như bot — URL Inspection Live Test, curl -I; thiếu header WWW-Authenticate nghĩa là response không đúng chuẩn, không phải bằng chứng WAF gây ra. Live Test và Validate Fix chỉ xác nhận quyền truy cập, không xác nhận lập chỉ mục; Google không công bố nhịp thử lại.

Google thực sự đang cho bạn biết điều gì

Nhãn Page Indexing báo response Google quan sát được; nó không xác định quy tắc xác thực, CDN hay ứng dụng nào tạo response. Evidence for this claim The Page Indexing report identifies URLs where Google encountered an authorization request. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Page indexing report Hành vi lập chỉ mục phía dưới bắt nguồn từ cách Google xử lý response 4xx đã được ghi trong tài liệu. Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist for indexing. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: HTTP status codes

Trạng thái xuất phát trực tiếp từ mã response của máy chủ. Googlebot yêu cầu URL và nhận HTTP 401, trạng thái “Unauthorized”: trang đứng sau cổng xác thực — HTTP Basic Auth, login wall hoặc quy tắc kiểm soát truy cập. Định nghĩa của Google trong báo cáo Page Indexing là trang bị chặn đối với Googlebot bởi yêu cầu authorization; nếu muốn trang được lập chỉ mục, bạn phải bỏ yêu cầu authorization hoặc cho Googlebot truy cập sau khi xác minh danh tính bot.

Trong bài Mã trạng thái HTTP và tác động SEO của tôi, tôi mô tả 401 là lúc client chưa tự nhận diện hoặc chưa được xác minh khi cần — mô hình tư duy hữu ích nhưng không phải định nghĩa giao thức đầy đủ. Quy tắc chính xác từ RFC 9110: 401 nghĩa là request thiếu thông tin xác thực hợp lệ cho tài nguyên; response cũng có thể xuất hiện sau khi máy chủ từ chối thông tin xác thực. Vì vậy, 401 không phải lúc nào cũng nghĩa là Googlebot — hoặc trình duyệt — hoàn toàn không gửi gì, mà là dữ liệu được cung cấp không hợp lệ. Dù trường hợp nào, kết quả thực tế cho Googlebot vẫn giống nhau: bot không có thông tin xác thực để cung cấp nên không vượt qua cổng.

Google làm gì khi gặp 401

Nếu bạn muốn trang được lập chỉ mục thì kết quả không tốt. Tài liệu mã trạng thái HTTP của Google nói rõ mọi lỗi 4xx trừ 429 được xử lý giống nhau: crawler báo cho hệ thống xử lý tiếp theo rằng nội dung không tồn tại. Vì vậy, 401 trên thực tế nói với Google “không có gì ở đây.” Hệ quả:

  • Trang không được lập chỉ mục. Google chưa từng thấy nội dung nên không có gì để lập chỉ mục.
  • Trang từng được lập chỉ mục sẽ bị loại. Đây không phải hành vi riêng của 401 mà thuộc họ 4xx. Như tôi viết trong bài về mã trạng thái HTTP của Ahrefs, 4xx khiến trang bị loại khỏi chỉ mục. Nếu trang Google từng lập chỉ mục bắt đầu trả 401, sau nhiều lần crawl URL sẽ biến mất.
  • 401 không giảm tốc crawl. Google nói rõ: đừng dùng status code 401 và 403 để giới hạn crawl rate. 4xx — trừ 429 — không ảnh hưởng crawl rate, nên không thể dùng 401 làm đòn bẩy “chậm lại”; 503/429 mới dành cho mục đích đó.

Một điều tôi sẽ không đưa ra là nhịp thử lại cụ thể. Google crawl lại theo thời gian nhưng tài liệu không công bố lịch bảo đảm kiểu “Googlebot thử lại 401 mỗi N ngày”, nên tôi không giả vờ rằng lịch đó tồn tại. Hãy hiểu là “cuối cùng bot sẽ quay lại”, không phải đồng hồ đếm ngược.

401 so với 403 và 4xx khác — phần quan trọng

Đây là khác biệt phần lớn bài viết làm mờ và cũng là nơi có giá trị thực. Với lập chỉ mục, Google xử lý 401 và 403 giống nhau — quy tắc 4xx trừ 429. Nhưng nguyên nhân và cách sửa khác vì hai mã có ý nghĩa khác nhau:

  • 401 Unauthorized, theo RFC 9110 — request thiếu thông tin xác thực hợp lệ cho tài nguyên đích. Bao gồm hai trường hợp: không gửi thông tin xác thực, hoặc có gửi nhưng máy chủ từ chối. Response 401 đúng chuẩn phải có header WWW-Authenticate nêu ít nhất một challenge. Cách nói ngắn của tôi — “client chưa tự nhận diện hoặc chưa được xác minh khi cần” — hữu ích cho trường hợp phổ biến, nhưng chỉ là mô hình tư duy, không phải quy tắc đầy đủ.
  • 403 Forbidden, theo cùng RFC — máy chủ hiểu request nhưng từ chối thực hiện. Thông tin xác thực có thể là một lý do, nhưng đặc tả nói rõ request “có thể bị cấm vì lý do không liên quan tới thông tin xác thực.” Vì vậy, 403 không phải lúc nào cũng nghĩa là “client đã biết/đã xác thực nhưng thiếu quyền”; đó là mẫu thực tế phổ biến, không phải bảo đảm. Riêng trong báo cáo Page Indexing của Google, response 403 cho Googlebot — bot không bao giờ gửi thông tin xác thực — thường có nghĩa máy chủ trả lỗi không đúng, thường do firewall, WAF hoặc quy tắc bot cấu hình sai. Trạng thái liên quan là Blocked due to access forbidden (403); luồng chẩn đoán trùng đáng kể.

Lối tắt tư duy thực tế vẫn hữu ích khi phân luồng: 401 ≈ “cổng xác thực tôi quên gỡ” — website staging, HTTP auth còn sót — còn 403 ≈ “quy tắc bảo mật chặn nhầm Googlebot.” Cùng kết quả lập chỉ mục nhưng khác nguyên nhân gốc; đừng coi lối tắt nào là ranh giới thật của giao thức. Bảng quyết định nằm trong tab Cheat Sheets.

Vì sao trạng thái xuất hiện — các nguyên nhân phổ biến

Trên trang bạn thực sự muốn lập chỉ mục, 401 hầu như luôn thuộc một trong các trường hợp sau:

  • Website staging hoặc dev sau Basic Auth. Bạn bảo vệ môi trường staging bằng mật khẩu — ý định đúng — nhưng Google phát hiện URL qua liên kết nội bộ, sitemap hoặc tham chiếu bị lộ và nay báo 401. Nếu URL staging thật sự không nên công khai, đây là hành vi mong đợi; xem phần 401 có chủ đích.
  • HTTP auth vô tình áp dụng cho khu vực công khai. Quy tắc .htpasswd, plugin “coming soon” hoặc cổng maintenance mode còn bật trên thư mục lẽ ra hoạt động.
  • WAF / CDN / IP allowlist chặn Googlebot. Đây là trường hợp khó nhận ra. Cloudflare, Akamai, Sucuri hoặc allowlist địa lý/IP trả 401 — hoặc 403 — cho IP Googlebot nhưng phục vụ người dùng bình thường. Trang “hoạt động với mọi người” vì mọi người kiểm tra từ IP được phép.
  • Login wall trên nội dung thuê bao hoặc paywall mà bạn muốn lập chỉ mục. 401 bao quát chặn hoàn toàn Googlebot; cách sửa không phải làm yếu cổng mà là dùng structured data paywall Google hỗ trợ — xem nhánh thứ tư.

Cách chẩn đoán — kiểm tra như bot, không như trình duyệt

Cái bẫy lớn nhất là “trang hoạt động với tôi.” Dĩ nhiên trang hoạt động: bạn đã xác thực, IP nằm trong allowlist hoặc trình duyệt có session cookie. Googlebot không có thứ nào trong số đó. Vì vậy, hãy chẩn đoán như bot:

  • URL Inspection → Live Test — GSC. Đây là cách gần nhất để xem response thật Googlebot nhận. Chạy trên URL bị ảnh hưởng; nếu công cụ không fetch được vì authorization, bạn đã xác nhận 401 là thật và tái hiện được.

  • curl -I từ ngữ cảnh chưa xác thực. Yêu cầu URL không cookie, không thông tin xác thực và đọc status line:

    curl -I https://www.example.com/page/
# Look for:  HTTP/1.1 401 Unauthorized
# and a WWW-Authenticate: header confirming an auth gate

    Nếu curl — không gửi session hoặc auth — nhận 401 còn trình duyệt nhận 200, khoảng cách đó chính là lỗi: trình duyệt đã xác thực, Googlebot chưa. RFC 9110 yêu cầu response 401 đúng chuẩn có header WWW-Authenticate; sự hiện diện của header xác nhận challenge xác thực thật. Nhưng header vắng mặt không cho biết nguyên nhân: nó chỉ cho biết response sai chuẩn hoặc chưa đầy đủ, không nói lớp nào tạo ra response. Đừng nhảy thẳng tới kết luận “chắc chắn do WAF” chỉ từ header bị thiếu.

  • Kiểm tra có giới hạn theo IP không. Nếu curl từ máy bạn trả 200 nhưng Live Test GSC thất bại, đó là tín hiệu thật rằng có thứ gì đó dựa vào IP nguồn hoặc request routing. Tuy nhiên, hãy xác nhận bằng cách so sánh log edge/CDN, origin, tầng ứng dụng và identity provider trước khi kết luận WAF là nguyên nhân. HEAD request — do curl -I gửi — cũng có thể route hoặc cache khác GET, nên kiểm tra chéo bằng GET ẩn danh.

Cách sửa — bốn nhánh theo mục đích thật của trang

Không có một cách sửa duy nhất; có bốn nhánh, và chọn sai sẽ làm lộ nội dung cần bảo vệ hoặc để trang cần lập chỉ mục bị khóa vĩnh viễn. Hãy phân loại URL vào một nhánh trước khi chạm cấu hình:

1. Nội dung thật sự riêng tư hoặc staging → giữ xác thực, không thay đổi. Nếu URL thật sự không nên công khai, 401 đang hoạt động đúng thiết kế. Xác thực phía máy chủ là cách hợp lệ được Google khuyến nghị để giữ nội dung khỏi mọi người, kể cả Googlebot. John Mueller từng nói về website staging: cách đúng để ẩn website là xác thực phía máy chủ — theo IP, cookie hoặc server auth thông thường — để người dùng bình thường, trong đó có Googlebot, không xem được nội dung. Đừng allowlist Googlebot qua cổng bảo vệ nội dung thật sự riêng tư chỉ để xóa hàng báo cáo; điều đó phá mục đích của cổng. Cách sửa ở đây là vệ sinh discovery, không phải quyền truy cập: xác nhận URL không được liên kết, đưa vào sitemap hoặc gửi trong property Search Console này, rồi giữ xác thực.

2. Trang công khai vô tình bị chặn → bỏ yêu cầu authorization. Nếu trang cần được lập chỉ mục và cổng là phần còn sót — Basic Auth, login wall hoặc plugin maintenance mode — hãy tắt cổng cho đường dẫn đó. Đây là trường hợp đơn giản: khi request ẩn danh nhận 200, trang mở cho Googlebot.

3. Trang công khai bị công cụ bảo mật bot chặn nhầm → cho Googlebot đã xác minh đi qua, không tin chuỗi user-agent. Khi WAF, CDN hoặc IP allowlist từ chối Googlebot trên trang cần công khai, hãy allowlist Googlebot đã xác minh bằng IP / reverse DNS. User-agent rất dễ giả mạo; bất kỳ ai cũng có thể tự nhận là Googlebot. Cách Google khuyến nghị là xác minh crawler bằng dải IP công bố hoặc reverse rồi forward DNS, sau đó cho các request cụ thể đó qua cổng. Bạn không gỡ quy tắc bảo mật mà tạo ngoại lệ đã xác minh. Để sửa false positive:

  • Xác định quy tắc trả 401/403 cho Googlebot — Cloudflare Firewall Events, log Akamai/Sucuri hoặc log edge/origin/application.
  • Allowlist dải IP Google đã xác minh — hoặc danh mục bot — thay vì tắt toàn bộ bảo vệ.
  • Kiểm tra lại bằng URL Inspection Live Test cho tới khi Google fetch được.

4. Nội dung thuê bao hoặc paywall cần lập chỉ mục → hoàn toàn không dùng 401 bao quát. Nếu trang yêu cầu đăng ký/thuê bao nhưng bạn muốn có thể tìm thấy trong Search, 401 cứng là công cụ sai bất kể nguyên nhân vì Googlebot vẫn không fetch được. Google ghi rõ cách triển khai paywall được hỗ trợ: phục vụ trang với structured data paywalled content phù hợp — isAccessibleForFree, hasPart và thuộc tính liên quan — để Google lập chỉ mục phần preview miễn phí mà không cần mở toàn bộ trang. Đây là thay đổi markup và response máy chủ, không phải thay đổi cổng xác thực.

Xác thực cách sửa và đặt kỳ vọng

Sau khi thật sự mở trang — và xác nhận bằng curl/Live Test rằng request chưa xác thực nay trả 200 — hãy phân biệt chính xác mỗi bước chứng minh điều gì:

  • Live Test xác nhận quyền truy cập, không xác nhận lập chỉ mục. Tài liệu URL Inspection của Google nói live test chỉ xác nhận Google-InspectionTool hiện có thể truy cập và phân tích trang; không có phép thử nào bảo đảm trang sẽ vào chỉ mục hoặc xuất hiện trong kết quả Search. Live Test đạt nghĩa là cổng đã mở, không hứa điều gì tiếp theo.
  • Validate Fix là tùy chọn, không bắt buộc. Google cập nhật số lượng lỗi mỗi khi crawl lại, dù bạn có nhấp Validate Fix hay không. Dùng cho theo dõi một sửa đổi thật; đừng validate URL cần tiếp tục riêng tư và đừng coi validation là cách tăng tốc lập chỉ mục lại.
  • Đừng kỳ vọng lập chỉ mục lại tức thì. Crawl lại và lập chỉ mục lại cần thời gian; như đã nêu, không có nhịp thử lại được công bố để trích. Theo dõi riêng kết quả lập chỉ mục thật và hiệu suất tìm kiếm khỏi trạng thái báo cáo; Live Test lẫn Validate Fix đều không bảo đảm chọn canonical hoặc xuất hiện trong Search.
  • Một hiểu lầm cần bỏ: 401 trong GSC không phải penalty hay manual action. Đây là trạng thái truy cập crawl. Nó không làm hại thứ hạng các trang khác và không “blacklist” website; nó chỉ giữ trang bị chặn khỏi chỉ mục.

Vị trí của trạng thái này

Đây là một trạng thái mã HTTP trong báo cáo Page Indexing; các trạng thái liên quan gồm Blocked due to access forbidden (403), 4xx/404 khác và trạng thái lỗi máy chủ 5xx. Để hiểu báo cáo và cách đọc bảng “Why pages aren’t indexed”, xem hub báo cáo Page Indexing. Cơ chế nền — cách Googlebot fetch và ý nghĩa status code — được trình bày trong crawling và indexing.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.