Blocked karena tidak terotorisasi permintaan (401)

Apa Google Search Console halaman pengindeksan status "Blocked due to unauthorized request (401)" _(terjemahan)_ “Blocked karena tidak terotorisasi permintaan (401)” berarti, bagaimana ini differs dari 403 di bawah RFC 9110, umum penyebab, cara diagnose ini sebagai sebuah bot, dan right perbaiki oleh halaman jenis — publik, privat, WAF salah positive, atau paywalled.

Pertama kali diterbitkan: 23 Jun 2026 · Terakhir diperbarui: 8 Agu 2026 · Advanced
Bahasa
2 sinyal bukti di halaman ini

"Blocked due to unauthorized request (401)" _(terjemahan)_ “Blocked karena tidak terotorisasi permintaan (401)” adalah sebuah Google Search Console halaman pengindeksan status meaning Googlebot mendapat sebuah HTTP 401 (authentication diperlukan) ketika ini tried untuk crawl URL. Google tidak pernah supplies credentials, so ini dapat't see halaman — ini tidak akan menjadi terindeks, dan sebuah previously terindeks URL returning 401 eventually mendapatkan dropped. oleh RFC 9110, 401 berarti permintaan lacks valid credentials (none dikirim, atau ones dikirim adalah refused); 403 berarti server dipahami permintaan dan refused ini, untuk alasan itu tidak selalu tentang credentials. Google memperlakukan semua 4xx except 429 yang sama untuk pengindeksan, so outcome matches, tetapi penyebab dan perbaiki differ oleh apa halaman sebenarnya adalah: hapus auth requirement pada sebuah accidentally-gated publik halaman; let verified Googlebot melalui oleh IP/reverse-DNS (tidak sebuah spoofable pengguna-agent) pada sebuah halaman falsely blocked oleh bot security; pertahankan authentication pada genuinely privat atau staging konten alih-alih opening ini untuk jelas report; gunakan Google's paywall data terstruktur alih-alih sebuah blanket 401 pada dapat diindeks subscription konten. "Loads fine in my browser" _(terjemahan)_ “memuat fine di my browser” adalah sebuah trap — Anda're authenticated; Googlebot tidak. jangan gunakan 401/403 untuk throttle crawling. Diagnose dengan pemeriksaan URL's Pengujian langsung dan curl -I (sebuah missing WWW-Authenticate header berarti respons adalah malformed, tidak proof dari sebuah WAF). Pengujian langsung dan Validate Perbaiki konfirmasi access, tidak pengindeksan — ada Tidak published retry cadence.

TL;DR — “Blocked due to unauthorized request (401)” (terjemahan) “Blocked karena tidak terotorisasi permintaan (401)” berarti Googlebot mendapat sebuah HTTP 401 (tidak terotorisasi) — sebuah authentication gate ini dapat’t lulus. Google tidak pernah supplies credentials, so konten adalah tidak pernah seen: halaman tidak akan menjadi terindeks, dan sebuah previously terindeks URL returning 401 mendapatkan dropped di atas time. 401 vs 403, precisely (RFC 9110): 401 = permintaan lacks valid credentials (none dikirim, atau ones dikirim adalah refused); 403 = server dipahami permintaan dan refused ini, untuk alasan itu tidak selalu tentang credentials. Google memperlakukan semua 4xx except 429 yang sama untuk pengindeksan, so outcome converges — tetapi penyebab dan perbaiki differ, dan perbaiki bergantung pada apa halaman sebenarnya adalah: hapus auth requirement pada sebuah accidentally-gated publik halaman; let verified Googlebot melalui oleh IP/reverse-DNS (tidak pernah sebuah spoofable pengguna-agent) pada sebuah halaman falsely blocked oleh bot security; pertahankan authentication pada genuinely privat atau staging konten; gunakan Google’s paywall data terstruktur, tidak sebuah blanket 401, pada dapat diindeks subscription konten. “Loads fine di my browser” (terjemahan) “memuat fine di my browser” adalah sebuah trap — Anda’re authenticated; Googlebot tidak. jangan gunakan 401/403 untuk throttle crawling. Diagnose sebagai sebuah bot (pemeriksaan URL Pengujian langsung, curl -I) — sebuah missing WWW-Authenticate header berarti respons adalah malformed, tidak itu sebuah WAF disebabkan ini. Pengujian langsung dan Validate Perbaiki konfirmasi access, tidak pengindeksan, dan ada Tidak published retry cadence.

Apa Google adalah sebenarnya telling Anda

halaman pengindeksan label reports respons Google observed; ini melakukan tidak identify yang authentication, CDN, atau application aturan produced ini. Evidence for this claim The Page Indexing report identifies URLs where Google encountered an authorization request. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Page indexing report underlying pengindeksan perilaku muncul dari Google’s terdokumentasi menangani dari 4xx respons. Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist for indexing. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: HTTP status codes

status muncul straight dari server’s kode respons. Googlebot requested URL dan mendapat sebuah HTTP 401, “Unauthorized” (terjemahan) “tidak terotorisasi” status — halaman adalah behind sebuah authentication gate (HTTP Basic Auth, sebuah login wall, atau sebuah access-control aturan). Google’s own definition di halaman pengindeksan report adalah itu halaman adalah blocked untuk Googlebot oleh sebuah permintaan untuk authorization, dan itu jika Anda ingin ini terindeks Anda perlu untuk either hapus authorization requirement atau let Googlebot melalui oleh verifying -nya identity.

di my own HTTP kode status & mereka SEO Impact writeup I deskripsikan sebuah 401 sebagai client tidak memiliki identified atau verified itself ketika needed — sebuah berguna mental model, tetapi tidak penuh protocol definition. precise aturan, dari RFC 9110: sebuah 401 berarti permintaan lacks valid authentication credentials untuk resource, dan ini dapat juga ikuti credentials server refuses — so sebuah 401 tidak selalu berarti Googlebot (atau sebuah browser) dikirim tidak ada apa pun di semua, hanya itu whatever adalah presented tidak valid. Either cara practical outcome untuk Googlebot adalah yang sama: ini memiliki Tidak credentials untuk offer, so ini tidak pernah mendapatkan past gate.

Apa Google melakukan dengan sebuah 401

Tidak ada apa pun baik, jika Anda wanted halaman terindeks. Google’s HTTP-status documentation adalah jelas itu semua 4xx errors except 429 adalah treated yang sama — crawler inform berikutnya processing sistem itu konten tidak exist. So sebuah 401 effectively tells Google “ada tidak ada apa pun di sini.” (terjemahan) “ada tidak ada apa pun di sini.” consequences:

  • ** halaman tidak akan menjadi terindeks.** Google tidak pernah saw konten, so ada tidak ada apa pun untuk indeks.
  • sebuah previously terindeks halaman mendapatkan dropped. ini tidak unique untuk 401 — ini adalah 4xx family perilaku. sebagai I put ini di Ahrefs HTTP kode status writeup, 4xxs akan penyebab halaman untuk drop dari indeks. sebuah 401 itu muncul pada sebuah halaman Google memiliki sudah terindeks akan, di atas repeated melakukan crawl, lead untuk itu URL falling out.
  • ini melakukan tidak throttle crawling. Google says plainly: jangan gunakan 401 dan 403 kode status untuk limiting laju crawling. 4xx (except 429) memiliki Tidak crawl-rate effect, so Anda dapat’t gunakan 401 sebagai sebuah “slow down” (terjemahan) “slow down” lever — itu’s apa 503/429 adalah untuk.

Satu hal I’m tidak going untuk memberikan Anda adalah sebuah spesifik retry cadence. Google re-melakukan crawl di atas time, tetapi docs jangan publish sebuah guaranteed “Googlebot retries a 401 setiap N days” (terjemahan) “Googlebot retries sebuah 401 setiap N days” schedule, so I tidak akan pretend satu ada. Treat re-crawl sebagai “it’ll come back sekitar, eventually,” (terjemahan) “ini’ll come back sekitar, eventually,” tidak sebuah stopwatch.

401 vs 403 vs lainnya 4xx — bagian itu penting

ini adalah pembedaan sebagian besar tulis-ups blur, dan ini adalah di mana nyata nilai adalah. untuk pengindeksan, Google menangani 401 dan 403 identically ( 4xx-except-429 aturan). tetapi penyebab dan perbaiki adalah berbeda karena codes berarti berbeda hal:

  • 401 tidak terotorisasi, oleh RFC 9110 definition — permintaan lacks valid authentication credentials untuk target resource. itu covers dua cases: Tidak credentials adalah dikirim di semua, atau credentials adalah dikirim dan server refused them. sebuah conformant 401 respons harus carry sebuah WWW-Authenticate header naming setidaknya satu challenge. My own compact versi — “itu client hasn’t identified atau verified itself ketika needed” (terjemahan) “ client hasn’t identified atau verified itself ketika needed” — adalah sebuah berguna shorthand untuk umum case, tetapi treat ini sebagai sebuah mental model, tidak exhaustive aturan.
  • 403 dilarang, oleh yang sama RFC — server dipahami permintaan tetapi refuses untuk fulfill ini. Credentials adalah satu mungkin alasan, tetapi spec adalah jelas itu sebuah permintaan “mungkin menjadi forbidden untuk reasons unrelated untuk itu credentials.” (terjemahan) “mungkin menjadi dilarang untuk alasan unrelated untuk credentials.” So 403 melakukan tidak selalu berarti “itu client adalah known/authenticated tetapi lacks rights” (terjemahan) “ client adalah known/authenticated tetapi lacks rights” — itu’s sebuah umum dunia nyata pattern, tidak sebuah jaminan. pada Google’s halaman pengindeksan report secara khusus, sebuah 403 untuk Googlebot (yang tidak pernah mengirim credentials) biasanya melakukan berarti server adalah returning itu error incorrectly — sering sebuah misconfigured firewall, WAF, atau bot aturan. (ada sebuah sibling Blocked karena access dilarang (403) status untuk itu satu; diagnosis flow overlaps heavily.)

practical mental shortcut masih holds untuk triage: 401 ≈ “an auth gate I forgot untuk lift” (terjemahan) “sebuah auth gate I forgot untuk lift” (sebuah staging situs, leftover HTTP auth), sementara 403 ≈ “a security rule wrongly blocking Googlebot.” (terjemahan) “sebuah security aturan wrongly blocking Googlebot.” sama pengindeksan outcome, berbeda root penyebab — hanya jangan treat either shorthand sebagai protocol’s sebenarnya boundary. decision table adalah di Cheat Sheets tab.

Mengapa Anda’re seeing ini — umum penyebab

pada sebuah halaman Anda sebenarnya ingin terindeks, sebuah 401 adalah hampir selalu satu dari ini:

  • sebuah staging atau dev situs behind Basic Auth. Anda password-protected sebuah staging environment ( right instinct), tetapi Google ditemukan URL somehow — sebuah internal tautan, sebuah sitemap, sebuah leaked reference — dan adalah now reporting 401. jika staging URL genuinely tidak seharusnya menjadi publik, ini adalah yang diharapkan (see intentional-401 bagian).
  • Accidental HTTP auth pada sebuah publik bagian. sebuah .htpasswd aturan, sebuah “coming soon” (terjemahan) “coming soon” plugin, atau sebuah maintenance-mode gate left switched pada di atas sebuah directory itu’s supposed untuk menjadi langsung.
  • sebuah WAF / CDN / IP-allowlist blocking Googlebot. ini adalah sneaky satu. Cloudflare, Akamai, Sucuri, atau sebuah geo/IP allowlist mengembalikan 401 (atau 403) untuk Googlebot’s IPs sementara serving humans fine. halaman “berfungsi untuk everyone” (terjemahan) “berfungsi untuk everyone” karena everyone testing ini adalah coming dari sebuah diizinkan IP.
  • sebuah login wall pada subscription atau paywalled konten Anda sebenarnya ingin terindeks. sebuah blanket 401 mempertahankan Googlebot out entirely — perbaiki tidak untuk weaken gate, ini adalah Google’s didukung paywall data terstruktur (see fourth branch di bawah).

cara diagnose ini — test sebagai sebuah bot, tidak sebuah browser

single biggest trap di sini adalah “it berfungsi untuk me.” (terjemahan) “ini berfungsi untuk me.” dari course ini melakukan — Anda’re authenticated, atau Anda IP adalah pada allowlist, atau Anda browser memiliki sebuah session cookie. Googlebot memiliki none dari itu. So diagnose like sebuah bot:

  • pemeriksaan URL → Pengujian langsung (GSC). ini adalah closest Anda’ll mendapatkan untuk seeing nyata respons Googlebot menerima. Jalankan ini pada affected URL; jika ini dapat’t fetch karena authorization, Anda’ve confirmed 401 adalah nyata dan reproducible.

  • curl -I dari sebuah unauthenticated context. permintaan URL dengan Tidak cookies dan Tidak credentials dan baca status line:

    curl -I https://www.example.com/page/
    # Look for:  HTTP/1.1 401 Unauthorized
    # and a WWW-Authenticate: header confirming an auth gate

jika curl (yang mengirim Tidak session dan Tidak auth) mendapatkan sebuah 401 sementara Anda browser mendapatkan sebuah 200, itu kesenjangan adalah bug — Anda browser adalah authenticated dan Googlebot tidak. RFC 9110 memerlukan sebuah conformant 401 untuk carry sebuah WWW-Authenticate header — -nya presence mengonfirmasi sebuah nyata auth challenge. -nya absence tidak hand Anda jawaban, though: ini tells Anda respons adalah malformed atau incomplete, tidak yang layer produced ini. jangan jump straight untuk “it harus menjadi itu WAF” (terjemahan) “ini harus menjadi WAF” dari sebuah missing header alone.

  • periksa apakah ini adalah IP-scoped. jika curl dari Anda own machine mengembalikan 200 tetapi GSC’s Pengujian langsung fails, itu’s sebuah nyata sinyal sesuatu adalah keyed untuk sumber IP atau permintaan routing — tetapi konfirmasi ini oleh comparing edge/CDN logs, origin logs, application layer, dan apa pun identity provider sebelum naming WAF sebagai penyebab. sebuah HEAD permintaan (apa curl -I mengirim) dapat juga route atau cache differently daripada sebuah Mendapatkan, so cross-periksa dengan sebuah anonymous Mendapatkan too.

cara perbaiki ini — four branches, oleh apa halaman sebenarnya adalah

Di sana tidak satu perbaiki — ada four, dan picking wrong satu either exposes konten Anda dimaksudkan untuk lindungi atau leaves sebuah dapat diindeks halaman permanently gated. Sort URL ke satu dari ini sebelum touching apa pun config:

1. Genuinely privat atau staging konten → pertahankan authentication, jangan touch ini. jika URL truly tidak seharusnya menjadi publik, 401 adalah berfungsi sebagai designed — server-side authentication adalah sebuah legitimate, Google-recommended cara untuk pertahankan konten away dari everyone, Googlebot disertakan. John Mueller memiliki dibuat ini poin untuk staging situs: right cara untuk hide sebuah situs adalah server-side authentication, oleh IP, sebuah cookie, atau wajar server auth, so itu wajar pengguna — dan itu mencakup Googlebot — adalah blocked dari seeing konten. jangan allowlist Googlebot melalui sebuah gate itu’s protecting genuinely privat konten hanya untuk jelas ini report baris; itu defeats poin dari gate. perbaiki di sini adalah penemuan hygiene, tidak access: konfirmasi URL tidak ditautkan, sitemapped, atau submitted ke ini Search Console property, dan leave authentication di place.

2. sebuah publik halaman accidentally gated → hapus authorization requirement. jika halaman seharusnya menjadi terindeks dan gate adalah sebuah leftover — Basic Auth, sebuah login wall, sebuah maintenance-mode plugin — turn ini off untuk itu path. ini adalah straightforward case: setelah sebuah anonymous permintaan mendapatkan sebuah 200, halaman adalah open untuk Googlebot.

3. sebuah publik halaman falsely blocked oleh bot security → admit verified Googlebot, tidak literal pengguna-agent string. Ketika sebuah WAF, CDN, atau IP-allowlist adalah rejecting Googlebot pada sebuah halaman Anda sebenarnya ingin publik, allowlist verified Googlebot oleh IP / reverse-DNS. pengguna-agent adalah trivially spoofable; anyone dapat claim untuk menjadi Googlebot. Google’s recommended path adalah untuk verify crawler oleh -nya published IP ranges atau sebuah reverse-lalu-forward DNS periksa, lalu izinkan itu spesifik permintaan past gate — Anda’re tidak menghapus security aturan, Anda’re carving out sebuah verified exception untuk ini. untuk perbaiki salah positive itself:

  • Identify aturan returning 401/403 untuk Googlebot (Cloudflare Firewall Events, Akamai/Sucuri logs, atau Anda own edge/origin/application logs).
  • Allowlist Google’s verified IP ranges (atau bot category) alih-alih disabling protection wholesale.
  • Re-test dengan pemeriksaan URL Pengujian langsung until Google dapat fetch.

4. Subscription atau paywalled konten Anda ingin terindeks → jangan gunakan blanket 401 di semua. jika halaman adalah registration- atau subscription-gated tetapi Anda ingin ini discoverable di Penelusuran, sebuah hard 401 adalah wrong alat regardless dari penyebab — Googlebot masih dapat’t fetch ini. Google documents sebuah didukung paywall implementation alih-alih: sajikan halaman dengan appropriate paywalled-konten data terstruktur (isAccessibleForFree, hasPart, dan related properties) so Google dapat indeks free-preview portion tanpa Anda memiliki untuk open seluruh halaman. itu’s sebuah markup dan server-respons perubahan, tidak sebuah auth-gate perubahan.

Validate perbaiki dan set expectations

setelah Anda’ve genuinely opened halaman (dan confirmed dengan curl/Pengujian langsung itu sebuah unauthenticated permintaan now mengembalikan 200), menjadi precise tentang apa setiap langkah sebenarnya mengonfirmasi:

  • Pengujian langsung mengonfirmasi access, tidak pengindeksan. Google’s own pemeriksaan URL documentation says pengujian langsung hanya mengonfirmasi apakah Google-InspectionTool dapat saat ini access dan parse halaman — ada Tidak test itu jaminan halaman akan end up di indeks atau muncul di hasil pencarian. sebuah passing Pengujian langsung berarti gate adalah open; ini tidak promise apa pun tentang apa happens berikutnya.
  • Validate Perbaiki adalah opsional, tidak diperlukan. Google memperbarui issue count setiap kali ini recrawls sebuah halaman, apakah atau tidak Anda clicked Validate Perbaiki. gunakan ini untuk Anda own tracking pada sebuah nyata correction — jangan validate sebuah URL itu’s supposed untuk stay privat, dan jangan treat validation itself sebagai sesuatu itu speeds up re-pengindeksan.
  • jangan expect instant re-pengindeksan. Re-crawl dan re-indeks take time, dan — sebagai noted di atas — ada Tidak published retry cadence I’ll quote Anda. Monitor sebenarnya terindeks hasil dan penelusuran performa secara terpisah dari report status; neither Pengujian langsung nor Validate Perbaiki jaminan canonical selection atau penelusuran appearance.
  • sebuah myth untuk drop pada cara out: sebuah 401 di GSC adalah tidak sebuah penalty atau sebuah manual tindakan. ini adalah sebuah crawl-access status. ini tidak hurt rankings dari Anda lainnya halaman dan ini tidak “blacklist” (terjemahan) “blacklist” Anda situs — ini hanya mempertahankan gated halaman out dari indeks.

Di mana ini sits

ini adalah satu dari HTTP-status statuses di halaman pengindeksan report — siblings sertakan Blocked karena access dilarang (403), lainnya 4xx dan 404 statuses, dan 5xx server-error status. untuk report itself dan cara baca “Mengapa halaman tidak indexed” (terjemahan) “Mengapa halaman tidak terindeks” table, see halaman pengindeksan report hub. underlying mechanics — bagaimana Googlebot fetches dan apa kode status berarti untuk ini — adalah covered di crawling dan pengindeksan.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.