Blocked karena Access dilarang (403)

TL;DR — “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” di Google Search Console berarti Googlebot tried untuk baca Anda halaman dan Anda server mengatakan “Tidak, Anda tidak diizinkan” (terjemahan) “Tidak, Anda’re tidak diizinkan” (sebuah HTTP 403). halaman tidak akan menjadi terindeks. jika halaman adalah supposed untuk menjadi publik, itu’s sebuah bug untuk perbaiki — sering sebuah firewall, CDN, atau security plugin blocking Google oleh mistake, yang adalah mengapa halaman dapat look fine di Anda browser tetapi mendapatkan blocked untuk Google. jika halaman adalah supposed untuk stay privat, 403 dapat menjadi melakukan persis apa ini seharusnya — perbaiki adalah berbeda.

Apa ini status berarti

ini report label berarti Google diterima sebuah HTTP 403 respons sementara requesting URL. Evidence for this claim The Page Indexing report identifies URLs where Google encountered a forbidden-access response. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Google memperlakukan persistent 4xx respons lainnya daripada 429 sebagai tidak tersedia konten untuk pengindeksan. Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist for indexing. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: HTTP status codes

Ketika Anda open halaman pengindeksan report di Search Console dan see “Blocked due untuk access forbidden (403),” (terjemahan) “Blocked due untuk access dilarang (403),” ini adalah telling Anda sesuatu sederhana: Googlebot ditanyakan Anda server untuk halaman, dan server refused dengan sebuah 403 dilarang error.

Karena Google mendapat sebuah 403, ini dapat’t baca halaman’s konten, so ini tidak akan indeks ini — dan jika halaman adalah sudah di Google, ini mendapatkan dropped dari hasil.

seharusnya Anda sebenarnya perbaiki ini?

sebelum Anda chase sebuah aturan, decide apa URL adalah supposed untuk melakukan:

• dimaksudkan untuk menjadi publik dan terindeks — 403 adalah sebuah bug. pertahankan reading; rest dari ini halaman adalah perbaiki.
• dimaksudkan untuk menjadi publik tetapi tidak terindeks — jangan rely pada robots.txt untuk ini; sebuah robots.txt disallow adalah sebuah terpisah gate dengan -nya own report alasan, dan ini dapat’t oleh itself produce sebuah HTTP 403. sajikan wajar 200 respons dan gunakan noindex directive alih-alih.
• dimaksudkan untuk stay privat — 403 dapat menjadi sebuah correct, berfungsi access control. perbaiki tidak firewall aturan; ini adalah membuat sure URL tidak sitting di Anda sitemap atau tautan internal di mana Google mempertahankan finding ini.

Mengapa ini memuat untuk Anda tetapi tidak untuk Google

ini adalah confusing bagian untuk “meant untuk menjadi publik” (terjemahan) “dimaksudkan untuk menjadi publik” case. Anda click URL di Anda browser dan ini memuat perfectly, so bagaimana dapat Google menjadi getting blocked?

Anda browser mengirim sinyal sebuah crawler tidak: cookies, sebuah “wajar” (terjemahan) “wajar” browser pengguna-agent, dan (untuk JS-challenge atau CAPTCHA gates) ability untuk lulus challenge. Googlebot’s permintaan typically looks berbeda pada sebagian besar dari itu — Tidak cookies, sebuah crawler pengguna-agent — yang adalah sering cukup untuk sebuah bot aturan aimed di scrapers untuk fire hanya untuk crawler sementara nyata pengunjung sail right melalui. halaman biasanya tidak rusak — sebuah aturan adalah blocking wrong pengunjung. ( Advanced tab menampilkan cara konfirmasi tepat perbedaan alih-alih guessing.)

sebuah firewall atau CDN adalah sebuah frequently reported penyebab

untuk URLs itu seharusnya menjadi publik, sebuah firewall, CDN, atau security alat (think Cloudflare, sebuah WAF, atau sebuah WordPress security plugin) blocking Googlebot oleh mistake adalah satu dari paling commonly reported penyebab — though ada Tidak independently verified figure untuk persis bagaimana sering. lainnya penyebab sertakan aturan itu block oleh pengguna-agent atau country, hotlink protection, atau putting konten behind sebuah login itu seharusnya menjadi publik.

cara mulai memperbaiki ini

• di Search Console, gunakan pemeriksaan URL pada sebuah affected URL dan click Test langsung URL untuk konfirmasi Google adalah benar-benar getting sebuah 403.
• periksa Anda CDN / firewall / security plugin settings (dan mereka logs) untuk apa pun blocking Googlebot atau -nya IP ranges.
• pastikan ini adalah benar-benar Googlebot sebelum Anda izinkan ini di, dan pertahankan exception sempit — spesifik route dan aturan, tidak sebuah blanket izinkan. Plenty dari bot fake Googlebot name. ( Advanced dan Scripts tabs tampilkan cara verify.)
• setelah Anda perbaiki aturan, halaman seharusnya mengembalikan wajar 200. lalu gunakan Validate Perbaiki di report — re-pengindeksan mengikuti secara otomatis setelah Google re-melakukan crawl 200, though ada Tidak guaranteed timeline untuk ini.

Satu sibling status untuk know: “Blocked due to unauthorized request (401)” (terjemahan) “Blocked karena tidak terotorisasi permintaan (401)” adalah sama idea tetapi untuk halaman behind sebuah login wall. berbeda mechanism, sama outcome dan mostly yang sama perbaiki.

ingin penuh diagnosis-dan-perbaiki loop, WAF specifics, dan verify-Googlebot commands? Switch untuk Advanced tab.

TL;DR — sebuah 403 di halaman pengindeksan report berarti Googlebot mendapat sebuah HTTP 403 pada URL, so Google tidak akan indeks ini (dan menghapus ini jika ini adalah terindeks). Google’s halaman pengindeksan help frames sebuah 403 sebagai credentials supplied tetapi denied — itu’s Google’s report wording, tidak penuh HTTP definition; RFC 9110 defines 403 lebih broadly sebagai “understood tetapi refused,” (terjemahan) “dipahami tetapi refused,” dengan atau tanpa credentials, so treat Google’s framing sebagai sebuah heuristic, tidak proof dari misconfiguration. Decide pertama apakah URL seharusnya menjadi publik dan dapat diindeks di semua — untuk URLs itu seharusnya menjadi publik, sebuah firewall/CDN/WAF unintentionally blocking Googlebot adalah sebuah frequently reported penyebab, yang adalah mengapa halaman sering renders untuk Anda tetapi 403s untuk Google, tetapi sebuah 403 pada sebuah URL dimaksudkan untuk stay privat dapat menjadi berfungsi sebagai yang dimaksud. Google memperlakukan 401 dan 403 yang sama untuk pengindeksan, dan explicitly says jangan gunakan 401/403 untuk limit laju crawling — gunakan 429 (atau 503). Verify nyata Googlebot (reverse DNS / published IP ranges / correct client category) sebelum allowlisting, cakupan apa pun exception untuk spesifik route dan aturan, lalu konfirmasi sebuah 200 di pemeriksaan URL → Test langsung URL dan jalankan Validate Perbaiki.

Apa Google sebenarnya says tentang sebuah 403 — dan apa HTTP sebenarnya says

label reports observed respons, tidak spesifik WAF, CDN, atau access aturan itu disebabkan ini. Evidence for this claim The Page Indexing report identifies URLs where Google encountered a forbidden-access response. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report -nya pengindeksan consequence mengikuti Google’s umum 4xx menangani. Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist for indexing. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: HTTP status codes

Dokumentasi laporan pengindeksan Google menjelaskan hal ini: sebuah HTTP 403 berarti pengguna agent disediakan credentials tetapi adalah tidak granted access — tetapi Googlebot tidak pernah menyediakan credentials, so, di Google’s kata, Anda server adalah returning error incorrectly. halaman akan tidak menjadi terindeks. jika Anda ingin ini terindeks, Google’s perbaiki adalah untuk either admit non-signed-di pengguna atau explicitly izinkan Googlebot’s permintaan tanpa authentication.

itu’s Google’s Help-doc framing, though, tidak menyelesaikan HTTP definition. RFC 9110 ( saat ini HTTP semantics spec) defines 403 lebih broadly: server dipahami permintaan dan refuses untuk fulfill ini. Credentials dapat menjadi bagian dari itu — tetapi RFC adalah jelas itu sebuah permintaan dapat menjadi dilarang untuk alasan unrelated untuk credentials entirely: policy, sebuah access-control aturan, sebuah edge security decision, whatever server owner decided. So berguna takeaway tidak “a 403 untuk Googlebot selalu berarti a rusak rule oleh definition” (terjemahan) “sebuah 403 untuk Googlebot selalu berarti sebuah rusak aturan oleh definition” — ini adalah “figure out apakah ini URL adalah supposed untuk menjadi reachable, lalu temukan itu tepat rule itu returned 403.” (terjemahan) “figure out apakah ini URL adalah supposed untuk menjadi reachable, lalu temukan tepat aturan itu dikembalikan 403.” untuk sebuah halaman itu seharusnya menjadi publik dan terindeks, sebuah 403 untuk Googlebot adalah hampir selalu sesuatu untuk perbaiki. untuk sebuah halaman itu’s dengan sengaja privat atau dilarang, 403 dapat menjadi sebuah valid, berfungsi access decision — masalah ada biasanya itu Google tidak seharusnya memiliki ditemukan URL di pertama place (see intent periksa di bawah), tidak itu firewall adalah wrong.

Whichever case ini adalah, Google’s terpisah HTTP status-codes documentation adalah blunt tentang pengindeksan consequence: ini tidak gunakan konten dari URLs returning 4xx codes, semua 4xx errors except 429 adalah treated yang sama ( crawler tells berikutnya sistem konten tidak exist), dan pengindeksan pipeline menghapus URL dari indeks jika ini adalah previously terindeks.

Decide apa URL adalah supposed untuk melakukan sebelum Anda perbaiki apa pun

Tidak setiap baris di ini report perlu yang sama perbaiki. Sort URL ke satu dari four buckets pertama:

1. Publik dan dimaksudkan untuk menjadi terindeks. 403 adalah unintended — berfungsi melalui diagnose → perbaiki → validate loop di bawah.
2. Publik tetapi tidak dimaksudkan untuk menjadi terindeks. jangan reach untuk robots.txt untuk solve ini — sebuah robots.txt disallow adalah sebuah terpisah crawl gate dengan -nya own halaman pengindeksan alasan (“blocked by robots.txt” (terjemahan) “blocked oleh robots.txt”); ini tidak itself produce HTTP 403 ini status reports. sajikan wajar 200 respons dan gunakan noindex directive (atau sebuah proper redirect/removal) alih-alih.
3. Dengan sengaja privat atau dilarang. sebuah 403 dapat menjadi correct, yang dimaksud outcome untuk sebuah resource requester tidak seharusnya reach. jika ini adalah menunjukkan up di ini report, actionable masalah adalah biasanya itu URL adalah discoverable — di Anda sitemap, tautan internal, atau elsewhere — tidak itu access aturan adalah wrong. Bersih up penemuan sinyal alih-alih opening door.
4. sebuah URL itu tidak seharusnya exist, atau milik siapa existence Anda tidak ingin untuk konfirmasi. Choose respons berdasarkan Anda application’s security policy, tidak sebuah SEO shortcut — sebuah 403 (atau sebuah 404, jika Anda tidak ingin untuk konfirmasi URL ada di semua) dapat keduanya menjadi legitimate di sini.

Semuanya dari di sini pada assumes case 1: sebuah URL Anda sebenarnya ingin di-crawl dan terindeks.

403 vs 401 — cara tell them apart

ini dua adalah siblings di report dan sebagian besar tulis-ups blur them dengan sebuah aturan dari thumb (“403 = no credentials asked, 401 = login wall” (terjemahan) “403 = Tidak credentials ditanyakan, 401 = login wall”) itu tidak reliable pada -nya own — sebuah misconfigured auth layer dapat kembalikan 403 too, dan masih land di ini baris. respons itself adalah nyata sinyal:

• 401 (tidak terotorisasi) — per RFC 9110, sebuah 401 secara khusus berarti valid authentication credentials adalah missing, dan respons adalah diperlukan untuk carry sebuah WWW-Authenticate challenge header (HTTP auth, sebuah login wall). Google adalah told ini needed untuk authenticate dan tidak dapat.
• 403 (access dilarang) — sebuah lebih luas refusal. RFC 9110 defines ini sebagai “the server understood the request but refuses to fulfill it,” (terjemahan) “ server dipahami permintaan tetapi refuses untuk fulfill ini,” dengan atau tanpa credentials. dalam praktik ini baris adalah sebagian besar sering sebuah firewall/CDN/WAF atau security-aturan block, tetapi ini dapat juga menjadi sebuah application returning 403 dari sebuah rusak auth periksa, sebuah rate limiter, atau sebuah deliberate access-control decision.

untuk sebenarnya tell them apart pada sebuah diberikan URL, periksa dikembalikan status dan headers — melakukan respons carry sebuah WWW-Authenticate header? — alih-alih assuming sebuah mechanism dari report label alone. mereka share outcome (tidak terindeks) dan sering perbaiki (let verified Googlebot melalui, atau open konten untuk anonymous pengguna), so setelah Anda know yang satu Anda’re looking di, yang sama diagnosis loop di bawah applies untuk either baris.

Apa sebuah 403 melakukan untuk pengindeksan

Three hal ikuti setelah Googlebot mendapatkan sebuah 403:

1. ** konten adalah ignored.** Google tidak gunakan konten dari 4xx URLs, so tidak ada apa pun pada halaman dapat menjadi terindeks.
2. ** URL adalah dihapus jika ini adalah terindeks.** sebuah 403 dapat deindex sebuah halaman itu adalah previously peringkat — ini tidak sebuah “won’t get added” (terjemahan) “tidak akan mendapatkan ditambahkan” masalah hanya, ini adalah sebuah “drops out” (terjemahan) “drops out” masalah.
3. crawl frequency decays. Google secara bertahap melakukan crawl 4xx URLs lebih sedikit sering di atas time, so sebuah panjang-standing 403 mendapatkan visited lebih sedikit dan recovers lebih slowly setelah Anda perbaiki ini.

Mengapa Googlebot mendapatkan sebuah 403 ketika Anda browser tidak

ini adalah pertanyaan itu mengirim orang di circles. halaman memuat di Anda browser, so konten adalah obviously fine — tetapi Google reports sebuah 403. mungkin explanation adalah itu Anda browser dan Googlebot membuat very berbeda-looking permintaan, dan sebuah bot-management aturan dibangun untuk berhenti scrapers dapat fire untuk crawler sementara serving humans biasanya — tetapi treat itu sebagai sebuah hypothesis untuk konfirmasi, tidak sebuah foregone conclusion, karena attribute itu sebenarnya penting varies oleh situs:

• Anda browser mengirim cookies, sebuah nyata browser pengguna-agent, dan dapat solve sebuah JS atau CAPTCHA challenge; Googlebot’s permintaan typically carries none dari itu — Tidak cookies, sebuah crawler pengguna-agent, dan ini dapat’t solve sebuah interactive challenge (though Google-InspectionTool melakukan render JavaScript dan report dirender output, so “Googlebot has no JavaScript” (terjemahan) “Googlebot tidak memiliki JavaScript” tidak accurate untuk setiap bagian dari ini).
• Beyond client-side differences, dua permintaan dapat juga differ di sumber IP/category, geography, metode, referrer, cache state, dan yang aturan sebenarnya fired — apa pun satu dari itu dapat menjadi nyata trigger.

jangan guess yang attribute disebabkan ini. Bandingkan tepat edge dan origin logs untuk sebuah nyata blocked permintaan terhadap sebuah wajar browser hit — sama aturan ID, respons headers, metode, UA, sumber IP dan -nya verified category, geo, cookies, referrer, cache status, dan challenge outcome — dan perubahan satu attribute di sebuah time until Anda temukan satu itu flips respons. itu’s bagaimana Anda konfirmasi 403 adalah selective alih-alih hanya assume ini.

umum penyebab

• CDN / WAF bot management. Cloudflare (bot Fight Mode / Super bot Fight Mode, browser Integrity periksa, Managed Challenge), Akamai, Imperva/Incapsula, Sucuri, AWS WAF — ini dapat challenge atau 403 non-browser clients, including Googlebot. untuk URLs itu seharusnya menjadi publik, ini adalah satu dari paling frequently reported penyebab, dan hampir selalu unintended — though ada Tidak independently verified figure untuk apa share dari cases ini accounts untuk.
• server firewall / security aturan. mod_security / OWASP CRS, fail2ban, atau host-tingkat firewalls flagging Googlebot’s pattern sebagai abusive.
• pengguna-agent / referrer / hotlink aturan. aturan itu 403 apa pun permintaan lacking sebuah browser-like pengguna-agent atau referrer.
• Geo / IP blocking. Excluding IP ranges Googlebot melakukan crawl dari (Googlebot melakukan crawl primarily dari US IPs), so sebuah country block dapat silently catch ini.
• Login / credential walls. Requiring cookies atau sebuah login untuk view konten itu seharusnya menjadi publik — ini overlaps dengan 401 case.
• Rate-limiting aturan itu 403 setelah N permintaan. jangan melakukan ini — see di bawah.

jangan gunakan 403 untuk throttle Googlebot

ini adalah satu anti-pattern worth calling out oleh name. Orang (dan beberapa CDNs) kembalikan 403s atau 404s untuk slow Googlebot down dan reduce server muat. Google memiliki telah jelas itu ini tidak berfungsi dan tidak seharusnya menjadi selesai: jangan gunakan 401 dan 403 kode status untuk limiting laju crawling. mereka memiliki Tidak effect pada laju crawling — mereka hanya deindex halaman. jika Anda genuinely perlu Googlebot untuk back off, kembalikan 429 (atau sebuah 5xx like 503); itu adalah codes Google membaca sebagai “slow down,” (terjemahan) “slow down,” dan effect adalah temporary, tidak permanent.

cara diagnose

1. pemeriksaan URL → Test langsung URL. Jalankan sebuah affected URL melalui Search Console dan gunakan Test langsung URL untuk konfirmasi Google adalah saat ini getting sebuah 403 (tidak sebuah stale report). ingatlah ini test adalah Google-InspectionTool, sebuah spesifik Google client — sebuah passing pengujian langsung tells Anda InspectionTool mendapat melalui right lalu, tidak itu scheduled umum Googlebot akan take identical WAF, geo, cache, atau rate-limit path pada -nya berikutnya crawl.
2. Reproduce sebagai Googlebot. jangan test dari Anda wajar browser — fetch URL dengan Googlebot’s pengguna-agent, ideally dari di luar Anda network dan dari lebih daripada satu region (Google mostly melakukan crawl dari US IPs tetapi dapat shift untuk lainnya countries jika US permintaan mendapatkan blocked, so sebuah single-region lulus tidak prove global access), untuk trip yang sama aturan. (Commands adalah di Scripts tab.)
3. Baca CDN / WAF / firewall logs. temukan tepat aturan itu fired pada Googlebot’s permintaan — bandingkan -nya respons headers, aturan ID, dan trigger (pengguna-agent, IP, challenge, rate limit) terhadap sebuah wajar browser hit’s log entry, alih-alih assuming yang attribute disebabkan ini.
4. Verify nyata Googlebot — dan -nya category. sebelum Anda allowlist apa pun, konfirmasi permintaan adalah genuinely Googlebot melalui reverse + forward DNS atau Google’s published IP ranges, dan periksa yang Google client dibuat permintaan — umum Googlebot, special-case crawler, dan pengguna-triggered fetchers (like Google-InspectionTool) gunakan berbeda host masks dan IP lists, so verifying terhadap wrong list dapat membuat sebuah nyata permintaan look spoofed.

cara perbaiki ini

• Cakupan sebuah sempit exception untuk verified Googlebot di Anda WAF / firewall — oleh verified identity (reverse + forward DNS, cocok untuk correct client category) atau Google’s saat ini published crawler IP ranges, tidak oleh trusting pengguna-agent string alone. pertahankan exception sempit: spesifik route(s) itu perlu ini dan spesifik aturan itu’s blocking, alih-alih sebuah blanket izinkan-semua-Google exception — leave Anda lainnya security controls, rate limits, dan logging di place, dan set sebuah expiry/review date so sebuah stale allowlist tidak diam-diam outlive -nya alasan. tanyakan Anda CDN/firewall vendor untuk konfirmasi Googlebot adalah diizinkan, dan automate sebuah periksa dari Anda block aturan terhadap Google’s saat ini published IP subnets so sebuah future IP-range perbarui tidak silently re-block Anda.
• Open publik konten untuk anonymous pengguna. jika 403 muncul dari sebuah login/cookie requirement pada konten itu seharusnya menjadi publik, hapus itu requirement (ini adalah juga shared perbaiki dengan 401 sibling).
• Tukar 403 rate-limits untuk 429. jika sebuah aturan 403s setelah sebuah permintaan threshold, perubahan ini untuk kembalikan 429 (atau 503) so Googlebot membaca ini sebagai “slow down” (terjemahan) “perlambat laju” alih-alih “go away.” (terjemahan) “pergi.”

Validate perbaiki dan mendapatkan re-terindeks

Setelah aturan adalah fixed, URL seharusnya kembalikan 200. lalu:

1. pemeriksaan URL → Test langsung URL untuk konfirmasi langsung respons adalah now 200.
2. permintaan pengindeksan untuk tinggi-priority URLs, dan/atau click Validate Perbaiki pada “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” baris di halaman pengindeksan report.
3. Re-pengindeksan mengikuti secara otomatis setelah Google re-melakukan crawl sebuah 200 — ada Tidak official jaminan dari persis bagaimana fast, dan URL masih perlu untuk jelas sebuah wajar crawl sebelum ini dapat reappear. Anda tidak perlu untuk trigger apa pun manually beyond menghapus block, confirming healthy respons, dan giving Google time untuk recrawl.

untuk bigger picture dari yang tidak-terindeks alasan tampilkan up di sini dan bagaimana report groups them, see halaman pengindeksan report overview; untuk sibling status, “Blocked due to unauthorized request (401)” (terjemahan) “Blocked karena tidak terotorisasi permintaan (401)” adalah 401 versi dari ini sama masalah.

AI summary

sebuah condensed take pada Advanced versi:

• Apa ini adalah. “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” di GSC’s halaman pengindeksan report = Googlebot di-crawl URL dan server dikembalikan HTTP 403. Google tidak akan indeks ini, dan menghapus ini jika ini adalah previously terindeks.
• Google’s framing vs. HTTP’s. Google’s Help doc mendeskripsikan 403 sebagai credentials disediakan tetapi denied — itu’s Google’s report wording, tidak penuh HTTP definition. RFC 9110 defines 403 lebih broadly: sebuah refusal server dapat issue dengan atau tanpa credentials, untuk apa pun alasan.
• Decide URL’s intent pertama. Publik dan dimaksudkan untuk menjadi terindeks → perbaiki

403. Publik tetapi tidak dimaksudkan untuk menjadi terindeks → gunakan noindex, tidak robots.txt (yang adalah sebuah terpisah gate dan dapat’t itself produce sebuah 403). Dengan sengaja privat → 403 dapat menjadi correct; bersih up bagaimana Google adalah discovering URL alih-alih.

• sebuah frequently reported penyebab (untuk publik URLs). sebuah firewall / CDN / WAF (Cloudflare, Akamai, Imperva/Incapsula, Sucuri, AWS WAF) atau sebuah security plugin blocking Googlebot, hampir selalu unintentionally — though ada Tidak verified figure untuk bagaimana sering ini spesifik penyebab applies.
• Mengapa ini dapat muat untuk Anda tetapi tidak Google. Anda browser typically carries cookies, sebuah nyata pengguna-agent, dan challenge-solving itu Googlebot’s permintaan tidak — tetapi konfirmasi sebenarnya trigger oleh comparing logs alih-alih assuming.
• 401 vs 403. periksa respons: 401 memerlukan sebuah WWW-Authenticate challenge; 403 adalah sebuah lebih luas refusal itu dapat happen dengan atau tanpa credentials. Google memperlakukan keduanya yang sama untuk pengindeksan, dan memperbaiki sering overlap.
• jangan throttle dengan ini. jangan gunakan 401/403 untuk limit laju crawling — mereka hanya deindex. gunakan 429 (atau 503) untuk “slow down.” (terjemahan) “slow down.”
• Diagnose. pemeriksaan URL → Test langsung URL (mengonfirmasi Google-InspectionTool access di itu moment, tidak scheduled Googlebot’s tepat path); reproduce sebagai Googlebot dari lebih daripada satu region; bandingkan WAF/firewall logs line oleh line; verify nyata Googlebot dan -nya client category sebelum allowlisting.
• Perbaiki + validate. Cakupan sebuah sempit, verified-Googlebot exception (atau open konten); tukar 403 rate-limits untuk 429; konfirmasi sebuah 200 di Test langsung URL; jalankan Validate Perbaiki. Re-pengindeksan mengikuti secara otomatis setelah Google re-melakukan crawl sebuah 200, tanpa sebuah guaranteed timeline.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• halaman pengindeksan report — report itself, including “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” dan “Blocked due to unauthorized request (401)” (terjemahan) “Blocked karena tidak terotorisasi permintaan (401)” entries dan apa setiap berarti.
• Bagaimana HTTP kode status, dan network dan DNS errors memengaruhi Google Search — bagaimana Google menangani 4xx (konten ignored, URL dihapus dari indeks) dan aturan terhadap menggunakan 401/403 untuk limit laju crawling.
• Verifying Googlebot dan lainnya Google crawler — reverse + forward DNS dan published crawler IP ranges, so Anda allowlist nyata Googlebot dan tidak sebuah spoofer.
• Overview dari Google crawler dan fetchers — setiap Google pengguna-agent dan IP-range JSON files untuk match terhadap.
• jangan 404 my yum (Penelusuran Central Blog, 2023) — Google asking situs owners dan CDNs untuk berhenti menggunakan 403/404 untuk throttle Googlebot, dan apa untuk gunakan alih-alih.

Bing / Microsoft

• Bing Webmaster alat — crawl Control — Bingbot, like Googlebot, dapat’t indeks sebuah halaman ini mendapatkan sebuah 403 pada; verify firewall/CDN aturan tidak blocking Bingbot (hostnames resolve untuk *.search.msn.com) dan gunakan crawl Control untuk manage speed alih-alih blocking.

HTTP standard

• RFC 9110 — HTTP Semantics, §15.5.2 (401) dan §15.5.4 (403) — protocol definitions ini halaman menggunakan untuk correct Google’s lebih sempit, credential-based Help-doc wording: 401 memerlukan sebuah WWW-Authenticate challenge, sementara 403 adalah sebuah lebih luas refusal itu dapat happen dengan atau tanpa credentials.

Quotes dari sumber

pada—record statements dari Google. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa sebuah 403 berarti untuk pengindeksan (halaman pengindeksan report)

• “HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly. The page will not be indexed.” (terjemahan) “HTTP 403 berarti agen pengguna memberikan kredensial, tetapi akses tidak diberikan. Namun, Googlebot tidak pernah memberikan kredensial, jadi server Anda mengembalikan kesalahan ini secara keliru. Halaman tersebut tidak akan diindeks.”* — Google Search Console Help, “Page Indexing report.” (terjemahan) “halaman pengindeksan report.” Jump untuk quote

Google — bagaimana 4xx (including 403) adalah handled

• “Google doesn’t use the content from URLs that return 4xx status codes.” (terjemahan) “Google tidak menggunakan konten dari URL yang mengembalikan kode status 4xx.”* — Google Search Central docs. Jump untuk quote
• “All 4xx errors, except 429, are treated the same: Google crawlers inform the next processing system that the content doesn’t exist.” (terjemahan) “Semua kesalahan 4xx, kecuali 429, diperlakukan sama: crawler Google memberi tahu sistem pemrosesan berikutnya bahwa konten tersebut tidak ada.”* Jump untuk quote

Google — jangan gunakan 401/403 untuk limit laju crawling

• “Don’t use 401 and 403 status codes for limiting the crawl rate.” (terjemahan) “Jangan gunakan kode status 401 dan 403 untuk membatasi laju crawling.”* — Google Search Central docs. Jump untuk quote

403 diagnose → perbaiki → validate checklist

Jalankan ini terhadap apa pun URL menunjukkan “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)”:

• Decide URL’s intent — publik/dapat diindeks, publik/non-dapat diindeks, dengan sengaja privat, atau tidak seharusnya menjadi discoverable di semua. hanya publik-dan-dapat diindeks case perlu rest dari ini checklist.
• Konfirmasi ini adalah langsung, tidak stale — pemeriksaan URL → Test langsung URL menampilkan sebuah saat ini 403 (ini mengonfirmasi Google-InspectionTool access, tidak niscaya scheduled Googlebot’s tepat path).
• Reproduce sebagai Googlebot — fetch URL dengan Googlebot’s pengguna-agent (dan dari di luar Anda network, ideally lebih daripada satu region), tidak Anda wajar browser.
• temukan aturan — bandingkan CDN / WAF / firewall / plugin logs untuk blocked permintaan terhadap sebuah wajar browser hit (aturan ID + trigger: pengguna-agent, IP, challenge, atau rate limit) alih-alih assuming penyebab.
• Verify nyata Googlebot dan -nya client category — reverse + forward DNS (host ends di googlebot.com / google.com / googleusercontent.com) atau match IP-range list untuk correct category, sebelum allowlisting apa pun.
• Cakupan sebuah sempit exception untuk verified Googlebot — spesifik route(s) dan aturan, oleh identity/IP range, dengan logging dan sebuah expiry/review date — tidak sebuah blanket izinkan dan tidak pernah oleh trusting pengguna-agent string alone.
• Open publik konten — jika 403 adalah sebuah login/cookie requirement pada konten itu seharusnya menjadi publik, hapus ini.
• Tukar apa pun 403 rate-limit untuk 429 (atau 503) — tidak pernah gunakan 401/403 untuk slow crawling.
• Konfirmasi sebuah 200 — pemeriksaan URL → Test langsung URL now mengembalikan 200.
• Validate — click Validate Perbaiki pada 403 baris dan/atau permintaan pengindeksan untuk priority URLs; re-pengindeksan lalu happens secara otomatis pada re-crawl.
• Future-proof — automate sebuah periksa dari Anda block aturan terhadap Google’s published IP subnets so sebuah IP-range perbarui tidak silently re-block Anda.

mental models

1. tanyakan “seharusnya ini menjadi publik?” (terjemahan) “seharusnya ini menjadi publik?” sebelum “who’s misconfigured?” (terjemahan) “siapa’s misconfigured?” Google’s Help wording frames 403 sebagai credentials dikirim dan refused, tetapi RFC 9110 defines ini lebih broadly — sebuah permintaan server dipahami dan refused, untuk apa pun alasan, credentials disertakan atau tidak. untuk sebuah halaman itu’s supposed untuk menjadi publik dan terindeks, sebuah 403 untuk Googlebot adalah hampir selalu sebuah aturan firing pada wrong pengunjung — treat ini sebagai “find the rule,” (terjemahan) “temukan aturan,” tidak “judge the page.” (terjemahan) “judge halaman.” untuk sebuah halaman itu’s dengan sengaja privat, 403 mungkin menjadi melakukan -nya job; perbaiki ada menghapus URL dari Google’s penemuan path, tidak opening firewall.

2. sama aturan, sebuah berbeda-looking pengunjung — konfirmasi yang perbedaan penting. halaman dapat muat untuk Anda dan 403 untuk Google karena Anda browser carries cookies, sebuah nyata pengguna-agent, dan challenge-solving itu Googlebot’s permintaan tidak. tetapi jangan assume yang attribute triggered aturan — bandingkan logs dan perubahan satu attribute di sebuah time. Debug oleh membuat Googlebot’s permintaan, tidak yours, dan let logs tell Anda mengapa, tidak sebuah guess.

3. Verify identity, lalu cakupan exception narrowly. Anyone dapat spoof Googlebot pengguna-agent. order adalah selalu: konfirmasi identity dan client category (reverse DNS / matching IP-range list) → lalu izinkan — dan bahkan lalu, cakupan exception untuk spesifik route dan aturan, dengan logging dan sebuah expiry/review date, alih-alih sebuah blanket Google allowlist. Allowlisting pada pengguna-agent alone, atau too broadly, opens sebuah celah untuk scrapers pretending untuk menjadi Google.

4. 403 adalah wrong throttle. jika Anda goal adalah untuk slow Googlebot, 401/403 jangan melakukan ini — mereka deindex. “slow down” (terjemahan) “slow down” codes adalah 429 dan 5xx/503. Pick code itu matches Anda intent: “go away forever” (terjemahan) “pergi selamanya” (deindex) vs. “come back later” (terjemahan) “kembali nanti” (throttle).

5. 403 dan 401 adalah close cousins, told apart oleh respons. 401 memerlukan sebuah WWW-Authenticate challenge — sebuah nyata authorization wall. 403 adalah sebuah lebih luas refusal itu dapat happen dengan atau tanpa credentials, so jangan infer mechanism dari label alone; periksa sebenarnya respons. setelah Anda know yang satu Anda’re looking di, mereka share outcome (tidak terindeks) dan sering perbaiki (admit verified Googlebot / open konten) — diagnose them dengan yang sama loop.

403 cheat sheet

** sibling statuses di halaman pengindeksan**

kode status dan crawling — pick right satu

Apa 403 melakukan untuk sebuah halaman dimaksudkan untuk menjadi terindeks

• konten ignored (Google tidak gunakan 4xx konten).
• URL dihapus dari indeks jika ini adalah previously terindeks.
• crawl frequency decays sementara 403 persists.

Verify-Googlebot quick reference

• Reverse-DNS IP → host harus end di googlebot.com, google.com, atau googleusercontent.com.
• Forward-DNS itu host → harus resolve back untuk yang sama IP.
• atau match IP terhadap Google’s saat ini published crawler IP-range JSON files untuk correct client category — umum Googlebot, special-case crawler, dan pengguna-triggered fetchers (like Google-InspectionTool) publish terpisah lists.

Reproduce 403 sebagai Googlebot

jangan test dari Anda wajar browser — ini tidak akan trip bot aturan. Fetch URL dengan Googlebot’s pengguna-agent so Anda see apa Google sees.

macOS / Linux

# Fetch headers only, as Googlebot's user-agent — look at the status line
curl -s -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  -I https://www.example.com/page/
# A "HTTP/1.1 403 Forbidden" here reproduces what Googlebot is getting.

Windows (PowerShell)

# -SkipHttpErrorCheck so PowerShell shows the 403 instead of throwing
$ua = "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Invoke-WebRequest -Uri "https://www.example.com/page/" -Method Head `
  -UserAgent $ua -SkipHttpErrorCheck | Select-Object StatusCode, StatusDescription

jika itu mengembalikan 403 tetapi sebuah wajar browser permintaan mengembalikan 200, Anda’ve confirmed sebuah bot-spesifik block. Note: sebuah sophisticated WAF dapat juga key off IP, so untuk sebuah penuh reproduction test dari di luar Anda own network.

Verify sebuah bot adalah benar-benar Googlebot (sebelum Anda allowlist)

Plenty dari traffic fakes Googlebot pengguna-agent. Konfirmasi identity dengan sebuah reverse

• forward DNS periksa sebelum Anda izinkan sebuah IP melalui Anda firewall.

macOS / Linux

# 1) Reverse DNS the IP from your logs — must end in googlebot.com / google.com
host 66.249.66.1
# → ... domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

jika reverse lookup tidak end di sebuah Google domain, atau forward lookup tidak match original IP, ini tidak Googlebot — jangan allowlist ini. Anda dapat juga match IP terhadap Google’s published ranges (googlebot.json). Note itu googlebot.json covers umum Googlebot hanya — special-case crawler dan pengguna-triggered fetchers (like Google-InspectionTool) publish terpisah IP-range files, so match terhadap list untuk sebenarnya client Anda’re trying untuk verify. Konfirmasi identity pertama, lalu cakupan exception untuk spesifik route dan aturan; tidak pernah allowlist oleh pengguna-agent string alone atau open sebuah blanket exception.

Diagnosing sebuah 403: WAF block, login wall, atau rate-limit misuse?

pertama fork memeriksa respons itself — sebuah 403 dengan Tidak WWW-Authenticate header atau login prompt poin away dari 401 sibling dan toward sebuah security-aturan atau access-control refusal. dari di sana branches ikuti diagnose-lalu-perbaiki loop sudah di Advanced tab; treat setiap hasil sebagai sebuah hypothesis untuk konfirmasi di Anda logs, tidak sebuah certainty. Click melalui ini.

Track 403 bucket, tidak hanya -nya existence

satu angka worth watching adalah bagaimana banyak URLs sit di “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” baris dari halaman pengindeksan report di atas time, tidak hanya apakah baris ada — sebuah single snapshot dapat’t tell Anda apakah sebuah perbaiki sebenarnya worked atau apakah baru 403s adalah accumulating.

403-bucket count di atas time

• Metric — count dari URLs di bawah “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” di GSC’s halaman pengindeksan report, tracked week di atas week.
• Apa ini tells Anda — Apakah sebuah allowlist atau firewall-aturan perbaiki sebenarnya worked dan apakah baru 403s adalah creeping di. setelah Anda allowlist verified Googlebot atau open sebuah publik path, ini count seharusnya fall toward zero untuk URLs Anda fixed. jika count tetap flat, itu’s fine hanya ketika Anda’ve dengan sengaja decided itu URLs seharusnya tidak pernah menjadi di-crawl; sebuah rising count biasanya berarti sebuah WAF/CDN aturan atau IP-range perbarui adalah newly catching Googlebot.
• cara pull ini — GSC halaman pengindeksan report, filtered untuk 403 baris; spot-periksa individual URLs dengan pemeriksaan URL → Test langsung URL untuk konfirmasi mereka’re tidak sebuah stale snapshot.
• Benchmark / realistic range — ada Tidak universal target — ini bergantung pada bagaimana banyak URLs Anda sebenarnya ingin terindeks. honest bar: zero 403s among URLs Anda ingin terindeks, dan sebuah flat (tidak growing) count elsewhere. Establish Anda own baseline count sebelum judging trend direction.
• Cadence — Weekly right setelah sebuah perbaiki, until count stabilizes; monthly afterward sebagai sebuah regression periksa, since sebuah CDN atau Googlebot IP-range perbarui dapat silently reintroduce block.

Runbook: diagnose, perbaiki, validate

403 workflow adalah sebuah pendek, ordered loop — jangan jump untuk allowlisting sebelum Anda’ve reproduced block sebagai Googlebot dan confirmed identity dari apa Anda’re tentang untuk let melalui.

1. Konfirmasi ini adalah langsung, tidak stale. Jalankan pemeriksaan URL → Test langsung URL di GSC pada affected URL untuk konfirmasi Google adalah saat ini getting sebuah 403, tidak sebuah cached report.

2. Reproduce ini sebagai Googlebot, tidak sebagai yourself. Fetch URL dengan Googlebot’s pengguna-agent, ideally dari di luar Anda own network dan dari lebih daripada satu region — Anda wajar browser mengirim cookies, sebuah nyata pengguna-agent, dan dapat lulus JS/CAPTCHA challenges itu Googlebot’s permintaan typically dapat’t, so ini dapat tidak trip yang sama aturan. Bandingkan resulting log entries side oleh side alih-alih assuming yang perbedaan disebabkan block.

3. temukan aturan. Baca CDN/WAF/firewall logs untuk tepat aturan itu fired pada Googlebot’s permintaan — aturan ID dan trigger (pengguna-agent, IP, challenge, atau rate limit) tell Anda apa untuk perubahan.

4. Verify nyata Googlebot — dan -nya category — sebelum allowlisting. Konfirmasi permintaan Anda’re tentang untuk izinkan adalah genuinely Googlebot melalui reverse

• forward DNS atau IP-range list matching itu client’s category (umum Googlebot, special-case crawler, dan pengguna-triggered fetchers publish terpisah lists) — jika tidak Anda punch sebuah celah untuk spoofers atau verify terhadap wrong list.

5. Perbaiki oleh penyebab. WAF/CDN aturan → cakupan sebuah sempit, verified-Googlebot exception untuk spesifik route dan aturan, oleh identity/IP range. Login/cookie requirement pada publik konten → hapus ini. Rate-limit aturan returning 403 → tukar ini untuk 429 (atau 503).

6. Validate. Konfirmasi pemeriksaan URL → Test langsung URL now mengembalikan 200, lalu click Validate Perbaiki pada 403 baris dan/atau permintaan pengindeksan untuk priority URLs. Re-pengindeksan happens secara otomatis setelah Google re-melakukan crawl sebuah 200 — jika 403-bucket count tidak trending down setelah sebuah couple dari weeks, go back untuk langkah 2 dan re-reproduce alih-alih guessing di sebuah baru penyebab.

Ready-untuk-gunakan AI prompts

Copy-paste prompts untuk classifying sebuah 403 dari mentah diagnostic output. ini help Anda triage mungkin penyebab fast — selalu konfirmasi conclusion terhadap sebenarnya server/firewall config sebelum mengubah apa pun.

Classify mungkin penyebab dari curl output

I'm diagnosing a "Blocked due to access forbidden (403)" status in Google
Search Console. Below is the raw output of a request made with Googlebot's
user-agent (curl -A "...Googlebot..." -I). Based on this output alone,
classify the most likely cause as one of: (1) CDN/WAF bot-management
challenging or blocking non-browser clients, (2) server firewall / mod_security
rule flagging the crawl pattern as abuse, (3) user-agent or referrer/hotlink
rule, (4) geo/IP blocking excluding Googlebot's IP ranges, (5) a login/cookie
requirement on content that should be public, (6) a rate-limit rule misusing
403 instead of 429. Explain which specific header or detail in the output
pointed you to that answer, and tell me what's missing if you can't tell for
sure.

CURL OUTPUT:
[paste]

Classify penyebab dari sebuah WAF/firewall log line

I'm investigating why Googlebot is getting a 403 on a page I want indexed.
Below is a log line (or a few) from my WAF/CDN showing a blocked request. Tell
me whether this looks like a bot-identity rule (blocking by user-agent or IP
range), a challenge/CAPTCHA rule, or a rate-limit rule misusing 403, and what
I'd need to allowlist — by IP range or reverse-DNS — to let verified Googlebot
through without disabling the rule entirely.

LOG LINE(S):
[paste]

Sanity-periksa sebuah perbaiki sebelum shipping ini

I'm about to allowlist a set of IPs as "Googlebot" in my WAF, because a page
I want indexed is currently returning 403 to the crawler. Here's the evidence
I have that these requests are genuinely Googlebot: [describe reverse-DNS or
IP-range check]. Point out anything I might be missing — e.g. whether I should
verify by both reverse and forward DNS, whether I should match Google's
published IP-range JSON instead, or whether allowlisting by user-agent alone
would leave a hole for spoofers.

Uji pemahaman Anda: “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)”

Five pertanyaan pada apa sebuah 403 berarti, bagaimana ini differs dari sebuah 401, dan cara diagnose dan perbaiki ini. Pick sebuah jawaban untuk setiap, lalu periksa.

alat untuk diagnosing dan memperbaiki sebuah 403

• HTTP Status Checker — paste affected URL (atau sebuah batch) untuk konfirmasi 403 kode status, see penuh respons chain, dan catch apa pun itu redirects sebelum ini hits block.
• Googlebot Verifier — periksa apakah sebuah IP claiming untuk menjadi Googlebot adalah genuine (published IP ranges plus reverse-DNS konfirmasi) sebelum Anda allowlist ini past sebuah WAF atau firewall aturan.
• Google Search Console — pemeriksaan URL → Test langsung URL — closest Anda’ll mendapatkan untuk seeing tepat respons Googlebot menerima saat ini.
• curl -A "...Googlebot..." — fastest cara untuk fetch sebuah URL dengan Googlebot’s pengguna-agent dan baca mentah status line.
• Anda WAF/CDN’s firewall event log (Cloudflare, Akamai, Sucuri, dan seterusnya.) — temukan spesifik aturan returning 403 untuk Googlebot’s IP ranges.

Prove perbaiki sebenarnya worked

setelah Anda’ve allowlisted verified Googlebot, opened publik konten, atau ditukar sebuah rate-limit aturan untuk 429, ini adalah memeriksa itu terpisah “the config changed” (terjemahan) “ config changed” dari “Google can now actually reach the page.” (terjemahan) “Google dapat now sebenarnya reach halaman.” Jalankan them di order.

Test 1 — sebuah Googlebot-pengguna-agent permintaan now mengembalikan 200

• Test untuk jalankan — Fetch affected URL dengan Googlebot’s pengguna-agent (atau periksa ini dengan HTTP Status Checker).
• Yang diharapkan hasil — status line membaca HTTP/1.1 200 OK.
• Failure interpretation — masih 403 berarti firewall/WAF aturan tidak sebenarnya diperbarui, atau Anda allowlisted wrong IP range. sebuah 401 alih-alih 403 berarti Anda’ve traded sebuah block untuk sebuah auth wall — periksa bahwa path secara terpisah.
• Monitoring window — Immediate — server jawaban segera setelah aturan perubahan adalah langsung.
• Rollback trigger — jika opening path exposes konten Anda dimaksudkan untuk pertahankan restricted, put block back dan alih-alih allowlist verified Googlebot oleh IP/reverse-DNS pada sebuah lebih sempit aturan.

Test 2 — Google mengonfirmasi ini dapat now reach halaman

• Test untuk jalankan — Jalankan pemeriksaan URL → Test langsung URL di Google Search Console pada affected URL.
• Yang diharapkan hasil — pengujian langsung succeeds dan menampilkan halaman konten — Tidak access-dilarang error reported.
• Failure interpretation — jika Test langsung URL masih reports sebuah 403 setelah Googlebot-pengguna-agent fetch melewati, suspect sebuah aturan itu’s scoped secara khusus untuk Google’s published IP ranges alih-alih pengguna-agent string — periksa firewall log untuk sebuah kedua aturan.
• Monitoring window — Immediate untuk sebuah sedikit minutes setelah perbaiki.
• Rollback trigger — N/sebuah — ini adalah sebuah baca-hanya test; jika ini masih fails, go back untuk Test 1’s failure branch alih-alih rolling apa pun back.

Test 3 — 403 status clears di halaman pengindeksan report

• Test untuk jalankan — gunakan Validate Perbaiki pada “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” issue di halaman pengindeksan report, dan watch bucket count di atas berikut weeks (see cara mengukur tab).
• Yang diharapkan hasil — URL moves out dari 403 bucket, dan — jika ini adalah previously terindeks — reappears di indeks di atas time sebagai Google re-melakukan crawl now-200 halaman.
• Failure interpretation — Re-pengindeksan adalah automatic tetapi tidak instant; jangan baca sebuah slow validation sebagai sebuah baru failure. jika count di 403 bucket tidak trending down setelah sebuah couple dari weeks, re-jalankan Test 1 untuk konfirmasi perbaiki adalah masih di place — sebuah CDN cache atau sebuah Googlebot IP-range perbarui dapat silently reintroduce block.
• Monitoring window — Days untuk sebuah sedikit weeks, tracked melalui 403-bucket count.
• Rollback trigger — hanya revisit aturan itself jika Test 1 dimulai failing again — jangan chase halaman pengindeksan report’s timing.

Resources worth Anda time

Official

• halaman pengindeksan report (Google) — 403 dan 401 entries, verbatim.
• Bagaimana HTTP kode status memengaruhi Google Search (Google) — bagaimana 4xx adalah handled dan Tidak-401/403-untuk-rate-limiting aturan.
• Verifying Googlebot (Google) — reverse DNS + published IP ranges.
• jangan 404 my yum (Google, 2023) — jangan gunakan 403/404 untuk throttle Googlebot.

My related writing

• Beginner’s Guide untuk SEO teknis — di mana crawl-access masalah like ini fit di bigger picture.
• Robots.txt dan SEO: Semuanya Anda perlu Know — lainnya umum cara halaman mendapatkan unintentionally blocked dari crawling.

dari others

• r/TechSEO — community untuk crawl/indeks debugging, including Googlebot-blocked-oleh-CDN threads.
• Google warns terhadap menggunakan 403 atau 404 kode status untuk Googlebot crawl-rate limiting (mesin pencari Land) — coverage dari Gary Illyes’ “Don’t 404 my yum” (terjemahan) “jangan 404 my yum” guidance dan apa untuk gunakan alih-alih (429/503).
• Google: jangan gunakan 403/400 error respons untuk rate-limiting Googlebot (mesin pencari Journal) — SEJ’s relay dari yang sama Illyes post, dengan extra context.
• sebagian besar umum alasan untuk blocking Googlebot adalah firewalls/CDNs (mesin pencari Roundtable) — Google Search Relations explaining itu vast majority dari Googlebot blocks adalah unintentional CDN/firewall aturan.
• bot itu impersonate Googlebot (johnmu.com) — John Mueller pada mengapa Anda harus verify Googlebot melalui reverse DNS sebelum allowlisting, tidak hanya trust pengguna-agent string.
• cara perbaiki “Blocked due to access forbidden (403)” (terjemahan) “Blocked karena access dilarang (403)” (Onely) — practitioner walkthrough covering WAF/CDN specifics dan diagnose → perbaiki loop.

Log perubahan