Crawlability Issues: Apa Breaks crawling dan cara Perbaiki ini

TL;DR — Crawlability adalah apakah mesin pencari dapat temukan dan reach Anda halaman. sebuah crawlability issue adalah apa pun itu mendapatkan di cara — sebuah halaman blocked di robots.txt, sebuah tautan bot dapat’t ikuti, sebuah server itu mempertahankan erroring, atau sebuah flood dari junk URLs. jika sebuah halaman dapat’t menjadi di-crawl, ini dapat’t menjadi terindeks, dan jika ini adalah tidak terindeks, ini dapat’t tampilkan up di penelusuran. Perbaiki access masalah pertama; semuanya else adalah downstream.

Apa crawlability adalah

sebelum sebuah halaman dapat peringkat, sebuah mesin pencari memiliki untuk crawl ini — kirim out sebuah bot (Googlebot untuk Google, Bingbot untuk Bing) untuk menemukan URL dan download halaman. Crawlability adalah hanya bagaimana easily itu dapat happen. sebuah crawlability issue adalah apa pun teknis hal itu berhenti atau slows ini down. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works

Think dari penelusuran sebagai sebuah pipeline: menemukan → crawl → render → indeks → sajikan. itu five-langkah breakdown adalah my own practical cara dari organizing berfungsi — Google’s official model groups penemuan dan rendering di dalam sebuah lebih luas “crawling” (terjemahan) “crawling” stage alih-alih listing them secara terpisah. Either cara, crawling adalah near front, dan semuanya setelah ini bergantung pada ini. So sebuah crawlability masalah adalah worst jenis dari SEO masalah — ini tidak penting bagaimana baik Anda konten adalah jika bot tidak pernah mendapatkan untuk baca ini.

four jenis dari crawlability masalah

Hampir setiap issue fits di satu dari four buckets. ini adalah sebuah triage shortcut, tidak sebuah exhaustive list — hal like sebuah missing sitemap atau sebuah stray noindex tag langsung hanya di luar ini four. Ketika sesuatu tidak getting ditemukan, berfungsi out yang bucket Anda’re di pertama:

1. Access adalah blocked. Anda robots.txt disallows halaman, ini adalah behind sebuah login, sebuah firewall mengembalikan sebuah “403 Forbidden,” (terjemahan) “403 dilarang,” atau CSS/JS halaman perlu adalah blocked.
2. tautan adalah rusak atau uncrawlable. Anda navigation hanya berfungsi dengan JavaScript clicks alih-alih nyata tautan, atau sebuah halaman memiliki tidak ada apa pun linking untuk ini di semua (sebuah “orphan” (terjemahan) “orphan”).
3. ** server adalah failing.** ini mengembalikan errors (500s), domain tidak akan resolve, ini adalah painfully slow, atau halaman bounce melalui panjang rantai pengalihan.
4. ** URL inventory adalah bloated.** Filters, calendars, dan tracking tags spawn endless near-duplicate URLs, so bot waste mereka time pada junk alih-alih Anda nyata halaman.

hal sebagian besar orang mendapatkan wrong

Blocking sebuah halaman di robots.txt melakukan tidak hapus ini dari Google. ini hanya berhenti Google dari reading ini. halaman dapat masih tampilkan up di hasil (tanpa sebuah deskripsi) jika lainnya situs tautan untuk ini. jika Anda sebenarnya ingin sebuah halaman hilang, Anda let ini menjadi di-crawl dan tambahkan sebuah noindex tag alih-alih. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

dan crawling adalah tidak peringkat. Getting di-crawl lebih sering tidak akan move Anda up hasil — crawling adalah sebuah gate Anda memiliki untuk mendapatkan melalui, tidak sebuah score.

ingin penuh triage kerangka kerja, cara temukan issues di Search Console dan Anda server logs, dan memperbaiki untuk setiap satu? Switch untuk Advanced tab.

TL;DR — Crawlability adalah degree untuk yang crawler dapat menemukan, access, dan fetch Anda halaman; sebuah crawlability issue adalah apa pun itu breaks itu. Hampir semua dari them fall ke four buckets — access blocked (robots.txt, login walls, 403s, blocked JS/CSS), tautan rusak (JS-hanya nav, orphans, deep halaman), server failing (5xx, DNS, slow/truncated fetches, rantai pengalihan), dan URL inventory bloated (spider traps, parameter duplicates, soft 404s). Crawlability adalah upstream dari pengindeksan dan peringkat — necessary untuk peringkat tetapi tidak sebuah sinyal peringkat, dan distinct dari indexability. Diagnose dengan GSC (halaman pengindeksan, Statistik Crawling, pemeriksaan URL) dan server logs; perbaiki access masalah pertama, lalu inventory. ini hub triages setiap issue dan tautan untuk deep dives.

Apa crawlability adalah (dan apa ini tidak)

Crawlability adalah stage satu dari penelusuran pipeline — menemukan → crawl → render → indeks → sajikan. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works setiap failure di sini adalah upstream dari pengindeksan dan peringkat. istilah itself adalah sebuah SEO umbrella, tidak sebuah Google satu: Google’s own model names three Penelusuran stages — crawling, pengindeksan, dan serving — dan folds URL penemuan dan rendering ke crawling alih-alih giving them mereka own top-tingkat stages. five-langkah pipeline dan four-bucket triage di bawah adalah my synthesis untuk organizing itu berfungsi ke sesuatu actionable — berguna untuk locating sebuah masalah fast, tetapi tidak sebuah citation untuk bagaimana Google’s sistem adalah formally staged internally.

Three “tidak equals” (terjemahan) “tidak equals” mencegah sebagian besar dari confusion di ini space:

• Crawlability ≠ indexability. sebuah halaman dapat menjadi perfectly dapat di-crawl tetapi blocked dari indeks oleh sebuah noindex tag — atau technically dapat di-crawl tetapi masih tidak terindeks karena quality sinyal. Crawlability adalah sebuah necessary tetapi tidak sufficient condition untuk pengindeksan. (See di-crawl – saat ini tidak terindeks untuk downstream quality case.)
• crawling ≠ peringkat. crawling adalah diperlukan untuk muncul di hasil, tetapi sebagai Google puts ini, “an increased laju crawling akan tidak niscaya lead untuk better positions di Penelusuran hasil… sementara crawling adalah necessary untuk menjadi di itu hasil, ini tidak a ranking sinyal.” (terjemahan) “sebuah increased laju crawling akan tidak niscaya lead untuk better positions di hasil pencarian… sementara crawling adalah necessary untuk menjadi di hasil, ini adalah tidak sebuah sinyal peringkat.”
• crawling ≠ rendering. Google renders halaman dan berjalan JavaScript di sebuah terpisah langkah — “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (terjemahan) “Selama crawling, Google merender halaman dan menjalankan JavaScript apa pun yang ditemukan dengan versi Chrome terbaru.” — dan itu renderer berjalan di -nya own queue itu dapat lag behind awal fetch.

penuh pipeline lives di crawling hub; ini artikel adalah triage layer untuk ketika ini breaks.

four buckets dari crawlability issues

gunakan ini untuk locate Anda masalah fast. setiap satu mendapatkan sebuah pendek treatment di sini dengan sebuah tautan untuk deep dive — jangan try untuk perbaiki apa Anda dapat’t namun categorize. ini adalah sebuah triage lens, tidak sebuah exhaustive classification: sitemaps, noindex, tag canonical, nofollow, mobile parity, dan duplicate konten adalah semua nyata masalah, tetapi sebagian besar dari them belong untuk penemuan, indexability, rendering, atau crawl efficiency alih-alih sebuah pure access/fetch failure — mereka mendapatkan mereka own halaman ditautkan di bawah alih-alih menjadi folded ke ini hub sebagai sebuah flat audit checklist.

1. Access adalah blocked

Robots.txt blocking (intentional atau accidental). sebuah Disallow aturan berhenti crawler dari fetching URL di semua. Google adalah jelas itu ini adalah wrong alat untuk menghapus halaman: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site… It is not a mechanism for keeping a web page out of Google.” (terjemahan) “File robots.txt memberi tahu crawler mesin pencari URL mana yang dapat diakses crawler di situs Anda… Ini bukan mekanisme untuk menjauhkan halaman web dari Google.” classic accidents: sebuah staging-situs Disallow: / pushed untuk production, sebuah CMS plugin menambahkan sebuah overly broad aturan, atau blocking *.js/*.css resources halaman perlu untuk render. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction (See robots.txt dan GSC status blocked oleh robots.txt.)

** noindex + disallow trap.** ini satu bites constantly. jika Anda keduanya disallow sebuah halaman di robots.txt dan put sebuah noindex pada ini, Google dapat tidak pernah fetch halaman untuk see noindex — so halaman dapat stay terindeks melalui tautan eksternal. untuk deindex sebuah halaman, izinkan crawling dan tambahkan noindex. tidak pernah gunakan disallow untuk deindex. I wrote up langsung experiment behind ini di terindeks, though blocked oleh robots.txt: “crawling dan indexing adalah dua berbeda hal.” (terjemahan) “crawling dan pengindeksan adalah dua berbeda hal.”

Login walls dan 401s. jika konten sits behind sebuah interactive login atau OAuth flow Googlebot dapat’t menyelesaikan, ini adalah sekadar unreachable — dapat’t menjadi di-crawl atau terindeks. itu’s tidak yang sama claim sebagai “setiap paywall adalah uncrawlable,” (terjemahan) “setiap paywall adalah uncrawlable,” though: publishers dapat choose untuk expose gated atau subscription konten untuk crawler differently daripada untuk sebuah regular pengunjung, so treat “requires a login Googlebot tidak dapat mendapatkan past” (terjemahan) “memerlukan sebuah login Googlebot dapat’t mendapatkan past” dan “metered/paywalled” (terjemahan) “metered/paywalled” sebagai terpisah cases alih-alih assuming setiap paywall behaves yang sama cara. (See blocked 401.)

403 dilarang. sebelum reaching untuk sebuah IP allowlist, berfungsi melalui mungkin penyebab di order alih-alih assuming pertama satu Anda temukan adalah satu-satunya satu:

1. robots.txt — konfirmasi tepat path tidak disallowed untuk itu crawler’s pengguna-agent; ini adalah single sebagian besar umum penyebab dan fastest untuk aturan out.
2. Intermittent atau cached blocks — re-test yang sama URL lebih daripada setelah, dari lebih daripada satu vantage poin. sebuah WAF/CDN aturan itu hanya trips occasionally, atau sebuah stale cached 403, dapat look like sebuah permanent block ketika ini tidak.
3. pengguna-agent blocks — sebuah WAF/CDN aturan denying sebuah spesifik bot string (dan remember string alone dapat menjadi spoofed, so jangan berhenti investigation di sini).
4. IP-range blocks — firewall, CDN, atau geo aturan denying Googlebot’s sebenarnya IP ranges atau datacenter geography. hanya whitelist verified Googlebot — confirmed melalui reverse + forward DNS, tidak hanya pengguna-agent header — setelah Anda’ve sebenarnya located yang layer adalah blocking ini. (See blocked 403 dan blocked lainnya 4xx.)

Blocked JS/CSS. Google renders di sebuah headless Chrome. jika robots.txt blocks *.js/*.css, atau sebuah CDN refuses Googlebot resources, dirender halaman looks rusak — konten itu hanya muncul setelah rendering dapat tidak menjadi terindeks, dan tautan itu hanya muncul setelah JS dapat tidak menjadi diikuti. Test dengan pemeriksaan URL → Pengujian langsung dan lihat dirender screenshot.

2. tautan adalah rusak atau uncrawlable

Non-dapat di-crawl tautan. “Google can only crawl your link if it’s an <a> HTML element with an href attribute. Most links in other formats won’t be parsed and extracted by Google’s crawlers.” (terjemahan) “Google hanya dapat merayapi tautan Anda jika tautan itu merupakan elemen HTML <a> dengan atribut href. Sebagian besar tautan dalam format lain tidak akan diurai dan diekstrak oleh crawler Google.” itu aturan out <a routerLink="...">, <span href="...">, dan <a onclick="goto(...)">. jika Anda main navigation adalah JS-hanya click handlers, seluruh bagian dari situs dapat tidak pernah menjadi ditemukan. (See rendering bagian dari crawling hub dan my JavaScript SEO Issues & Best Practices.)

Orphan halaman. sebuah halaman dengan Tidak tautan internal pointing untuk ini dapat hanya menjadi ditemukan melalui sebuah sitemap atau external tautan. tautan adalah dominant penemuan channel, so sebuah orphan sering menampilkan up sebagai ditemukan – saat ini tidak terindeks di GSC. sebuah sitemap entry aids penemuan; ini tidak replace tautan sinyal. Perbaiki: tautan halaman dari sebuah relevant hub atau category halaman. (See penemuan dan crawl depth.)

Deep halaman. halaman buried banyak clicks dari homepage mendapatkan di-crawl kemudian dan lebih sedikit sering. pertahankan penting halaman shallow (see crawl depth).

3. server adalah failing atau throttling

5xx kesalahan server. sebuah 500/502/503/504 mengembalikan sebuah error alih-alih konten. Sustained 5xx membuat Googlebot throttle — “they try tidak untuk crawl itu site too fast untuk avoid overloading it… HTTP 500 errors berarti ‘slow down’” (terjemahan) “mereka try tidak untuk crawl situs too fast untuk hindari overloading ini… HTTP 500 errors berarti ‘slow down’” — dan eventually drop sudah-terindeks halaman. jika robots.txt itself mengembalikan 5xx, ini adalah tidak sebuah instant, indefinite situs-wide halt: Google’s published perilaku adalah staged — crawling berhenti untuk tentang 12 hours pertama, lalu Google dapat fall back untuk terakhir known-baik robots.txt untuk up untuk 30 days, dan apa happens setelah itu bergantung pada cached aturan dan apakah situs adalah umumnya reachable. Note 503 nuance: sebuah 503 dengan sebuah Retry-After header adalah correct respons untuk planned pendek downtime; hanya weeks dari ini penyebab harm. Google buckets 429 (terlalu banyak permintaan) dengan yang sama back-off perilaku. (See server error (5xx) dan laju crawling.)

DNS failures. Upstream dari HTTP entirely: jika domain tidak resolve — expired registration, sebuah botched nameserver migration, rusak apex-domain resolution — ada Tidak server respons untuk bahkan mengembalikan 5xx. Sustained DNS failure drops seluruh situs. Catch ini di GSC Statistik Crawling → Host Status, atau lebih cepat dengan external uptime monitoring.

Slow respons dan fetch truncation. Google’s politeness mechanism throttles berdasarkan server health, so slow respons berarti fewer melakukan crawl. dan ada sebuah hard byte limit: sebagai dari Google’s March 2026 Di dalam Googlebot perbarui, Googlebot fetches roughly 2 MB per URL (down dari old 15 MB figure), dengan PDFs up untuk 64 MB. Go di atas dan fetch adalah truncated, tidak rejected — hanya downloaded portion adalah terindeks. jika Anda critical konten sits di bawah 2 MB dari bloat, ini dapat mendapatkan cut off.

rantai pengalihan dan loops. setiap redirect hop costs sebuah crawl credit, dan panjang chains memiliki sebuah negative effect pada crawling; Google mengikuti hanya tentang five hops sebelum ini dapat memberikan up pada destination. Loops time out dan land di redirect error di GSC. umum penyebab: stacked www → non-www → HTTPS hops dari successive migrations. (See anggaran crawling, yang lists rantai pengalihan sebagai crawl waste.)

4. URL inventory adalah bloated

Spider traps. Structures itu generate effectively infinite URLs — faceted filter combinations, calendar “berikutnya month” (terjemahan) “berikutnya month” tautan dengan Tidak end, session IDs di URLs, infinite pagination. crawler burn budget pada near-duplicate junk sementara nyata halaman mendapatkan di-crawl lebih sedikit. Google memiliki called faceted navigation dan tindakan parameters responsible untuk bulk dari -nya crawling issues, dan “infinite spaces” (terjemahan) “infinite spaces” memiliki topped crawl-waste list since 2008. ada Tidak fixed universal threshold untuk apa counts sebagai “too banyak” (terjemahan) “too banyak” — signature adalah sebuah lopsided, disproportionate share dari hits concentrated pada satu junk URL pattern relative untuk Anda own situs’s wajar baseline, tidak sebuah spesifik percentage itu applies di mana-mana. (See spider traps.)

parameter URL. kueri strings (?key=value) buat multiple URLs untuk yang sama konten — active params (sort/filter/pagination) membuat near-duplicates; passive params (tracking, session IDs) membuat pure duplicates. Keduanya waste budget dan dilute tautan sinyal. Note: Google retired -nya parameter URL alat di April 2022 (ini ditemukan hanya ~1% dari configs berguna dan now menangani sebagian besar cases secara otomatis) — jangan tell orang untuk gunakan ini. Bing masih memiliki sebuah Ignore parameter URL alat. saat ini perbaiki: consistent parameter ordering, rel=canonical untuk passive params, robots.txt disallow hanya untuk genuine traps. (See parameter URL dan canonicalization.)

Soft 404s. sebuah halaman itu’s functionally “tidak ditemukan” (terjemahan) “tidak ditemukan” (empty hasil pencarian, gutted out-dari-stock product) tetapi mengembalikan 200 OK. Google mempertahankan crawling ini karena status says ini adalah di sana, wasting budget untuk Tidak dapat diindeks konten. Perbaiki: mengembalikan nyata 404 atau 410 (410 Gone adalah marginally lebih cepat untuk removal). sebuah genuine 404 adalah sebuah strong sinyal tidak untuk crawl itu URL again.

anggaran crawling exhaustion (besar situs hanya)

ini adalah bucket-4 masalah di scale, dan ini adalah worth -nya own warning: sebagian besar situs tidak pernah hit ini. Google says plainly, “if your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (terjemahan) “Jika situs Anda tidak memiliki banyak halaman yang berubah cepat, atau halaman Anda tampaknya dirayapi pada hari yang sama saat diterbitkan, Anda tidak perlu membaca panduan ini.” John Mueller memiliki put sebuah angka pada ini — 100 000 URLs adalah biasanya tidak cukup untuk memengaruhi anggaran crawling. ini realistically penting di ~1M+ halaman mengubah weekly atau 10k+ mengubah daily. Budget adalah per hostname, dan semua dari Google’s crawler (image, video, news, ads) draw dari yang sama per-situs pool. warning light adalah sebuah besar dan growing ditemukan – saat ini tidak terindeks count. (Penuh treatment di anggaran crawling; I juga wrote Ketika seharusnya Anda Worry tentang anggaran crawling?.)

cara temukan crawlability issues

Google Search Console.

• halaman pengindeksan report surfaces named failures: blocked oleh robots.txt, server error (5xx), tidak ditemukan (404), redirect error.
• Statistik Crawling report menampilkan respons-code trends, average respons time, dan sebuah host-status panel itu flags DNS, robots.txt, dan server-connectivity masalah. (See Statistik Crawling report.)
• pemeriksaan URL (Pengujian langsung) menampilkan apa Googlebot sebenarnya fetched dan dirender untuk sebuah single URL — dirender screenshot adalah fastest cara untuk catch blocked JS/CSS.
• “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” adalah crawl warning light: Google knows URL tetapi hasn’t fetched ini (biasanya sebuah linking atau priority masalah).

server log file analysis adalah ground truth. Logs tampilkan persis yang URLs bot hit, bagaimana sering, dan dengan apa status — dan mereka’re hanya cara untuk tell nyata Googlebot (verified melalui reverse + forward DNS) dari bot faking pengguna-agent. sebuah spider trap menampilkan up sebagai sebuah lopsided share dari hits untuk satu URL pattern. (See log file analysis.)

situs audit crawler — Ahrefs situs Audit dan Screaming Frog SEO Spider — simulate sebuah crawl dan surface rantai pengalihan, blocked URLs, orphan halaman, dan crawl depth di satu lulus.

Crawlability vs. indexability: jangan confuse them

di pendek: crawlability adalah apakah sebuah bot dapat reach halaman; indexability adalah apakah Google chooses untuk store ini setelah fetched. Setelah crawlability adalah fixed, indexability adalah berikutnya gate.

GSC status adalah sebuah berguna starting hypothesis, tidak sebuah guaranteed diagnosis. ditemukan – saat ini tidak terindeks biasanya poin untuk sebuah crawl scheduling/priority masalah (tambahkan tautan internal, raise situs quality). di-crawl – saat ini tidak terindeks sebagian besar sering poin untuk sebuah konten/quality masalah downstream dari crawlability (thin, duplicate, atau intent-mismatched konten) — tetapi Google tidak publish sebuah exhaustive causal mapping untuk itu status, dan overlapping factors like rendering delays, canonicalization sinyal, atau pengindeksan-eligibility memeriksa dapat produce yang sama label. Treat status sebagai Anda pertama lead, konfirmasi dengan pemeriksaan URL dan logs, dan jangan throw crawl memperbaiki di apa turns out untuk menjadi sebuah indexability masalah, atau vice versa.

Bagaimana Bing crawlability differs dari Google

sebuah sedikit practical differences worth knowing jika Anda mengoptimalkan untuk keduanya:

• IndexNow — Bing (dan Yandex, Naver, Seznam, Yep) take ini untuk instant perubahan notification; Google melakukan tidak participate. jangan expect IndexNow untuk help Google crawlability.
• crawl Control — Bing masih memiliki sebuah manual grid di Bing Webmaster alat untuk schedule crawl hours; Google dihapus -nya crawl-rate slider di January 2024.
• Ignore parameter URL — Bing masih offers ini; Google retired -nya equivalent di April 2022.
• lastmod — Bing weights ini lebih heavily sebagai sebuah recrawl sinyal; Google largely ignores inaccurate lastmod.

Fabrice Canel dari Microsoft Bing sums up Bing’s philosophy sebagai “Lebih sedikit adalah lebih untuk SEO… Lebih sedikit URLs untuk crawl, better untuk SEO” (terjemahan) “Lebih sedikit adalah lebih untuk SEO… Lebih sedikit URLs untuk crawl, better untuk SEO” — yang adalah seluruh crawlability game di satu line. (See bingbot.)

Di mana untuk go berikutnya

ini hub adalah map; deep dives melakukan berfungsi. untuk access controls, see robots.txt dan noindex. untuk server side, see server error (5xx), laju crawling, dan redirect error. untuk inventory bloat, see spider traps, parameter URL, dan anggaran crawling. untuk penemuan dan tautan, see penemuan, crawl depth, dan orphan halaman. dan untuk seluruh pipeline di satu place, mulai di crawling hub.

AI summary

sebuah condensed take pada Advanced versi:

• Crawlability = bagaimana well crawler dapat menemukan, access, dan fetch Anda halaman. sebuah crawlability issue adalah apa pun itu breaks itu. ini adalah stage satu dari pipeline (menemukan → crawl → render → indeks → sajikan — Patrick’s practitioner synthesis; Google’s own model groups penemuan dan rendering di dalam sebuah lebih luas “crawling” (terjemahan) “crawling” stage), so ini adalah upstream dari semuanya.
• Three “tidak equals” (terjemahan) “tidak equals”: crawlability ≠ indexability (sebuah dapat di-crawl halaman dapat masih menjadi noindex’d); crawling ≠ peringkat (“tidak a ranking sinyal,” (terjemahan) “tidak sebuah sinyal peringkat,” per Google); crawling ≠ rendering (JS berjalan di sebuah terpisah, lagging langkah).
• Four buckets: (1) access blocked — robots.txt, login walls/401, 403 dari WAF/CDN, blocked JS/CSS; (2) tautan rusak — JS-hanya nav dengan Tidak <a href>, orphan halaman, deep halaman; (3) server failing — 5xx (throttles lalu drops), DNS failures (seluruh situs), slow/truncated fetches (~2 MB limit), rantai pengalihan (~5 hops); (4) inventory bloated — spider traps, parameter duplicates, soft 404s (200 OK dengan tanpa konten).
• ** big trap:** noindex + disallow = Google tidak pernah sees noindex. untuk deindex, izinkan crawling + noindex; tidak pernah gunakan robots.txt untuk hapus sebuah halaman.
• anggaran crawling hanya penting untuk huge/fast-mengubah situs (~1M+ halaman weekly; 100k URLs biasanya tidak). Per hostname, shared di seluruh semua Google crawler.
• Diagnose dengan GSC (halaman pengindeksan, Statistik Crawling, pemeriksaan URL) dan server logs ( ground truth; hanya cara untuk verify nyata bot). Perbaiki access pertama, lalu inventory.
• Bing differs: IndexNow (tidak Google), crawl Control, Ignore parameter URL, lebih berat lastmod weighting.

Dokumentasi resmi

Utama-sumber documentation pada apa breaks crawling.

Google

• di-Depth Guide untuk Bagaimana Google Search berfungsi — crawl → indeks → sajikan pipeline, URL penemuan, dan “slow down” (terjemahan) “slow down” throttling mechanism.
• crawling dan pengindeksan hub — robots, sitemaps, canonicalization, dan crawl controls di satu place.
• Introduction untuk robots.txt — apa robots.txt melakukan dan (crucially) tidak melakukan.
• membuat Anda tautan dapat di-crawl — <a href> requirement dan tautan formats Google dapat’t ikuti.
• mengoptimalkan Anda anggaran crawling — capacity + demand, crawl-waste categories, dan siapa sebenarnya perlu untuk care.
• Overview dari Google crawler dan fetchers — pengguna-agents, IP ranges, dan bagaimana Google’s crawler identify themselves.
• Di dalam Googlebot (March 2026) — saat ini byte limits (~2 MB per URL, 64 MB PDFs) dan truncation perilaku.
• halaman pengindeksan report help — apa setiap crawl/indeks kode status berarti.

Bing / Microsoft

• bingbot Series: Maximizing crawl Efficiency — Bing’s definition dari crawling dan -nya “crawl efficiency north star.” (terjemahan) “crawl efficiency north star.”
• Bing Webmaster alat — crawl Control — schedule Bingbot’s crawl hours (Google memiliki Tidak equivalent).
• IndexNow — push protocol Bing dan others gunakan untuk instant perubahan notification (tidak Google).

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — robots.txt adalah tidak sebuah removal alat

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (terjemahan) “File robots.txt memberi tahu crawler mesin pencari URL mana yang dapat diakses crawler di situs Anda.” — Google Search Central docs. Jump untuk quote
• “It is not a mechanism for keeping a web page out of Google.” (terjemahan) “ini adalah tidak sebuah mechanism untuk mempertahankan sebuah halaman web out dari Google.” Jump untuk quote
• “The instructions in robots.txt files cannot enforce crawler behavior; it’s up to the crawler to obey them.” (terjemahan) “ instructions di robots.txt files cannot enforce crawler perilaku; ini adalah up untuk crawler untuk obey them.” Jump untuk quote

Google — dapat di-crawl tautan

• “Google can only crawl your link if it’s an <a> HTML element with an href attribute.” (terjemahan) “Google hanya dapat merayapi tautan Anda jika tautan itu merupakan elemen HTML <a> dengan atribut href.” — membuat Anda tautan dapat di-crawl. Jump untuk quote
• “Most links in other formats won’t be parsed and extracted by Google’s crawlers.” (terjemahan) “sebagian besar tautan di lainnya formats tidak akan menjadi parsed dan extracted oleh Google’s crawler.” Jump untuk quote

Google — server health dan rendering

• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (terjemahan) “Mereka berusaha tidak merayapi situs terlalu cepat agar tidak membebaninya. Mekanisme ini bergantung pada respons situs (misalnya, error HTTP 500 berarti ‘perlambat laju’).” Jump untuk quote
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (terjemahan) “Selama crawling, Google merender halaman dan menjalankan JavaScript apa pun yang ditemukan dengan versi Chrome terbaru.” Jump untuk quote

Google — anggaran crawling dan crawling vs. peringkat (2017 crawl-budget post; relayed melalui mesin pencari Land’s verbatim reproduction)

• “An increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” (terjemahan) “Laju crawling yang meningkat belum tentu menghasilkan posisi yang lebih baik di hasil Penelusuran… crawling diperlukan agar dapat muncul di hasil, tetapi bukan sinyal peringkat.” Baca coverage
• “if your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (terjemahan) “Jika situs Anda tidak memiliki banyak halaman yang berubah cepat, atau halaman Anda tampaknya dirayapi pada hari yang sama saat diterbitkan, Anda tidak perlu membaca panduan ini.” — besar situs crawl-budget guide. Jump untuk quote

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (terjemahan) “crawling adalah proses oleh yang bingbot discovers baru dan diperbarui documents atau konten untuk menjadi ditambahkan untuk Bing’s searchable indeks.” Jump untuk quote
• “Lebih sedikit adalah lebih untuk SEO. Never forget itu. Lebih sedikit URLs untuk crawl, better untuk SEO.” (terjemahan) “Lebih sedikit adalah lebih untuk SEO. tidak pernah forget itu. Lebih sedikit URLs untuk crawl, better untuk SEO.” — relayed melalui mesin pencari Land. Baca coverage

crawlability triage checklist

Jalankan ini di order — access masalah pertama, karena mereka’re paling catastrophic dan paling umum:

• robots.txt tidak disallow apa pun Anda ingin terindeks (periksa untuk sebuah stray Disallow: / dari staging, dan itu *.js/*.css tidak blocked).
• Tidak halaman menggunakan noindex + disallow together ( noindex dapat tidak pernah menjadi seen — untuk deindex, izinkan crawling dan tambahkan noindex).
• penting konten tidak behind sebuah login wall / 401 atau returning 403 untuk verified Googlebot (periksa WAF/CDN/geo aturan).
• Navigation menggunakan nyata <a href> tautan, tidak JS-hanya click handlers.
• Tidak orphan halaman — setiap halaman Anda care tentang adalah ditautkan dari setidaknya satu lainnya dapat di-crawl halaman.
• server mengembalikan fast, stable respons — minimal 5xx; planned downtime menggunakan 503 + Retry-setelah.
• DNS resolves reliably (periksa GSC Host Status + external uptime monitoring).
• Tidak rantai pengalihan lebih lama daripada sebuah hop atau dua, dan Tidak loops.
• Critical konten sits di bawah ~2 MB fetch limit (tidak di bawah halaman bloat).
• Tidak spider traps generating infinite URLs (calendars, facets, session IDs).
• parameter URL tidak spawning dapat di-crawl duplicates (consistent ordering, canonicals untuk passive params).
• Tidak soft 404s — “tidak ditemukan” (terjemahan) “tidak ditemukan” halaman mengembalikan nyata 404/410, tidak 200.
• GSC Statistik Crawling reviewed untuk respons-code spikes dan average respons time.
• server logs diperiksa untuk crawl waste dan penting URLs bot tidak pernah reach.

mental models

1. four buckets. setiap crawlability issue adalah satu dari: access blocked, tautan rusak, server failing, atau inventory bloated. Categorize sebelum Anda perbaiki — bucket tells Anda yang alat untuk reach untuk.

2. pipeline — menemukan → crawl → render → indeks → sajikan. Locate yang stage sebuah halaman adalah failing di sebelum mengubah apa pun. adalah ini ditemukan? di-crawl? Dirender? terindeks? disajikan? sebuah perbaiki aimed di wrong stage melakukan tidak ada apa pun.

3. three “tidak equals.” (terjemahan) “tidak equals.”

• crawling ≠ pengindeksan (sebuah robots-blocked halaman dapat masih menjadi terindeks melalui tautan).
• crawling ≠ peringkat (laju crawling tidak sebuah sinyal peringkat).
• crawling ≠ rendering (JS berjalan di sebuah terpisah, lagging langkah).

4. deindex decision aturan. ingin sebuah halaman hilang dari penelusuran? Izinkan crawling + noindex. ingin bot untuk skip sebuah URL space entirely (dan jangan care tentang pengindeksan)? robots.txt disallow. tidak pernah gunakan disallow untuk deindex — bot dapat’t see Anda noindex melalui sebuah block.

5. Perbaiki sumber, lalu block. untuk inventory bloat, berhenti generating junk URLs pertama ( bersih perbaiki), dan hanya lalu block whatever tetap di robots.txt. Blocking alone tidak reclaim budget unless Anda’re sudah di Anda server’s capacity ceiling.

6. Severity triage. situs-wide pertama (DNS failure, robots.txt Disallow: /, robots.txt returning 5xx) → bagian-wide (JS-hanya nav, sebuah blocked directory) → halaman-tingkat (satu rantai pengalihan, satu orphan). Berhenti bleeding sebelum Anda tweak.

Crawlability issues — cheat sheet

** four buckets dan mereka signature symptoms**

kode status bot care tentang

• 200 — fetched fine (tetapi sebuah “tidak ditemukan” (terjemahan) “tidak ditemukan” halaman returning 200 adalah sebuah soft 404).
• 301/308 — permanent redirect (pertahankan chains pendek; ~5 hops max).
• 403/401 — access denied / auth diperlukan (periksa WAF, verify ini adalah tidak nyata Googlebot menjadi blocked).
• 404/410 — hilang; strong melakukan-tidak-crawl sinyal (410 sebuah touch lebih cepat).
• 429/500/503 — “slow down” (terjemahan) “slow down” / try kemudian; 503 + Retry-After adalah correct untuk planned downtime; sustained = crawl drops.

Fast facts

• Fetch limit: ~2 MB per URL (PDFs 64 MB) — truncated, tidak rejected, beyond.
• Redirect hops Google mengikuti: ~5 sebelum ini dapat abandon destination.
• anggaran crawling rarely penting di bawah ~100k URLs; budget adalah per hostname.
• GSC parameter URL alat: retired April 2022. Manual crawl-rate slider: dihapus Jan 2024.
• IndexNow = Bing/Yandex/others, tidak Google.

alat untuk finding crawlability issues

• Google Search Console — halaman pengindeksan report — surfaces named failures: blocked oleh robots.txt, server error (5xx), tidak ditemukan (404), redirect error, dan ditemukan/di-crawl – saat ini tidak terindeks status.
• GSC — Statistik Crawling report — respons-code trends, average respons time, dan sebuah host-status panel itu flags DNS, robots.txt, dan connectivity masalah. (See Statistik Crawling report.)
• GSC — pemeriksaan URL (Pengujian langsung) — see persis apa Googlebot fetched dan dirender untuk satu URL; dirender screenshot adalah fastest blocked-JS/CSS periksa.
• server log file analysis — ground truth: yang URLs bot sebenarnya hit, bagaimana sering, dan apa mereka mendapat back. satu-satunya cara untuk verify nyata Googlebot (reverse + forward DNS) dan untuk spot sebuah spider trap’s lopsided hit pattern. alat: Screaming Frog Log File Analyser, atau pipe logs ke BigQuery / sebuah log platform. (See log file analysis.)
• situs audit crawler — Ahrefs situs Audit dan Screaming Frog SEO Spider simulate sebuah crawl dan surface rantai pengalihan, blocked URLs, orphan halaman, dan crawl depth.
• Ahrefs Webmaster alat — free crawl + audit untuk situs Anda verify.
• Bing Webmaster alat — crawl info, crawl Control, dan situs Scan; plus Ignore parameter URL alat Google retired.

Uji pemahaman Anda: Crawlability issues

Five quick pertanyaan pada apa breaks crawling dan cara perbaiki ini. Pick sebuah jawaban untuk setiap, lalu periksa.

Mengapa dapat’t crawler reach halaman?

Incident playbook: sebuah penting bagian disappears dari crawling

1. Konfirmasi cakupan. Test representative URLs dan bandingkan pertama-failure time dengan releases, firewall perubahan, dan server incidents.
2. periksa fetch path. Resolve DNS, TLS, redirects, kode status, authentication, dan respons completeness. Perbaiki failures sebelum deeper SEO analysis.
3. periksa crawler access. Test tepat URLs terhadap robots.txt dan verify itu WAF/CDN aturan melakukan tidak block verified bot.
4. periksa penemuan. crawl dari homepage dan bagian hubs. jika URLs adalah orphaned atau JS-click-hanya, restore wajar anchor tautan dan sitemap membership.
5. periksa rendering dan inventory. Konfirmasi diperlukan resources muat dan identify traps atau duplicate paths consuming permintaan.
6. Validate recovery. Re-fetch representative URLs dan watch verified crawler logs; jika access berfungsi tetapi pengindeksan melakukan tidak recover, move untuk sebuah indexability diagnosis.

URL mengembalikan 200 di sebuah browser tetapi crawler mendapatkan 403

mungkin penyebab, di order I periksa them: robots.txt disallow untuk itu pengguna-agent, lalu sebuah intermittent atau cached block (re-test lebih daripada setelah), lalu sebuah pengguna-agent-spesifik WAF/CDN aturan, lalu sebuah IP-range atau geo block. Perbaiki: konfirmasi yang layer adalah sebenarnya responsible sebelum touching apa pun, verify crawler’s IP melalui reverse + forward DNS, inspect edge logs, dan sempit blocking aturan. Konfirmasi: verified crawler dan sebuah wajar pengguna keduanya menerima yang dimaksud respons.

halaman ada tetapi crawler tidak pernah permintaan ini

mungkin penyebab: orphaning, JS-hanya controls, rusak pagination, atau missing sitemap penemuan. Perbaiki: tambahkan dapat di-crawl <a href> tautan dari relevant halaman dan sertakan canonical URL di correct sitemap. Konfirmasi: sebuah situs crawl reaches ini dan kemudian server logs tampilkan sebuah verified crawler fetch.

crawl alat report blocked resources

mungkin penyebab: robots.txt aturan cover CSS, JavaScript, atau API resources diperlukan untuk rendering. Perbaiki: memungkinkan diperlukan resources tanpa exposing privat endpoints. Konfirmasi: dirender output berisi yang sama utama konten dan tautan tersedia untuk pengguna.

crawl volume spikes pada junk URLs

mungkin penyebab: faceted parameters, calendars, internal penelusuran, session identifiers, atau infinite navigation. Perbaiki: hapus dapat di-crawl generation paths dan consolidate atau block hanya setelah understanding indeks dan rendering effects. Konfirmasi: equivalent log windows tampilkan pattern declining sementara valuable URLs stay discoverable.

Prompt: turn crawl evidence ke sebuah triage table

Analyze the crawlability evidence below. For each URL, classify the failure as access, discovery/linking, server/redirect, rendering/resource, or URL-inventory. Cite only the supplied evidence, list missing checks, and return symptom → likely cause → safest fix → pass/fail verification. Keep crawlability separate from indexability.

[PASTE STATUS, HEADERS, ROBOTS TEST, CRAWL PATH, RENDERED HTML, AND LOG OBSERVATIONS]

Prompt: review sebuah robots.txt perubahan safely

Review this proposed robots.txt change against the supplied sample URLs and user agents. Build an allow/block matrix, identify the winning rule, flag required resources or valuable pages that would become blocked, and propose the smallest safe change. Do not claim the file removes URLs from the index.

[PASTE CURRENT FILE, PROPOSED FILE, USER AGENTS, AND URL SAMPLES]

periksa sebuah URL list untuk crawl respons

while IFS= read -r url; do curl -L -sS -o /dev/null -w '%{http_code}\t%{url_effective}\t%{time_total}\n' "$url"; done < urls.txt

PowerShell equivalent:

Get-Content .\urls.txt | ForEach-Object { try { $r = Invoke-WebRequest -Uri $_ -MaximumRedirection 10; "{0}`t{1}" -f $r.StatusCode,$r.BaseResponse.ResponseUri } catch { "ERROR`t$_" } }

temukan non-dapat di-crawl tautan controls di dirender HTML

Jalankan ini di browser DevTools Console. ini lists elements dengan click perilaku itu adalah tidak wajar tautan:

[...document.querySelectorAll('[onclick], [role="link"]')].filter(el => !el.matches('a[href]')).map(el => ({text: el.textContent.trim(), html: el.outerHTML.slice(0, 300)}));

hasil adalah sebuah review queue, tidak proof itu setiap item seharusnya become sebuah tautan.

Resources worth Anda time

My related writing

• terindeks, though blocked oleh robots.txt — mengapa sebuah blocked halaman dapat masih menjadi terindeks, dan noindex-vs-disallow trap.
• Story dari Blocking 2 tinggi-peringkat halaman dengan Robots.txt — my pertama-party experiment pada apa sebenarnya happens ketika Anda block peringkat halaman.
• Ketika seharusnya Anda Worry tentang anggaran crawling? — siapa perlu untuk care, dan apa wastes budget.
• JavaScript SEO Issues & Best Practices — rendering side: ketika JS-dependent tautan dan konten break penemuan.
• Memenuhi baru Web crawler — siapa’s sebenarnya crawling Anda now, dari Cloudflare Radar data.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat. (Standing disclaimer: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari sekitar industry

• Google’s crawling December series — best concentrated set dari official crawl explainers (Googlebot, HTTP caching, faceted nav, CDNs).
• Google menjelaskan anggaran crawling untuk Webmasters (mesin pencari Land) — verbatim reproduction dari Gary Illyes’ 2017 crawl-budget post, including “not a ranking signal” (terjemahan) “bukan sinyal peringkat” line.
• Google: 100 000 URLs biasanya tidak akan Impact anggaran crawling (mesin pencari Roundtable) — John Mueller quote itu sets scale.
• five infrastructure gates behind crawl, render, dan indeks (mesin pencari Land) — Fabrice Canel’s “lebih sedikit adalah lebih untuk SEO” (terjemahan) “lebih sedikit adalah lebih untuk SEO” framing dari crawl efficiency.
• Google menjelaskan Googlebot Byte Limits dan crawling Architecture (mesin pencari Journal) — coverage dari March 2026 perbarui; 2 MB per URL, 64 MB PDFs, truncation.
• Googlebot File Size Limit (DebugBear) — apa happens ketika sebuah halaman exceeds fetch limit (truncation, tidak rejection).

Log perubahan