crawling

TL;DR — crawling adalah bagaimana mesin pencari temukan dan download Anda halaman. sebuah bot (Googlebot untuk Google, Bingbot untuk Bing) mengikuti tautan dan membaca sitemaps untuk menemukan URLs, lalu fetches them. sebuah halaman memiliki untuk menjadi di-crawl sebelum ini dapat tampilkan up di penelusuran — tetapi menjadi di-crawl sebuah lot tidak membuat Anda peringkat lebih tinggi.

Apa crawling adalah

mesin pencari jangan browse web cara Anda melakukan. mereka kirim out automated programs — called crawler, bot, atau spiders — itu visit halaman, download apa pada them, dan ikuti tautan untuk temukan lebih halaman. Google’s crawler adalah Googlebot; Bing’s adalah Bingbot.

Think dari ini sebagai three langkah, di order:

1. crawl — bot discovers sebuah URL dan downloads halaman.
2. indeks — mesin memproses itu halaman dan files ini away di sebuah giant database dari semuanya ini mungkin tampilkan di hasil.
3. sajikan (peringkat) — ketika seseorang searches, mesin pulls best matches dari indeks dan puts them di order.

crawling adalah langkah satu. jika sebuah halaman tidak pernah mendapatkan di-crawl, ini dapat’t menjadi terindeks, dan jika ini adalah tidak terindeks, ini dapat’t peringkat. So crawling penting — tetapi ini adalah sebuah gate, tidak sebuah scoreboard.

Bagaimana crawler temukan Anda halaman

Dua main cara:

• Berikut tautan. Ketika sebuah bot melakukan crawl sebuah halaman, ini grabs tautan pada ini dan menambahkan itu URLs untuk -nya list untuk crawl berikutnya. baik internal linking adalah bagaimana baru halaman mendapatkan ditemukan.
• Sitemaps. sebuah sitemap XML adalah sebuah list dari Anda URLs Anda hand secara langsung untuk penelusuran mesin so mereka jangan memiliki untuk menemukan semuanya melalui tautan.

ada juga “push” (terjemahan) “push” options di mana Anda actively tell sebuah mesin sebuah halaman changed — lebih pada itu di bawah — tetapi tautan dan sitemaps melakukan sebagian besar dari berfungsi.

cara help mesin pencari crawl Anda situs

• tautan untuk Anda penting halaman dari lainnya halaman (terutama Anda homepage dan main navigation).
• Submit sebuah sitemap XML di Google Search Console dan Bing Webmaster alat.
• jangan accidentally block halaman Anda ingin ditemukan (periksa Anda robots.txt).
• pertahankan server fast dan healthy — jika ini adalah slow atau throwing errors, bot back off dan crawl lebih sedikit.

hal sebagian besar orang mendapatkan wrong

crawling adalah tidak peringkat. Getting di-crawl lebih sering tidak akan move Anda up hasil. dan blocking sebuah halaman di robots.txt tidak hapus ini dari Google — ini hanya berhenti Google dari reading ini. Evidence for this claim robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Scope: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt jika Anda sebenarnya ingin sebuah halaman hilang, Anda let ini menjadi di-crawl dan tambahkan sebuah noindex tag. (I tested blocking side dari ini myself — see Advanced versi.)

ingin deeper versi, dengan bagaimana crawl scheduler berfungsi, byte limits, dan crawl-vs-indeks-vs-peringkat pembedaan? Switch untuk Advanced tab.

TL;DR — crawling adalah pertama dari penelusuran’s three stages (crawl → indeks → sajikan). bot menemukan URLs oleh pull (tautan + sitemaps) dan push (IndexNow, pengindeksan API), lalu fetch them pada sebuah algorithmic schedule itu throttles untuk Anda server’s health. rendering JavaScript adalah sebuah terpisah langkah. crawling adalah diperlukan untuk peringkat tetapi adalah tidak itself sebuah sinyal peringkat, dan ini adalah distinct dari pengindeksan — sebuah robots-blocked halaman dapat masih menjadi terindeks. sebagian besar situs jangan perlu untuk manage crawl budget; logs adalah bagaimana Anda see apa sebenarnya happened.

crawling adalah stage satu dari three

Google adalah blunt tentang pipeline: “Google Search works in three stages, and not all pages make it through each stage.” (terjemahan) “Google Penelusuran berjalan dalam tiga tahap, dan tidak semua halaman melewati setiap tahap.” — crawling, pengindeksan, dan serving. Evidence for this claim Google describes Search as three stages: crawling, indexing, and serving results. Scope: Google Search's documented processing model; it does not guarantee that a page reaches every stage. Confidence: high · Verified: 2026-07-14 Google Search Central: In-depth guide to how Google Search works “not all pages make it” (terjemahan) “tidak semua halaman membuat ini” bagian adalah seluruh game di SEO teknis. sebuah halaman dapat menjadi di-crawl tetapi tidak terindeks, atau terindeks tetapi tidak pernah disajikan untuk sebuah kueri. Mempertahankan stages terpisah di Anda head adalah single sebagian besar berguna mental model di sini.

Siapa sebenarnya melakukan crawling

“Googlebot” (terjemahan) “Googlebot” sounds like satu program. ini tidak. di my Bagaimana Penelusuran berfungsi deck I deskripsikan ini sebagai 1 000+ sistem berjalan sebuah family dari specialized crawler — desktop, mobile, image, news, video, ads — dengan permintaan mostly originating out dari Mountain View. mereka semua draw dari sama anggaran crawling pool, yang adalah mengapa sebuah runaway image atau parameter crawl dapat starve crawling dari Anda sebenarnya konten.

dan ini adalah tidak hanya mesin pencari anymore. di my analysis dari Cloudflare Radar data (Memenuhi baru Web crawler), penelusuran-mesin bot masih crawl paling — tetapi AI bot adalah firmly di kedua place dan pada track untuk overtake them di berikutnya couple dari tahun. jika Anda’re reading Anda logs, cast dari characters memiliki changed.

Bagaimana crawler menemukan URLs

penemuan adalah keduanya pull dan push:

• Pull — tautan. Google: “Other pages are discovered when Google extracts a link from a known page to a new page.” (terjemahan) “lainnya halaman adalah ditemukan ketika Google extracts sebuah tautan dari sebuah known halaman untuk sebuah baru halaman.” ini adalah mengapa orphan halaman (tidak ada apa pun tautan untuk them) struggle untuk mendapatkan ditemukan.
• Pull — sitemaps. “Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl.” (terjemahan) “masih lainnya halaman adalah ditemukan ketika Anda submit sebuah list dari halaman (sebuah sitemap) untuk Google untuk crawl.”
• Push — perubahan notifications. alih-alih menunggu untuk menjadi re-di-crawl, Anda tell mesin sesuatu changed: IndexNow (Bing, Yandex, dan others — Google melakukan tidak gunakan ini untuk umum halaman) dan Google’s pengindeksan API (officially hanya untuk JobPosting dan BroadcastEvent halaman). Sitemaps’ lastmod, RSS, dan WebSub round out push options.

Google panggilan seluruh hal “URL discovery.” (terjemahan) “URL penemuan.”

Bagaimana crawler fetch halaman

• ** schedule adalah algorithmic.** “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (terjemahan) “Googlebot menggunakan proses algoritmik untuk menentukan situs mana yang dirayapi, seberapa sering, dan berapa banyak halaman yang diambil dari setiap situs.” Anda influence ini; Anda tidak set ini.
• crawling adalah polite. bot throttle themselves so mereka jangan knock Anda situs di atas: “they try tidak untuk crawl itu site too fast untuk avoid overloading it… HTTP 500 errors berarti ‘slow down.’” (terjemahan) “mereka try tidak untuk crawl situs too fast untuk hindari overloading ini… HTTP 500 errors berarti ‘slow down.’” ini adalah lever behind temporarily slowing sebuah crawl — kembalikan 503/429 dan Googlebot eases off (untuk sebuah day atau dua, tidak forever).
• ada sebuah byte limit. sebagai dari Google’s March 2026 Di dalam Googlebot perbarui, Googlebot fetches up untuk roughly 2 MB per URL (down dari old 15 MB figure), dengan PDFs diizinkan up untuk 64 MB. Go di atas dan fetch adalah truncated, tidak rejected — hanya downloaded portion adalah lulus pada untuk pengindeksan. jika Anda critical konten sits di bawah 2 MB dari bloat, itu penting.
• Caching cuts re-crawl cost. Google’s crawler gunakan conditional permintaan dan caching so unchanged resources tidak re-fetched setiap time. Google tidak publish sebuah tepat cache duration untuk rendering resources, so jangan assume sebuah fixed refresh window untuk sebuah code perubahan — expect beberapa lag, tidak sebuah instant reflect.

rendering adalah tidak crawling

ini trips orang up constantly. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (terjemahan) “Selama crawling, Google merender halaman dan menjalankan JavaScript apa pun yang ditemukan dengan versi Chrome terbaru.” rendering adalah sebuah distinct langkah dari fetching HTML. renderer ( Web rendering Service) adalah stateless — storage dan cookies adalah cleared antara memuat, ini denies permission prompts, dan ini rejects service workers. jika Anda konten hanya muncul setelah sebuah click atau sebuah JS-driven navigation itu tidak sebuah nyata <a href> tautan, expect penemuan dan rendering masalah. (Penuh treatment di JavaScript SEO.)

crawling vs pengindeksan vs peringkat

paling penting distinctions pada ini halaman:

• crawling ≠ peringkat. crawling adalah necessary untuk menjadi di hasil, tetapi ini adalah tidak sebuah sinyal peringkat. sebuah lebih tinggi laju crawling tidak akan lift Anda positions. anggaran crawling adalah sebuah efficiency concern, penuh berhenti.
• crawling ≠ pengindeksan. sebuah halaman Anda block di robots.txt dapat masih menjadi terindeks jika lainnya halaman tautan untuk ini — Google hanya dapat’t see konten, atau apa pun noindex tag Anda put di sana. sebagai I put ini di terindeks, though blocked oleh robots.txt: “crawling and indexing are two different things.” (terjemahan) “crawling dan pengindeksan adalah dua berbeda hal.” untuk sebenarnya hapus sebuah halaman, izinkan crawling dan tambahkan noindex — jangan block ini.

I tested blocking side secara langsung. di Story dari Blocking 2 tinggi-peringkat halaman dengan Robots.txt I blocked dua dari kami peringkat halaman. hasil: “We lost a position here or there and all of the featured snippets for the pages… I expected a lot more impact, but the world didn’t end.” (terjemahan) “kami lost sebuah position di sini atau di sana dan semua dari featured snippets untuk halaman… I yang diharapkan sebuah lot lebih impact, tetapi world tidak end.” My takeaway stands: “Don’t block pages you want indexed. It hurts. Not as bad as you might think it does — but it still hurts.” (terjemahan) “jangan block halaman Anda ingin terindeks. ini hurts. Tidak sebagai buruk sebagai Anda mungkin think ini melakukan — tetapi ini masih hurts.”

cara control crawling

• robots.txt controls crawling, tidak pengindeksan. “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (terjemahan) “File robots.txt memberi tahu crawler mesin pencari URL mana yang dapat diakses crawler di situs Anda.” Evidence for this claim robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Scope: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt gunakan ini untuk pertahankan bot out dari rendah-nilai spaces — tidak sebagai sebuah deindexing alat.
• situs architecture & tautan internal govern bagaimana deep halaman sit dan apakah mereka’re ditemukan di semua (see crawl depth).
• crawl-rate controls. Google retired -nya manual crawl-rate slider di Search Console (early 2024) — ini now leans pada Anda server’s respons dan sebuah lebih rendah automatic minimum. Bing masih memberikan Anda sebuah manual crawl Control grid di Bing Webmaster alat (see laju crawling).

crawl efficiency dan anggaran crawling

Keduanya mesin think tentang crawling sebagai efficiency. Gary Illyes frames Google’s side sebagai laju crawling limit + crawl demand (popularity dan staleness). Bing’s Fabrice Canel panggilan ini mereka “crawl efficiency north star … to crawl a URL only when the content has been added … updated.” (terjemahan) “Sasaran utama efisiensi crawling adalah merayapi URL hanya ketika kontennya ditambahkan atau diperbarui.”

reassuring bagian: sebagian besar situs jangan perlu untuk worry tentang ini. Google says ini plainly — jika Anda situs tidak memiliki sebuah besar angka dari rapidly mengubah halaman, atau Anda halaman adalah di-crawl yang sama day mereka’re published, “you don’t need to read this guide.” (terjemahan) “Anda tidak perlu membaca panduan ini.” ini dimulai untuk penting sekitar 1M+ halaman mengubah weekly atau 10k+ mengubah daily (see anggaran crawling dan crawl frequency).

Ketika crawling goes wrong — cara see ini

sebelum Anda reach untuk sebuah perbaiki, figure out yang stage adalah sebenarnya rusak — symptoms dan remedies adalah berbeda di setiap satu:

• Tidak ditemukan di semua? Tidak ada apa pun tautan untuk halaman dan ini adalah missing dari Anda sitemap. Perbaiki internal linking dan sitemap coverage — see crawl depth dan crawl frequency.

• ditemukan tetapi tidak pernah fetched? kesalahan server, timeouts, atau sebuah robots.txt block adalah mengubah bot away. periksa GSC Statistik Crawling dan Anda logs — see anggaran crawling dan laju crawling.

• Fetched tetapi rendering wrong? konten bergantung pada sebuah click atau JS-hanya navigation Googlebot tidak akan perform, atau WRS times out. See JavaScript SEO untuk render-spesifik failure modes.

• Fetched dan dirender tetapi masih tidak terindeks? itu’s sebuah terpisah decision indeks membuat — see pengindeksan hub alih-alih treating ini sebagai sebuah crawl masalah.

• Log file analysis adalah ground truth. Anda server logs tampilkan persis yang URLs bot sebenarnya hit, bagaimana sering, dan apa kode status mereka mendapat — best cara untuk spot wasted crawling dan temukan halaman bot tidak pernah reach (see log file analysis).

• Spider traps — infinite URL spaces dari calendars, faceted navigation, session IDs, atau relative-tautan explosions — diam-diam burn Anda anggaran crawling pada junk URLs (see spider traps).

Di mana untuk go berikutnya: crawling cluster

ini hub adalah map. setiap topic di bawah adalah -nya own deep dive:

crawl efficiency — bagaimana banyak dan bagaimana sering

• anggaran crawling — apa ini adalah (capacity + demand), apa wastes ini, dan siapa sebenarnya perlu untuk care.
• laju crawling — bagaimana fast bot fetch, mengapa GSC rate slider went away, dan bagaimana untuk speed up atau slow down sebuah crawl hari ini.
• crawl frequency — apa membuat Google re-crawl sebuah halaman sooner (popularity, staleness, accurate lastmod) dan apa tidak.
• crawl depth — click depth vs. crawl traversal depth, dan mengapa penting halaman belong close untuk homepage.

Memenuhi crawler — siapa’s sebenarnya fetching Anda halaman

• crawler — apa sebuah web crawler (bot, spider) adalah dan fetch → parse → ikuti loop mereka semua jalankan.
• pengguna agent — pengguna-agent string dan robots.txt token sebuah bot identifies itself dengan, dan mengapa Anda dapat’t trust string alone.
• Googlebot — Google’s crawler: Smartphone vs. desktop, rendering, dan cara verify ini.
• Bingbot — Microsoft’s crawler, bagaimana ini differs, dan surfaces beyond Bing ini feeds.
• AI crawler — bot dari AI companies (training vs. AI-penelusuran vs. pengguna-triggered fetchers) dan cara control them.

Diagnosing crawl masalah

• Log file analysis — verifying nyata bot dan reading apa mereka di-crawl.
• Spider traps (crawler traps) — patterns itu generate infinite URLs, dan cara perbaiki them.

setiap topic di atas adalah -nya own deep dive nested di bawah ini hub — mereka’re di sidebar too.

Qualifying Anda outbound tautan adalah sebuah related pada-halaman control itu overlaps dengan crawling — ini tell Google cara treat sebuah tautan alih-alih apakah untuk crawl ini: nofollow ( original catch-semua, now sebuah hint), plus rel=sponsored dan rel=ugc untuk paid/advertising dan pengguna-generated tautan. semua three langsung di pada-halaman meta tags cluster.

Getting ditemukan di pertama place adalah sebuah related tetapi terpisah stage. Bagaimana penelusuran mesin menemukan Anda URLs — tautan internal, sitemaps (XML, sitemap indeks, image, dan video), dan push protocols IndexNow dan Google pengindeksan API (apa setiap adalah sebenarnya untuk, dan mengapa Google tidak gunakan IndexNow) — now lives di -nya own penemuan hub. untuk lebih luas topic, see Bagaimana Penelusuran berfungsi.

AI summary

sebuah condensed take pada Advanced versi:

• crawling = stage satu dari penelusuran (crawl → indeks → sajikan). ini adalah diperlukan untuk peringkat tetapi adalah tidak sebuah sinyal peringkat, dan ini adalah distinct dari pengindeksan dan dari rendering.
• penemuan adalah pull + push: tautan dan sitemaps (pull); IndexNow dan pengindeksan API (push). Google panggilan ini “URL discovery.” (terjemahan) “URL penemuan.”
• Fetching adalah algorithmic dan polite: Google decides apa/bagaimana sering/bagaimana banyak, dan throttles pada 5xx/429 (“slow down” (terjemahan) “slow down”). Googlebot fetches ~2 MB per URL (PDFs up untuk 64 MB) sebagai dari 2026, truncating beyond itu.
• rendering adalah terpisah: JS berjalan di sebuah stateless headless Chrome; Google caches resources untuk cut re-crawl cost tetapi tidak publish sebuah tepat duration, so perubahan dapat lag.
• crawl ≠ indeks: sebuah robots-blocked halaman dapat masih menjadi terindeks melalui tautan; gunakan noindex (dengan crawling diizinkan) untuk hapus sebuah halaman. Patrick’s blocking experiment showed blocked halaman largely dipertahankan peringkat — “tetapi it masih hurts.” (terjemahan) “tetapi ini masih hurts.”
• anggaran crawling = capacity + demand (popularity + staleness). sebagian besar situs jangan perlu untuk manage ini.
• Diagnose dengan logs; watch untuk spider traps wasting budget. AI bot adalah now sebuah major dan growing share dari crawl traffic.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• di-Depth Guide untuk Bagaimana Google Search berfungsi — crawl → indeks → sajikan overview, URL penemuan, dan crawl scheduler.
• crawling dan pengindeksan — hub untuk robots, sitemaps, canonicalization, dan crawl controls.
• Introduction untuk robots.txt — apa robots.txt melakukan (dan tidak) melakukan.
• mengoptimalkan Anda anggaran crawling — crawl capacity + demand; siapa perlu ini.
• Overview dari Google crawler dan fetchers — setiap Google pengguna-agent dan published IP ranges.
• Di dalam Googlebot (March 2026) — saat ini byte limits dan crawling architecture.
• Googlebot dan 15 MB hal (2022) — older limit, berguna untuk menunjukkan perubahan.
• crawling December series (2024) — Googlebot, HTTP caching, faceted nav, dan CDNs.

Bing / Microsoft

• bingbot Series: Maximizing crawl Efficiency — Bing’s definition dari crawling dan -nya “crawl efficiency north star.” (terjemahan) “crawl efficiency north star.”
• Bing Webmaster alat — crawl Control — set Bingbot’s speed dan timing.
• IndexNow / indexnow.org — push protocol untuk instantly signaling changed URLs.

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — bagaimana crawling berfungsi

• “Google Search works in three stages, and not all pages make it through each stage.” (terjemahan) “Google Penelusuran berjalan dalam tiga tahap, dan tidak semua halaman melewati setiap tahap.” — Google Search Central docs. Jump untuk quote
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” (terjemahan) “Halaman lain ditemukan saat Google mengekstrak tautan dari halaman yang dikenal ke halaman baru… Halaman lain ditemukan saat Anda mengirimkan daftar halaman (sitemap) untuk dirayapi Google. Proses ini disebut ‘penemuan URL’.” Jump untuk quote
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (terjemahan) “Googlebot menggunakan proses algoritmik untuk menentukan situs mana yang dirayapi, seberapa sering, dan berapa banyak halaman yang diambil dari setiap situs.” Jump untuk quote
• “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down.’” (terjemahan) “Crawler berusaha tidak merayapi situs terlalu cepat agar tidak membebaninya… error HTTP 500 berarti ‘perlambat laju’.” Jump untuk quote
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (terjemahan) “Selama crawling, Google merender halaman dan menjalankan JavaScript apa pun yang ditemukan dengan versi Chrome terbaru.” Jump untuk quote

Google — robots.txt, anggaran crawling

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (terjemahan) “File robots.txt memberi tahu crawler mesin pencari URL mana yang dapat diakses crawler di situs Anda.” — Google Search Central docs. Jump untuk quote
• “Taking crawl capacity and crawl demand together, Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (terjemahan) “Dengan menggabungkan kapasitas dan permintaan crawling, Google mendefinisikan anggaran crawling situs sebagai kumpulan URL yang dapat dan ingin dirayapi Google.” Jump untuk quote
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (terjemahan) “Jika situs Anda tidak memiliki banyak halaman yang berubah cepat, atau halaman Anda tampaknya dirayapi pada hari yang sama saat diterbitkan, Anda tidak perlu membaca panduan ini.” Jump untuk quote

Gary Illyes, Google (melalui mesin pencari Land’s verbatim reproduction dari Google’s 2017 crawl-budget post)

• laju crawling limit adalah “itu number dari simultaneous parallel connections Googlebot mungkin gunakan untuk crawl itu site, juga sebagai itu time it memiliki untuk tunggu antara itu fetches.” (terjemahan) “ angka dari simultaneous parallel connections Googlebot dapat gunakan untuk crawl situs, serta time ini memiliki untuk tunggu antara fetches.” crawl demand adalah driven oleh popularity dan staleness. Baca coverage

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (terjemahan) “crawling adalah proses oleh yang bingbot discovers baru dan diperbarui documents atau konten untuk menjadi ditambahkan untuk Bing’s searchable indeks.” Jump untuk quote
• “Our crawl efficiency north star is to crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (terjemahan) “Sasaran utama efisiensi crawling kami adalah merayapi URL hanya ketika kontennya ditambahkan atau diperbarui, misalnya saat konteks halaman atau tautan keluar yang berguna masih segar.” Jump untuk quote

crawl-health checklist

sebuah quick lulus untuk konfirmasi mesin pencari dapat temukan dan fetch apa penting:

• penting halaman adalah ditautkan dari di suatu tempat dapat di-crawl (Tidak orphans).
• robots.txt tidak block apa pun Anda ingin terindeks (dan melakukan block rendah-nilai spaces like internal hasil pencarian).
• sitemap XML adalah submitted di Google Search Console dan Bing Webmaster alat, lists hanya canonical, dapat diindeks URLs, dan memiliki sebuah accurate lastmod.
• server mengembalikan fast, stable respons — minimal 5xx/timeouts (bot slow down ketika Anda server struggles).
• Anda’re tidak menggunakan robots.txt untuk try untuk deindex — itu’s noindex’s job (dengan crawling diizinkan).
• Tidak spider traps generating infinite URLs (calendars, facets, session IDs).
• GSC Statistik Crawling reviewed untuk respons-code spikes dan average respons time.
• server logs diperiksa untuk crawl waste dan uncrawled penting URLs.
• JS-dependent konten adalah reachable melalui nyata <a href> tautan, tidak click-hanya navigation.

mental models

1. pipeline — crawl → render → indeks → sajikan. setiap stage adalah sebuah filter, dan “tidak all halaman membuat it melalui setiap stage.” (terjemahan) “tidak semua halaman membuat ini melalui setiap stage.” Ketika sebuah halaman tidak performing, locate yang stage ini adalah failing di sebelum Anda perubahan apa pun: adalah ini di-crawl? Dirender? terindeks? disajikan untuk kueri?

2. three “tidak equals.” (terjemahan) “tidak equals.” pertahankan ini terpisah dan sebagian besar crawl confusion disappears:

• crawling ≠ pengindeksan (blocked halaman dapat masih menjadi terindeks melalui tautan)
• crawling ≠ peringkat (laju crawling tidak sebuah sinyal peringkat)
• crawling ≠ rendering (JS berjalan di sebuah terpisah, cache-able langkah)

3. penemuan = pull + push. Pull: tautan + sitemaps. Push: IndexNow / pengindeksan API / lastmod. jika sebuah halaman tidak menjadi ditemukan, tanyakan yang channel seharusnya menjadi carrying ini — dan apakah apa pun tautan untuk ini di semua.

4. anggaran crawling = capacity + demand. Capacity adalah apa Anda server dapat take; demand adalah popularity + staleness. Anda raise effective budget oleh menghapus waste (traps, duplicates, junk parameters) far lebih daripada oleh trying untuk membuat Google crawl “more.” (terjemahan) “lebih banyak.”

5. decision aturan untuk menghapus sebuah halaman. ingin ini hilang dari penelusuran? Izinkan crawling + noindex. ingin bot untuk skip sebuah space entirely (dan jangan care tentang pengindeksan)? robots.txt disallow. tidak pernah gunakan disallow untuk deindex.

Controlling crawling — cheat sheet

Apa setiap control sebenarnya melakukan

kode status bot care tentang

• 200 — fetched fine.
• 301/308 — permanent redirect (consolidates).
• 404/410 — hilang; drops dari indeks di atas time (410 sebuah touch lebih cepat).
• 429 / 500 / 503 — “slow down” (terjemahan) “slow down” / try kemudian; sustained = crawl drops.

Fast facts

• Googlebot fetch limit: ~2 MB per URL (PDFs 64 MB), truncated beyond.
• Manual crawl-rate slider di GSC: dihapus (Jan 2024) — server sinyal now.
• Bing equivalent: crawl Control grid di Bing Webmaster alat.
• IndexNow: Bing/Yandex/others — tidak Google. pengindeksan API: Google, **JobPosting

• BroadcastEvent hanya**.

Verify sebuah bot adalah benar-benar Googlebot

Plenty dari traffic claims untuk menjadi Googlebot. Konfirmasi ini dengan sebuah reverse + forward DNS periksa (Google publishes Tidak shortcut — fake pengguna-agents adalah umum).

atau melakukan yang sama periksa oleh hand:

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

jika reverse lookup tidak end di sebuah Google domain, atau forward lookup tidak match original IP, ini tidak Googlebot. Anda dapat juga match terhadap Google’s published IP ranges (googlebot.json).

sebuah safe robots.txt starting poin

User-agent: *
Disallow: /search           # internal search result pages
Disallow: /*?*sort=         # sort-order parameter spaces
Allow: /

Sitemap: https://example.com/sitemap.xml

Remember: Disallow blocks crawling, tidak pengindeksan — jangan gunakan ini untuk hapus sebuah halaman dari hasil.

alat untuk seeing dan managing crawling

• Google Search Console — Statistik Crawling report — Google’s own view dari bagaimana ini melakukan crawl Anda: permintaan di atas time, kode respons, average respons time, oleh file jenis dan Googlebot jenis.
• Bing Webmaster alat — crawl info, crawl Control, dan situs Scan.
• server log file analysis — ground truth. alat: Screaming Frog Log File Analyser, atau pipe logs ke BigQuery / sebuah log platform. (See log file analysis.)
• crawler / situs audits — Ahrefs situs Audit dan Screaming Frog SEO Spider simulate sebuah crawl, surface depth, rantai pengalihan, blocked URLs, dan trap-like patterns.
• Ahrefs Webmaster alat — free crawl + audit untuk situs Anda verify.
• pemeriksaan URL (GSC) — periksa bagaimana sebuah single URL adalah di-crawl, dirender, dan terindeks.

Resources worth Anda time

My related writing

• Beginner’s Guide untuk SEO teknis — di mana crawling fits di bigger picture.
• Story dari Blocking 2 tinggi-peringkat halaman dengan Robots.txt — my pertama-party crawl-vs-peringkat experiment.
• terindeks, though blocked oleh robots.txt — mengapa blocked halaman masih mendapatkan terindeks.
• Robots.txt dan SEO: Semuanya Anda perlu Know.
• JavaScript SEO Issues & Best Practices — rendering side.
• Memenuhi baru Web crawler: AI bot adalah Closing di pada mesin pencari bot.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat. (My standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari others

• r/TechSEO — community untuk crawl/indeks debugging.
• Google’s crawling December series (official, tetapi best concentrated set dari crawl explainers).
• Google menjelaskan anggaran crawling untuk Webmasters (mesin pencari Land) — verbatim reproduction dari Gary Illyes’ original crawl-budget post dengan laju crawling limit + crawl demand definitions.
• Googlebot anggaran crawling dijelaskan (mesin pencari Journal) — plain-language breakdown dari crawl capacity dan demand model.
• Google menjelaskan Googlebot Byte Limits dan crawling Architecture (mesin pencari Journal) — coverage dari March 2026 “Di dalam Googlebot” (terjemahan) “Di dalam Googlebot” perbarui; 2 MB per URL, 64 MB PDFs, truncation perilaku.
• Bagaimana Bingbot berfungsi: Discovering, crawling, Extracting, pengindeksan (mesin pencari Journal) — Bing’s side dari crawl pipeline, dengan Fabrice Canel context.
• Googlebot File Size Limit (DebugBear) — menjelaskan apa happens ketika sebuah halaman exceeds Googlebot’s fetch limit (truncation, tidak rejection).

Podcasts

• Penelusuran Off Record (Google Search Relations) — Bagaimana Googlebot melakukan crawl web. Gary Illyes dan Martin Splitt pada past, present, dan future dari Googlebot: unified crawling infrastructure, HTTP/1.1 vs HTTP/2, conditional permintaan, dan byte limits. Listen

Videos

• Google Search Central (YouTube) — Bagaimana Google Search berfungsi series dan Martin Splitt’s crawling/rendering explainers, including JavaScript SEO videos. Channel

Stats worth citing

• AI bot adalah closing di pada penelusuran bot. dari my Cloudflare Radar analysis, penelusuran-mesin crawler masih crawl paling, tetapi AI bot adalah sebuah jelas #2 dan pada pace untuk overtake them di dalam sebuah couple dari tahun. Sumber
• Tens dari billions dari normalized URLs tidak pernah seen sebelum adalah ditemukan oleh Bing setiap day — scale dari penemuan masalah mesin aggressively filter (Fabrice Canel, Microsoft Bing, 2022). Coverage
• Yang crawler ~140M situs block paling — robots.txt block-rate data dari my study dengan Xibeijia Guan; berguna untuk understanding bagaimana open web gates bot. Sumber
• Byte limit: ~2 MB per URL (PDFs 64 MB) — Google’s terdokumentasi Googlebot fetch limit sebagai dari March 2026 (down dari 15 MB). Sumber

Uji pemahaman Anda: crawling

Five quick pertanyaan pada bagaimana mesin pencari menemukan dan fetch halaman. Pick sebuah jawaban untuk setiap, lalu periksa.

Log perubahan