Web crawler

TL;DR — sebuah web crawler adalah sebuah automated program itu visits halaman web, downloads them, dan mengikuti tautan untuk temukan lebih halaman. “Crawler,” “spider,” and “bot” all mean the same thing. (terjemahan) “Ketiga istilah itu berarti hal yang sama.” mesin pencari gunakan crawler untuk temukan Anda halaman so mereka dapat tampilkan up di penelusuran — tetapi sebuah halaman memiliki untuk menjadi di-crawl sebelum ini dapat menjadi terindeks dan diperingkatkan, dan menjadi di-crawl lebih sering tidak membuat Anda peringkat lebih tinggi.

Apa sebuah crawler adalah

sebuah web crawler adalah sebuah piece dari software itu browses web secara otomatis. ini visits sebuah halaman, downloads apa pada ini, grabs tautan, dan lalu goes off untuk visit itu tautan too — di atas dan di atas, di seluruh billions dari halaman.

Anda’ll hear three names untuk tepat sama hal: crawler, spider, dan bot. mereka’re interchangeable. Google’s crawler adalah called Googlebot; Bing’s adalah Bingbot. Evidence for this claim Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Scope: Google crawler terminology. Confidence: high · Verified: 2026-07-14 Google: Googlebot overview

mesin pencari perlu crawler karena mereka dapat’t tampilkan Anda sebuah halaman di hasil unless mereka’ve ditemukan dan downloaded ini pertama. crawler membangun mentah material; mesin pencari’s indeks adalah giant database ini searches melalui ketika Anda jenis sebuah kueri.

sebuah crawler tidak yang sama hal sebagai sebuah scraper. sebuah crawler’s job adalah penemuan di scale — berikut tautan di seluruh sebuah wide swath dari web (atau semua dari ini). sebuah scraper’s job adalah extraction — pulling spesifik pieces dari data out dari halaman ini adalah sudah telah pointed di. dalam praktik line blurs: plenty dari alat melakukan keduanya, crawling untuk temukan halaman dan lalu scraping data mereka perlu dari setiap satu.

Bagaimana sebuah crawler menemukan Anda halaman

Mostly dua cara:

• Berikut tautan. Ketika sebuah crawler downloads sebuah halaman, ini membaca tautan pada ini dan menambahkan itu baru URLs untuk -nya untuk-melakukan list. baik internal linking adalah bagaimana baru halaman mendapatkan ditemukan.
• Sitemaps. sebuah sitemap XML adalah sebuah list dari Anda URLs Anda hand straight untuk penelusuran mesin, yang dapat help them menemukan URLs. Evidence for this claim Google discovers URLs through links from known pages and through submitted sitemaps. Scope: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confidence: high · Verified: 2026-07-14 Google: How Search works

three langkah itu penting

Penelusuran berfungsi di sebuah fixed order:

1. crawl — sebuah bot menemukan sebuah URL dan downloads halaman.
2. indeks — mesin memproses itu halaman dan files ini di -nya database.
3. sajikan (peringkat) — ketika seseorang searches, mesin pulls best matches dan puts them di order.

crawling adalah langkah satu. jika sebuah halaman tidak pernah mendapatkan di-crawl, ini dapat’t menjadi terindeks, dan jika ini adalah tidak terindeks, ini dapat’t peringkat. So crawling adalah sebuah gate Anda memiliki untuk mendapatkan melalui — tetapi ini adalah tidak sebuah scoreboard. Getting di-crawl lebih tidak akan push Anda up hasil.

hal orang mendapatkan wrong

Blocking sebuah halaman di robots.txt tidak hapus ini dari Google. robots.txt hanya tells crawler “jangan baca ini.” (terjemahan) “jangan baca ini.” halaman dapat masih end up di hasil jika lainnya situs tautan untuk ini. jika Anda sebenarnya ingin sebuah halaman hilang, Anda let ini menjadi di-crawl dan tambahkan sebuah noindex tag alih-alih.

ingin mechanical versi — crawl queue, fetch dan parse, mengapa rendering adalah sebuah terpisah langkah, dan cara tell sebuah nyata crawler dari sebuah fake satu? Switch untuk Advanced tab.

TL;DR — sebuah crawler (spider, bot) adalah sebuah program otomatis yang menemukan, mengambil, mengurai, dan menjadwalkan ulang URL dalam sebuah loop. Google’s own kata: ini “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (terjemahan) “mengunduh teks, gambar, dan video dari halaman yang ditemukan di internet dengan program otomatis bernama crawler.” mechanics adalah sebuah frontier ( queue dari URLs), sebuah fetch (download HTML), sebuah parse (extract tautan + konten), dan sebuah scheduler itu decides apa untuk fetch berikutnya dan bagaimana fast — throttling pada Anda server’s health. rendering JavaScript adalah sebuah terpisah langkah. crawling adalah diperlukan untuk peringkat tetapi tidak sebuah sinyal peringkat, dan ini adalah distinct dari pengindeksan — sebuah robots-blocked halaman dapat masih menjadi terindeks. dan di 2026 ini adalah tidak hanya penelusuran mesin crawling: AI bot adalah sebuah besar, fast-growing share dari traffic.

Apa sebuah crawler sebenarnya adalah

Google’s definition adalah tentang sebagai plain sebagai ini mendapatkan: ini “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (terjemahan) “mengunduh teks, gambar, dan video dari halaman yang ditemukan di internet dengan program otomatis bernama crawler.” Google’s own glossary phrasing adalah bahkan lebih luas — “a crawler adalah a generic term untuk any program itu adalah digunakan untuk secara otomatis discover dan scan websites.” (terjemahan) “sebuah crawler adalah sebuah generic istilah untuk apa pun program itu adalah digunakan untuk secara otomatis menemukan dan scan situs web.” crawler, spider, bot, spiderbot: sama concept, berbeda name. Evidence for this claim Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Scope: Google crawler terminology. Confidence: high · Verified: 2026-07-14 Google: Googlebot overview

alasan crawling penting di semua adalah pipeline. Google adalah blunt tentang ini: “Google Search works in three stages, and not all pages make it through each stage.” (terjemahan) “Google Penelusuran berjalan dalam tiga tahap, dan tidak semua halaman melewati setiap tahap.” — crawling, pengindeksan, dan serving. crawling adalah gate satu. sebuah halaman itu’s tidak pernah di-crawl dapat’t menjadi terindeks, dan sebuah halaman itu’s tidak terindeks dapat’t peringkat.

Bagaimana sebuah crawler berfungsi, mechanically

Strip away branding dan sebagian besar tautan-berikut crawler jalankan beberapa versi dari sama loop: menemukan → fetch → parse → schedule → repeat. ini adalah sebuah berguna mental model untuk reasoning tentang crawler perilaku — tidak sebuah jaminan itu setiap crawler ever dibangun implements ini tepat stages identically.

** frontier ( queue).** sebuah crawler tidak wander randomly. ini mempertahankan sebuah queue dari URLs ini knows tentang tetapi hasn’t visited namun — crawl frontier — dan sebuah scheduler itu decides yang URL untuk pull off berikutnya. ini dimulai dari sebuah seed set dari known URLs dan grows queue sebagai ini discovers lebih. Google mendeskripsikan penemuan like ini: “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” (terjemahan) “Google menemukan halaman lain dengan mengekstrak tautan dari halaman yang dikenal menuju halaman baru… Halaman lain ditemukan dari daftar halaman, yaitu sitemap, yang Anda kirimkan untuk crawling. Inilah proses ‘penemuan URL’.” Evidence for this claim Google discovers URLs through links from known pages and through submitted sitemaps. Scope: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confidence: high · Verified: 2026-07-14 Google: How Search works

Fetch. crawler mengirim sebuah HTTP permintaan; server mengembalikan halaman. di ini langkah ini adalah downloading mentah HTML (resources like JavaScript dan CSS adalah fetched secara terpisah, sering kemudian). Bing’s Fabrice Canel frames goal dari ini seluruh proses cleanly: “Crawling adalah itu proses oleh yang bingbot discovers new dan diperbarui documents atau konten untuk menjadi added untuk Bing’s searchable index.” (terjemahan) “crawling adalah proses oleh yang bingbot discovers baru dan diperbarui documents atau konten untuk menjadi ditambahkan untuk Bing’s searchable indeks.”

Parse. fetched HTML adalah parsed untuk pull out tautan, text, heading, images, dan metadata. Newly ditemukan URLs adalah normalized dan dropped back ke frontier — yang adalah apa mempertahankan loop going.

Schedule. Apa mendapatkan fetched, bagaimana sering, dan bagaimana banyak halaman per visit adalah decided algorithmically, tidak oleh Anda. Google: “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (terjemahan) “Googlebot menggunakan proses algoritmik untuk menentukan situs mana yang dirayapi, seberapa sering, dan berapa banyak halaman yang diambil dari setiap situs.” Popular dan frequently mengubah halaman mendapatkan revisited sooner; obscure, static ones mendapatkan revisited rarely. (Bagaimana itu schedule adalah set — anggaran crawling, laju crawling, crawl frequency — setiap memiliki -nya own deep dive di ini cluster.)

”Googlebot” (terjemahan) “Googlebot” tidak satu program

ini adalah insight sebagian besar explainers miss. “Googlebot” (terjemahan) “Googlebot” sounds like sebuah single program; ini tidak. di my Bagaimana Penelusuran berfungsi deck I deskripsikan ini sebagai 1 000+ sistem berjalan sebuah family dari specialized crawler — desktop, mobile, image, news, video, ads — semua drawing dari yang sama anggaran crawling pool. Gary Illyes memiliki dibuat yang sama poin dari di dalam: name adalah essentially sebuah misnomer untuk sebuah central crawling platform itu banyak Google products (Shopping, AdSense, dan rest) route mereka permintaan melalui, di bawah berbeda pengguna-agent names. So ketika Anda baca Anda logs, Anda’re tidak watching satu bot — Anda’re watching sebuah fleet itu happens untuk share sebuah label. ( mesin-spesifik detail langsung di Googlebot dan Bingbot siblings.)

Politeness — bagaimana crawler hindari taking down Anda situs

sebuah well-behaved crawler dengan sengaja throttles itself. Google: “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (terjemahan) “Crawler berusaha tidak merayapi situs terlalu cepat agar tidak membebaninya. Mekanismenya bergantung pada respons situs; misalnya, error HTTP 500 berarti laju harus diperlambat.” itu’s juga lever behind temporarily slowing sebuah crawl — sustained 5xx/429 respons membuat Googlebot back off (untuk sebuah day atau dua, tidak forever). Politeness tidak opsional courtesy; di scale crawler operate, ini adalah satu-satunya hal mempertahankan them dari hammering server off web.

Robots.txt — standard crawl control

robots.txt adalah de facto access-control convention. Google: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (terjemahan) “File robots.txt memberi tahu crawler mesin pencari URL mana yang dapat diakses crawler di situs Anda.” Dua hal untuk pertahankan straight:

• ini controls crawling, tidak pengindeksan. sebuah halaman Anda disallow dapat masih menjadi terindeks jika lainnya halaman tautan untuk ini — Google hanya dapat’t see konten (atau apa pun noindex tag Anda put di sana). sebagai I put ini di terindeks, though blocked oleh robots.txt: “crawling dan indexing adalah dua berbeda hal.” (terjemahan) “crawling dan pengindeksan adalah dua berbeda hal.” untuk sebenarnya hapus sebuah halaman, izinkan crawling dan tambahkan noindex — jangan block ini.
• Reputable crawler obey ini; buruk actors jangan. Googlebot, Bingbot, Ahrefsbot dan like respect robots.txt; banyak scrapers dan disreputable bot ignore ini entirely. ini adalah sebuah convention, tidak sebuah enforcement mechanism.

I tested blocking side secara langsung. di Story dari Blocking 2 tinggi-peringkat halaman dengan Robots.txt I blocked dua dari kami peringkat halaman untuk nearly five months. mereka lost semua mereka featured snippets dan mereka custom judul (hasil showed “Tidak information adalah tersedia” (terjemahan) “Tidak informasi adalah tersedia”), dan clicks dropped lebih daripada position alone akan jelaskan — tetapi traffic estimate barely moved. My takeaway stands: jangan block halaman Anda ingin terindeks. ini hurts. Tidak sebagai buruk sebagai Anda mungkin think ini melakukan — tetapi ini masih hurts.

crawl ≠ indeks ≠ render ≠ peringkat

distinctions itu penyebab paling confusion:

• crawling ≠ pengindeksan. crawling adalah fetch + download; pengindeksan adalah memahami + store. sebuah halaman dapat menjadi di-crawl dan tidak terindeks (Google chose tidak untuk sertakan ini), dan sebuah blocked halaman dapat menjadi terindeks tanpa ever menjadi baca. “Indexing tidak guaranteed; tidak setiap halaman itu Google memproses akan menjadi indexed.” (terjemahan) “pengindeksan tidak guaranteed; tidak setiap halaman itu Google memproses akan menjadi terindeks.”
• crawling ≠ rendering. Fetching HTML dan berjalan -nya JavaScript adalah dua berbeda langkah. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (terjemahan) “Selama crawling, Google merender halaman dan menjalankan JavaScript apa pun yang ditemukan dengan versi Chrome terbaru,” tetapi itu rendering happens di sebuah terpisah queue itu dapat lag behind awal fetch. jika Anda konten hanya muncul setelah JavaScript berjalan, ini tidak tersedia di yang sama lulus sebagai HTML.
• crawling ≠ peringkat. menjadi di-crawl lebih sering adalah tidak sebuah sinyal peringkat. crawl rate adalah sebuah efficiency concern, penuh berhenti — yang adalah mengapa sebagian besar situs tidak pernah perlu untuk manage anggaran crawling di semua.

jenis dari crawler (tinggi tingkat)

Mempertahankan ini brief — setiap memiliki sebuah sibling itu goes deep:

• mesin pencari crawler — Googlebot, Bingbot. mereka bangun indeks itu power hasil pencarian.
• AI / LLM crawler — GPTBot, ClaudeBot, CCBot, dan others, gathering web konten untuk train atau power AI models. Growing fast (see di bawah).
• SEO audit crawler — Ahrefs situs Audit, Screaming Frog, dan similar alat itu simulate sebuah crawl untuk surface teknis issues.
• pengguna-triggered fetchers — alat itu membuat sebuah single permintaan pada demand (Google’s pemeriksaan URL alat, Rich hasil Test). Tidak autonomous crawler.

Siapa’s crawling web now

ini adalah Tidak lebih lama hanya mesin pencari. di my analysis dari Cloudflare Radar data (Memenuhi baru Web crawler), penelusuran-mesin bot masih crawl paling, tetapi AI bot adalah firmly di kedua place. scale di sini adalah hard untuk overstate: Bing alone discovers tens dari billions dari normalized URLs ini adalah tidak pernah seen sebelum setiap single day (Fabrice Canel) — yang adalah persis mengapa mesin memiliki untuk aggressively prioritize apa mereka sebenarnya fetch.

cara verify sebuah crawler adalah siapa ini claims untuk menjadi

apa pun bot dapat put “Googlebot” (terjemahan) “Googlebot” di -nya pengguna-agent string, so jangan trust string alone. nyata periksa adalah sebuah reverse + forward DNS lookup (see Scripts tab): reverse-DNS IP dari Anda logs, konfirmasi ini resolves untuk sebuah googlebot.com / google.com hostname, lalu forward-DNS itu hostname dan konfirmasi ini poin back untuk yang sama IP. Google juga publishes -nya IP ranges. penuh per-mesin pengguna-agent detail langsung di pengguna-agent sibling.

Di mana untuk go berikutnya

ini adalah umum-concept halaman. untuk specifics:

• Googlebot — Google’s crawler: pengguna-agents, mobile-pertama crawling, rendering, Search Console Statistik Crawling.
• Bingbot — Bing’s crawler: crawl Control dan IndexNow.
• AI crawler — GPTBot, ClaudeBot, CCBot, dan newer agentic bot.
• pengguna-agent — apa pengguna-agent string adalah dan cara baca ini.
• crawling hub — seluruh pipeline, plus anggaran crawling, laju crawling, crawl frequency, crawl depth, spider traps, dan log file analysis.

AI summary

sebuah condensed take pada Advanced versi:

• sebuah crawler = sebuah spider = sebuah bot. semua three names berarti satu hal: sebuah automated program itu “secara otomatis discover[s] dan scan[s] websites,” (terjemahan) “secara otomatis menemukan[s] dan scan[s] situs web,” downloading halaman so mesin pencari dapat indeks dan peringkat them.
• ** mechanical loop adalah menemukan → fetch → parse → schedule → repeat.** sebuah frontier (queue dari known-tetapi-unvisited URLs) feeds sebuah scheduler; setiap fetch downloads HTML, parsing extracts tautan + konten, dan baru URLs go back di queue. Google panggilan penemuan “URL discovery” (terjemahan) “URL penemuan” (tautan + sitemaps).
• crawling adalah stage satu dari three (crawl → indeks → sajikan), dan “not all pages make it through each stage.” (terjemahan) “tidak semua halaman melewati setiap tahap.” ini adalah diperlukan untuk peringkat tetapi adalah tidak sebuah peringkat sinyal.
• crawl ≠ indeks ≠ render ≠ peringkat. pengindeksan tidak guaranteed; rendering JavaScript adalah sebuah terpisah, kemudian langkah; sebuah robots-blocked halaman dapat masih menjadi terindeks melalui tautan.
• “Googlebot” (terjemahan) “Googlebot” adalah sebuah fleet, tidak satu program — sebuah central crawling platform banyak Google products route melalui di bawah berbeda pengguna-agents.
• Reputable crawler adalah polite dan obey robots.txt (throttling pada 5xx/429 — “slow down” (terjemahan) “slow down”); buruk actors dan banyak scrapers jangan.
• ini adalah tidak hanya mesin pencari anymore. AI bot adalah sebuah jelas #2 oleh volume dan closing pada penelusuran bot; Bing alone sees tens dari billions dari baru URLs daily.
• Verify sebuah crawler dengan reverse + forward DNS, tidak pengguna-agent string.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• di-Depth Guide untuk Bagaimana Google Search berfungsi — crawl → indeks → sajikan overview, URL penemuan, dan crawl scheduler.
• Overview dari Google crawler dan fetchers — definition dari sebuah crawler, setiap Google pengguna-agent, dan published IP ranges.
• Googlebot — dua Googlebot variants (Smartphone dan desktop) dan mereka teknis perilaku.
• Introduction untuk robots.txt — apa robots.txt melakukan (dan tidak) melakukan.
• mengoptimalkan Anda anggaran crawling — crawl capacity + demand, dan siapa sebenarnya perlu ini.

Bing / Microsoft

• bingbot Series: Maximizing crawl Efficiency — Bing’s definition dari crawling dan -nya “Our crawl efficiency north star is to crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (terjemahan) “Sasaran utama efisiensi crawling kami adalah merayapi URL hanya ketika kontennya ditambahkan atau diperbarui.”

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa sebuah crawler adalah dan bagaimana ini berfungsi

• “Google downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (terjemahan) “Google mengunduh teks, gambar, dan video dari halaman yang ditemukan di internet dengan program otomatis bernama crawler.” — Google Search Central docs. Jump untuk quote
• “Google Search works in three stages, and not all pages make it through each stage.” (terjemahan) “Google Penelusuran berjalan dalam tiga tahap, dan tidak semua halaman melewati setiap tahap.” Jump untuk quote
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” (terjemahan) “Halaman lain ditemukan saat Google mengekstrak tautan dari halaman yang dikenal ke halaman baru… Halaman lain ditemukan saat Anda mengirimkan daftar halaman (sitemap) untuk dirayapi Google. Proses ini disebut ‘penemuan URL’.” Jump untuk quote
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (terjemahan) “Googlebot menggunakan proses algoritmik untuk menentukan situs mana yang dirayapi, seberapa sering, dan berapa banyak halaman yang diambil dari setiap situs.” Jump untuk quote
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (terjemahan) “Mereka berusaha tidak merayapi situs terlalu cepat agar tidak membebaninya. Mekanisme ini bergantung pada respons situs (misalnya, error HTTP 500 berarti ‘perlambat laju’).” Jump untuk quote
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (terjemahan) “Selama crawling, Google merender halaman dan menjalankan JavaScript apa pun yang ditemukan dengan versi Chrome terbaru.” Jump untuk quote

Google — robots.txt

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (terjemahan) “File robots.txt memberi tahu crawler mesin pencari URL mana yang dapat diakses crawler di situs Anda.” — Google Search Central docs. Jump untuk quote

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (terjemahan) “crawling adalah proses oleh yang bingbot discovers baru dan diperbarui documents atau konten untuk menjadi ditambahkan untuk Bing’s searchable indeks.” Jump untuk quote
• “Our crawl efficiency north star is to crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (terjemahan) “Sasaran utama efisiensi crawling kami adalah merayapi URL hanya ketika kontennya ditambahkan atau diperbarui, misalnya saat konteks halaman atau tautan keluar yang berguna masih segar.” Jump untuk quote

pastikan crawler dapat melakukan mereka job — checklist

sebuah quick lulus untuk konfirmasi bot dapat temukan, fetch, dan baca apa penting:

• penting halaman adalah ditautkan dari di suatu tempat dapat di-crawl (Tidak orphans) — tautan adalah bagaimana crawler menemukan URLs.
• sebuah sitemap XML adalah submitted so penemuan tidak rely pada tautan alone.
• robots.txt tidak block apa pun Anda ingin terindeks (dan melakukan block rendah-nilai spaces Anda tidak pernah ingin di-crawl).
• Anda’re tidak menggunakan robots.txt untuk try untuk deindex — itu’s noindex’s job (dengan crawling diizinkan).
• server mengembalikan fast, stable respons — bot throttle down pada 5xx/429 (“slow down” (terjemahan) “perlambat laju”).
• JS-dependent konten adalah reachable melalui nyata <a href> tautan, tidak click-hanya navigation (rendering adalah sebuah terpisah, kemudian langkah).
• bot di Anda logs adalah verified sebagai genuine (reverse + forward DNS), tidak hanya trusted oleh mereka pengguna-agent string.

mental models

1. loop — menemukan → fetch → parse → schedule → repeat. sebagian besar tautan-berikut crawler jalankan beberapa versi dari ini loop. sebuah frontier holds URLs ini knows tentang; sebuah scheduler picks berikutnya satu; sebuah fetch downloads ini; sebuah parse extracts tautan itu feed back ke frontier. jika sebuah halaman tidak getting di-crawl, tanyakan yang langkah adalah failing: adalah ini ever ditemukan (di frontier di semua)? adalah ini menjadi de-prioritized oleh scheduler?

2. pipeline — crawl → indeks → sajikan. setiap stage adalah sebuah filter, dan “not all pages make it through each stage.” (terjemahan) “tidak semua halaman melewati setiap tahap.” Ketika sebuah halaman underperforms, temukan yang stage ini adalah failing di sebelum mengubah apa pun.

3. Kumpulan “not equals”. (terjemahan) “Kumpulan pembedaan yang tidak sama.” pertahankan empat pembedaan ini dan sebagian besar kebingungan crawler akan hilang:

• crawling ≠ pengindeksan (sebuah blocked halaman dapat masih menjadi terindeks melalui tautan)
• crawling ≠ rendering (JavaScript berjalan di sebuah terpisah, kemudian langkah)
• crawling ≠ peringkat (laju crawling adalah tidak sebuah sinyal peringkat)
• “Googlebot” (terjemahan) “Googlebot” ≠ satu program (ini adalah sebuah fleet routed melalui satu platform)

4. decision aturan untuk menghapus sebuah halaman. ingin ini hilang dari penelusuran? Izinkan crawling + noindex. ingin bot untuk skip sebuah space entirely (dan jangan care tentang pengindeksan)? robots.txt disallow. tidak pernah gunakan disallow untuk deindex.

crawler — cheat sheet

Three names, satu hal: crawler = spider = bot (spiderbot). Interchangeable.

** loop:** menemukan (frontier) → fetch (download HTML) → parse (extract tautan + konten) → schedule (decide apa berikutnya) → repeat.

** pipeline:** crawl → indeks → sajikan. crawling adalah gate satu; “not all pages make it through each stage.” (terjemahan) “tidak semua halaman membuat ini melalui setiap stage.”

Pembedaan “not equals”: (terjemahan) “Pembedaan yang tidak sama:”

Politeness: crawler throttle themselves; sustained 5xx/429 = “slow down.” (terjemahan) “perlambat laju.”

Control: robots.txt controls crawling, tidak pengindeksan — jangan gunakan ini untuk deindex. Reputable crawler obey ini; banyak scrapers jangan.

Verify sebuah crawler: reverse + forward DNS, tidak pernah pengguna-agent string alone.

** landscape (2026):** penelusuran-mesin bot crawl paling, AI bot adalah sebuah fast- rising #2, dan Bing alone discovers tens dari billions dari baru URLs per day.

Verify sebuah bot adalah benar-benar crawler ini claims untuk menjadi

sebuah pengguna-agent string adalah trivial untuk fake, so satu-satunya reliable periksa adalah DNS. untuk Googlebot, konfirmasi sebuah reverse + forward DNS lookup resolves untuk sebuah Google domain dan back untuk yang sama IP.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

jika reverse lookup tidak end di sebuah Google domain, atau forward lookup tidak match original IP, ini tidak benar-benar Googlebot. Anda dapat juga match IP terhadap Google’s published ranges (googlebot.json). yang sama reverse-lalu-forward pattern berfungsi untuk verifying lainnya reputable crawler terhadap mereka own published hostnames.

alat untuk inspecting crawler access dan activity

• Robots.txt Tester — test apakah sebuah named crawler adalah diizinkan untuk permintaan sebuah URL sebelum treating sebuah crawl kesenjangan sebagai sebuah scheduling masalah.
• Log File Analyzer — see yang crawler sebenarnya hit server, yang URLs mereka permintaan, dan kode status mereka menerima.
• header HTTP Checker — inspect respons sebuah crawler mendapatkan, including redirects dan crawler directives dikirim di headers.
• Render Kesenjangan Analyzer — bandingkan mentah dan dirender HTML ketika sebuah crawler dapat fetch sebuah halaman tetapi penting konten bergantung pada rendering sisi klien.

Uji pemahaman Anda: web crawler

Resources worth Anda time

My related writing

• Apa adalah Googlebot & Bagaimana melakukan ini berfungsi? — deep dive pada Google’s spesifik crawler fleet.
• terindeks, though blocked oleh robots.txt — mengapa blocked halaman masih mendapatkan terindeks (crawl ≠ indeks).
• Story dari Blocking 2 tinggi-peringkat halaman dengan Robots.txt — my pertama-party crawl-vs-peringkat experiment.
• Ketika seharusnya Anda Worry tentang anggaran crawling? — ketika crawling efficiency sebenarnya penting.
• Memenuhi baru Web crawler: AI bot adalah Closing di pada mesin pencari bot — mengubah cast dari crawler.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat. (Standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari others

• Penelusuran Off Record — “Apa adalah a web crawler, benar-benar?” (terjemahan) “Apa adalah sebuah web crawler, benar-benar?” — Gary Illyes dan Lizzi Sassman pada apa sebuah crawler adalah dan “Googlebot adalah a misnomer” (terjemahan) “Googlebot adalah sebuah misnomer” poin.
• Penelusuran Off Record — “Crawling smarter, tidak harder” (terjemahan) “crawling smarter, tidak harder” (Ep. 79) — Gary Illyes dan John Mueller pada anggaran crawling, scheduler, dan mengapa 90%+ dari situs jangan perlu untuk worry tentang ini.
• Google Search Central Blog — crawling December resources (2024) — Google’s own curated deep-dive series pada crawling fundamentals.
• mesin pencari Journal — Google’s crawling Priorities: Insights dari Gary Illyes — covers Illyes’s stated mission untuk decrease crawling tanpa sacrificing quality.
• mesin pencari Land — Google menjelaskan apa “anggaran crawling” (terjemahan) “anggaran crawling” berarti untuk webmasters — original 2017 coverage ketika Google pertama didefinisikan crawl capacity dan crawl demand.
• Wikipedia — Web crawler — baik untuk formal CS terminology (frontier, politeness policy) dan history.
• r/TechSEO — community untuk crawl/indeks debugging.

Stats worth citing

• AI bot adalah closing di pada penelusuran bot. dari my Cloudflare Radar analysis, penelusuran-mesin crawler masih crawl paling, tetapi AI bot adalah sebuah jelas #2 oleh volume. Sumber
• Tens dari billions dari normalized URLs tidak pernah seen sebelum adalah ditemukan oleh Bing setiap day — scale dari penemuan masalah mesin aggressively filter (Fabrice Canel, Microsoft Bing, 2022). Coverage

Log perubahan