Panduan Googlebot

TL;DR — Googlebot adalah Google’s web crawler — program itu visits Anda halaman, downloads them, dan hands them off so Google dapat indeks dan peringkat them. ada dua dari them (sebuah smartphone satu dan sebuah desktop satu), dan smartphone satu melakukan sebagian besar dari berfungsi. menjadi di-crawl adalah sebuah requirement untuk tampilkan up di penelusuran — tetapi getting di-crawl lebih tidak membuat Anda peringkat lebih tinggi.

Apa Googlebot adalah

Google tidak browse web cara Anda melakukan. ini mengirim out sebuah automated program — sebuah crawler, atau bot — itu visits halaman, downloads apa pada them, dan mengikuti tautan untuk temukan lebih halaman. itu program adalah Googlebot. (Bing’s equivalent adalah Bingbot.)

Saya menjelaskannya secara sederhana dalam panduan Ahrefs tentang Googlebot: “Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web.” (terjemahan) “Googlebot adalah perayap web yang digunakan Google untuk mengumpulkan informasi yang diperlukan dan membangun indeks web yang dapat ditelusuri.”* Semuanya yang Google tampilkan di hasil penelusuran dimulai dari Googlebot yang mengambil halaman. halaman.

ada sebenarnya dua Googlebots

Googlebot muncul di dua flavors:

• Googlebot Smartphone — pretends untuk menjadi seseorang pada sebuah phone. ini adalah main satu. Google mostly looks di mobile versi dari Anda situs (itu’s called pengindeksan mobile-pertama), so sebagian besar melakukan crawl come dari smartphone bot.
• Googlebot desktop — pretends untuk menjadi seseorang pada sebuah desktop computer. ini melakukan sebuah lebih kecil share dari crawling.

Di sini’s catch: di Anda robots.txt file ( file itu tells bot di mana mereka dapat go), keduanya share yang sama name — Googlebot. So Anda dapat’t tell robots.txt “let itu desktop satu di tetapi tidak itu mobile satu.” (terjemahan) “let desktop satu di tetapi tidak mobile satu.” ini adalah semua-atau-tidak ada apa pun.

melakukan Googlebot jalankan JavaScript?

Ya. Googlebot menggunakan sebuah recent versi dari Chrome di bawah hood, so ini dapat baca modern, JavaScript-berat situs. sebagai I put ini di my Googlebot guide: “Googlebot adalah evergreen, meaning it sees websites sebagai users akan di itu latest Chrome browser.” (terjemahan) “Googlebot adalah evergreen, meaning ini sees situs web sebagai pengguna akan di latest Chrome browser.” tetapi berjalan itu JavaScript happens sebuah little kemudian, di sebuah terpisah langkah — tidak instant Anda halaman adalah pertama fetched.

dua hal orang mendapatkan wrong

1. crawling adalah tidak peringkat. Getting di-crawl lebih sering tidak akan move Anda up hasil. crawling adalah hanya bagaimana Google menemukan dan downloads Anda halaman — ini adalah sebuah gate Anda memiliki untuk mendapatkan melalui, tidak sebuah scoreboard.
2. Blocking Googlebot di robots.txt melakukan tidak delete Anda dari Google. ini hanya berhenti Google dari reading halaman. jika lainnya situs tautan untuk ini, URL dapat masih tampilkan up di hasil (hanya tanpa sebuah berguna deskripsi). untuk sebenarnya pertahankan sebuah halaman out, Anda let Google crawl ini dan tambahkan sebuah noindex tag.

ingin teknis versi — tepat pengguna-agent strings, cara verify sebuah nyata Googlebot, byte limits, dan rendering queue? Switch untuk Advanced tab.

TL;DR — Googlebot adalah Google Search’s crawler, split ke Smartphone (utama, mobile-pertama) dan desktop, yang share satu Googlebot robots.txt token — Anda dapat’t target them secara terpisah. ini berjalan sebuah evergreen Chromium dan renders JavaScript di sebuah terpisah, kemudian queue (crawl ≠ render). crawling adalah diperlukan untuk peringkat tetapi adalah tidak sebuah sinyal peringkat, dan sebuah robots-blocked URL dapat masih menjadi terindeks URL-hanya. Verify ini oleh reverse + forward DNS untuk sebuah Google domain atau terhadap Google’s published IP ranges — pengguna-agent adalah trivially spoofed. dan “Googlebot” (terjemahan) “Googlebot” adalah benar-benar hanya Penelusuran-facing slice dari sebuah banyak bigger crawling platform.

Apa Googlebot sebenarnya adalah

Google adalah precise tentang name: “Googlebot adalah itu generic name untuk dua types dari web crawlers digunakan oleh Google Search.” (terjemahan) “Googlebot adalah generic name untuk dua jenis dari web crawler digunakan oleh Google Search.” itu dua jenis adalah Googlebot Smartphone (“a mobile crawler itu simulates a user pada a mobile device” (terjemahan) “sebuah mobile crawler itu simulates sebuah pengguna pada sebuah perangkat seluler”) dan Googlebot desktop (“a desktop crawler itu simulates a user pada desktop” (terjemahan) “sebuah desktop crawler itu simulates sebuah pengguna pada desktop”).

ini adalah tidak satu little program berjalan pada satu machine. “Googlebot berjalan pada thousands dari machines,” (terjemahan) “Googlebot berjalan pada thousands dari machines,” sebagai I deskripsikan ini di my Googlebot guide, “they determine bagaimana fast dan apa untuk crawl pada websites,” (terjemahan) “mereka determine bagaimana fast dan apa untuk crawl pada situs web,” distributed di seluruh datacenters worldwide tetapi egressing primarily dari US IP addresses. penemuan happens mostly melalui tautan — Google menemukan baru URLs “primarily dari links embedded di previously crawled halaman” (terjemahan) “primarily dari tautan embedded di previously di-crawl halaman” — plus sitemaps. (untuk penuh penemuan dan scheduling picture, itu’s crawling hub’s job.)

Smartphone vs desktop — dan mengapa ini adalah “smartphone-pertama” (terjemahan) “mengutamakan smartphone”

di bawah pengindeksan mobile-pertama, smartphone crawler adalah utama satu. Google: “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” (terjemahan) “Untuk sebagian besar situs, Google Penelusuran terutama mengindeks versi seluler konten; karena itu mayoritas permintaan crawling Googlebot menggunakan crawler seluler dan sebagian kecil menggunakan crawler desktop.”* Pengindeksan mobile-pertama telah menyelesaikan untuk semua situs since October 2023, so practical aturan adalah: jika konten tidak terlihat untuk smartphone agent, ini tidak terindeks. Match Anda konten, data terstruktur, metadata, dan robots tags di seluruh mobile dan desktop.

robots.txt gotcha: “Keduanya crawler types obey itu sama product token (user agent token) di robots.txt, dan so Anda cannot selectively target either Googlebot Smartphone atau Googlebot Desktop menggunakan robots.txt.” (terjemahan) “Keduanya crawler jenis obey yang sama product token (pengguna agent token) di robots.txt, dan so Anda cannot selectively target either Googlebot Smartphone atau Googlebot desktop menggunakan robots.txt.” satu-satunya cara untuk differentiate adalah untuk baca HTTP user-agent permintaan header di Anda own server-side logic. (untuk mechanics dari itu header format, see pengindeksan mobile-pertama dan pengguna-agent.)

pengguna-agent strings

robots.txt product token untuk keduanya adalah hanya Googlebot. penuh UA strings differ:

Googlebot desktop:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

W.X.Y.Z adalah sebuah placeholder untuk saat ini Chrome versi, yang moves sebagai Googlebot’s evergreen Chromium adalah diperbarui. jangan trust string pada -nya own, though — ini adalah trivially spoofed (see verification di bawah).

Evergreen Chromium dan rendering queue

ini adalah pembedaan itu trips orang up sebagian besar: crawling dan rendering adalah terpisah langkah. Googlebot berjalan “an evergreen version dari Chromium,” (terjemahan) “sebuah evergreen versi dari Chromium,” dan ini menjadi evergreen back di dapat 2019 (jumping dari old Chrome 41 untuk saat ini stable), yang adalah mengapa ini now menangani ES6+, IntersectionObserver, Web Components, dan modern CSS. tetapi ini tidak execute Anda JavaScript moment ini fetches HTML.

Google: “Googlebot queues all halaman dengan a 200 HTTP status code untuk rendering, unless a robots meta tag atau header tells Google tidak untuk index itu halaman. Itu halaman mungkin stay pada ini queue untuk beberapa seconds, tetapi it dapat take lebih lama daripada itu. Setelah Google’s resources izinkan, a headless Chromium renders itu halaman dan executes itu JavaScript.” (terjemahan) “Googlebot queues semua halaman dengan sebuah 200 HTTP kode status untuk rendering, unless sebuah robots meta tag atau header tells Google tidak untuk indeks halaman. halaman dapat stay pada ini queue untuk sebuah sedikit seconds, tetapi ini dapat take lebih lama daripada itu. Setelah Google’s resources izinkan, sebuah headless Chromium renders halaman dan executes JavaScript.” rendering service (WRS) behaves like sebuah modern browser tetapi dengan quirks worth knowing: ini adalah effectively stateless — local/session storage dan cookies adalah cleared di seluruh halaman memuat — ini tidak fetch images atau videos (untuk save bandwidth), caches aggressively (dan dapat ignore Anda caching headers), dan tidak mendukung WebSockets atau WebRTC. jika Anda konten hanya muncul setelah sebuah click atau sebuah JS-driven navigation itu tidak sebuah nyata <a href> tautan, expect rendering trouble. (Depth lives di rendering sibling.)

Byte limits

Googlebot tidak download sebuah unlimited amount per URL. sebagai dari Google’s March 2026 Di dalam Googlebot perbarui, ini fetches roughly pertama 2 MB dari apa pun individual URL (including header HTTP) dan up untuk 64 MB untuk sebuah PDF. figure adalah sebuah moving target — Google’s own framing adalah itu “ini limit adalah tidak set di stone dan mungkin ubah over time sebagai itu web evolves dan HTML halaman grow di size,” (terjemahan) “ini limit adalah tidak set di stone dan dapat perubahan di atas time sebagai web evolves dan HTML halaman grow di size,” dan sebelumnya docs listed 15 MB (yang turned out untuk menjadi lebih luas infrastructure default, tidak Penelusuran’s angka). practical poin holds regardless: apa pun past cutoff sekadar tidak fetched — “untuk Googlebot, they sekadar jangan exist.” (terjemahan) “untuk Googlebot, mereka sekadar jangan exist.” pertahankan critical konten dan markup di atas bloat.

Worked failure: canonical ada, tetapi Googlebot tidak pernah menerima ini

Imagine sebuah product template returning 2,4 MB dari HTML. sebuah application serializes sebuah huge product-state object dan recommendation payload near top dari document; canonical, product deskripsi, data terstruktur, dan related-product tautan melakukan tidak muncul until roughly byte 2 180 000. sebuah browser downloads seluruh respons, so View Sumber looks correct. Googlebot Penelusuran berhenti sekitar -nya terdokumentasi 2 MB limit, so itu kemudian sinyal melakukan tidak exist di fetched resource.

Diagnose respons di byte order, tidak hanya di dirender DOM:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

local byte counts adalah sebuah approximation karena pengiriman intermediaries dan respons menangani dapat differ, tetapi mereka jawaban berguna pertama pertanyaan: adalah critical sinyal comfortably early, atau adalah mereka sitting near atau beyond boundary? perbaiki adalah untuk hapus atau defer oversized inline data dan emit essential metadata, utama konten, dan dapat di-crawl tautan early—tidak untuk move yang sama bloat sekitar dan hope cutoff perubahan.

Bagaimana Googlebot fetches — politely

• laju crawling adalah algorithmic dan self-throttling. “Untuk paling sites, Googlebot tidak seharusnya access Anda site lebih daripada setelah setiap sedikit seconds pada average.” (terjemahan) “untuk sebagian besar situs, Googlebot tidak seharusnya access Anda situs lebih daripada setelah setiap sedikit seconds pada average.” ini speeds up atau backs off berdasarkan Anda server’s health.
• kode status adalah lever. Returning 429, 500, atau 503 tells Googlebot untuk slow down — tetapi itu memengaruhi entire hostname, tidak hanya erroring URLs, dan hanya berfungsi untuk sebuah day atau dua sebelum sustained errors mulai dropping halaman dari indeks. John Mueller: “I’d hanya expect itu laju crawling untuk react itu quickly jika they adalah returning 429 / 500 / 503 / timeouts,” (terjemahan) “I’d hanya expect laju crawling untuk react itu quickly jika mereka adalah returning 429 / 500 / 503 / timeouts,” dan “404s adalah generally fine & setelah discovered, Googlebot akan retry them anyway.” (terjemahan) “404s adalah umumnya fine & setelah ditemukan, Googlebot akan retry them anyway.”
• crawl-delay adalah ignored. Google melakukan tidak proses non-standard crawl-delay robots.txt directive di semua. (Bing melakukan honor ini — satu dari nyata Googlebot/Bingbot divergences.)
• crawling tracks crawl demand, tidak sebuah flat quota — capacity (apa Anda server dapat take) plus demand (popularity dan staleness). untuk sebagian besar situs ini adalah sebuah non-issue; ini hanya bites di nyata scale. penuh treatment adalah di anggaran crawling.

Verifying ini adalah benar-benar Googlebot

pengguna-agent header adalah “often spoofed by other crawlers” (terjemahan) “sering spoofed oleh lainnya crawler” — so ini alone proves tidak ada apa pun. Google’s crawler identify themselves three cara: pengguna-agent header, sumber IP, dan reverse-DNS hostname dari itu IP. Dua nyata verification metode:

1. Manual (satu kali). Reverse-DNS sumber IP; konfirmasi ini resolves untuk sebuah hostname ending di googlebot.com, google.com, atau googleusercontent.com ( mask looks like crawl-***-***-***-***.googlebot.com); lalu forward-DNS itu hostname dan konfirmasi ini mengembalikan original IP.
2. Automatic (di scale). Match IP terhadap Google’s published CIDR ranges. Google memiliki split ini dari old single googlebot.json ke several JSON files oleh crawler category — Googlebot satu adalah https://www.gstatic.com/ipranges/common-crawlers.json ( legacy googlebot.json URL masih redirects untuk yang sama data).

Keduanya adalah di Scripts tab, untuk macOS/Linux dan Windows. Mengapa bother? Plenty dari traffic lies tentang menjadi Googlebot, so logs itu “menunjukkan Googlebot” (terjemahan) “tampilkan Googlebot” dapat menjadi largely impostors — verify sebelum Anda trust.

Googlebot adalah satu bot di sebuah fleet

“Googlebot” (terjemahan) “Googlebot” adalah genuinely sebuah bit dari sebuah misnomer. Gary Illyes, March 2026: “I berarti, calling it Googlebot, itu a misnomer,” (terjemahan) “I berarti, calling ini Googlebot, itu’s sebuah misnomer,” dan “Googlebot adalah tidak our crawler infrastructure.” (terjemahan) “Googlebot adalah tidak kami crawler infrastructure.” infrastructure underneath, di his kata, adalah “software sebagai a service, jika Anda like. SaaS” (terjemahan) “software sebagai sebuah service, jika Anda like. SaaS” — sebuah shared platform banyak Google products draw dari. Apa Anda see di Anda logs adalah Penelusuran slice dari ini: “Ketika Anda see Googlebot di Anda server logs, Anda adalah sekadar looking di Google Search.” (terjemahan) “Ketika Anda see Googlebot di Anda server logs, Anda adalah hanya looking di Google Search.” He juga notes ada “dozens, if not hundreds of different crawlers,” (terjemahan) “dozens, jika tidak hundreds dari berbeda crawler,” sebagian besar too kecil untuk bother documenting.

named ones Anda’ll sebenarnya memenuhi alongside Googlebot sertakan Googlebot-Image, Googlebot-Video, dan Googlebot-News (yang share Googlebot’s strings/tokens), Storebot-Google, dan Google-InspectionTool (powers pemeriksaan URL dan Rich hasil alat). Dua behave unusually: AdsBot ignores global * robots.txt aturan (sebuah Disallow: / di bawah User-agent: * masih tidak akan berhenti ini), dan Google-Safety ignores robots.txt entirely. AI-related crawler — Google-Extended (controls Gemini training; tidak sebuah sinyal peringkat) dan GoogleOther (R&D melakukan crawl, offloaded dari Googlebot) — exist too, tetapi AI crawler sibling covers itu secara mendalam, so I’ll poin di sana alih-alih duplicate.

cara control Googlebot

Three controls, three berbeda effects:

• robots.txt berhenti crawling, tidak pengindeksan. gunakan ini untuk pertahankan bot out dari rendah-nilai URL spaces — tidak pernah sebagai sebuah deindexing alat.
• noindex berhenti pengindeksan — tetapi Googlebot harus menjadi diizinkan untuk crawl halaman untuk see tag di pertama place.
• Password protection blocks access entirely.

Yang brings us untuk single sebagian besar misunderstood Googlebot fact: “ada a perbedaan antara crawling dan indexing; blocking Googlebot dari crawling a halaman tidak cegah itu URL dari itu halaman dari appearing di penelusuran hasil.” (terjemahan) “ada sebuah perbedaan antara crawling dan pengindeksan; blocking Googlebot dari crawling sebuah halaman tidak mencegah URL dari halaman dari appearing di hasil pencarian.” sebuah robots-blocked URL dapat masih mendapatkan terindeks URL-hanya jika sesuatu tautan untuk ini. untuk sebenarnya hapus sebuah halaman, izinkan crawling dan tambahkan noindex. I’ve ditulis ini up di detail di terindeks, though blocked oleh robots.txt.

untuk wider pipeline Googlebot lives di dalam — URL penemuan, crawl scheduler, rendering, dan crawl-vs-indeks-vs-peringkat distinctions — see crawling hub dan Bagaimana Penelusuran berfungsi.

AI summary

sebuah condensed take pada Advanced versi:

• Googlebot = Google Search’s web crawler, di dua variants: Smartphone (utama, di bawah pengindeksan mobile-pertama) dan desktop. mereka share satu Googlebot robots.txt token, so Anda dapat’t target them secara terpisah — hanya melalui HTTP pengguna-agent header.
• Mobile-pertama since Oct 2023: jika konten tidak terlihat untuk smartphone agent, ini tidak terindeks.
• Evergreen Chromium, terpisah rendering queue: Googlebot berjalan saat ini Chromium tetapi executes JavaScript kemudian, di sebuah stateless render langkah (storage/cookies cleared; Tidak images/video fetched; aggressive caching). crawl ≠ render.
• Byte limit ~2 MB per URL (PDFs 64 MB) sebagai dari 2026 — konten beyond cutoff tidak fetched. tepat figure adalah “tidak set di stone.” (terjemahan) “tidak set di stone.”
• Polite, algorithmic fetching: 429/5xx say “slow down” (terjemahan) “slow down” (hostname-wide, pendek-istilah); crawl-delay adalah ignored (Bing honors ini).
• crawling ≠ peringkat, dan robots-block ≠ deindex — sebuah blocked URL dapat masih menjadi terindeks URL-hanya. hapus halaman dengan noindex (crawling diizinkan), tidak robots.txt.
• Verify oleh reverse + forward DNS untuk *.googlebot.com/*.google.com/ *.googleusercontent.com, atau terhadap Google’s published IP ranges (common-crawlers.json) — pengguna-agent adalah trivially spoofed.
• “Googlebot” (terjemahan) “Googlebot” adalah sebuah fleet, tidak satu program — Penelusuran-facing slice dari sebuah lebih besar crawling platform, alongside Googlebot-Image/Video/News, Google-InspectionTool, AdsBot (ignores *), Google-Safety (ignores robots.txt), dan AI crawler (Google-Extended, GoogleOther — see AI crawler sibling).

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• Googlebot — canonical doc: dua crawler jenis, UA strings, byte limits, dan crawl/indeks controls. Mulai di sini.
• Overview dari Google crawler dan fetchers — setiap Google pengguna-agent, three crawler categories, dan published IP ranges.
• Google’s umum crawler — penuh UA-string dan robots-token reference untuk Googlebot dan -nya siblings.
• Verify Google crawler dan fetchers — reverse/forward DNS dan JSON IP-range files.
• pengindeksan mobile-pertama best practices — mengapa Smartphone adalah utama dan apa untuk pertahankan consistent.
• JavaScript SEO basics — evergreen Chromium renderer dan rendering queue.
• Bagaimana HTTP kode status memengaruhi Google’s crawler — bagaimana 2xx/3xx/4xx/429/5xx perubahan crawl perilaku.
• Di dalam Googlebot (March 2026) — saat ini byte limits dan “Googlebot adalah sekadar Google Search” (terjemahan) “Googlebot adalah hanya Google Search” framing.

Bing / Microsoft (untuk contrast)

• Bingbot crawl control — Bing’s manual crawl scheduling dan -nya crawl-delay mendukung, yang Googlebot tidak memiliki.

Quotes dari sumber

pada—record statements dari Google. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa Googlebot adalah

• “Googlebot is the generic name for two types of web crawlers used by Google Search.” (terjemahan) “Googlebot adalah nama umum untuk dua jenis perayap web yang digunakan Google Penelusuran.”* — Google Search Central docs. Jump untuk quote
• “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” (terjemahan) “Versi seluler menjadi standar utama bagi sebagian besar situs; mayoritas permintaan Googlebot memakai crawler seluler dan sisanya crawler desktop.”* Jump untuk quote
• “Google uses the mobile version of a site’s content, crawled with the smartphone agent, for indexing and ranking.” (terjemahan) “Google menggunakan mobile versi dari sebuah situs’s konten, di-crawl dengan smartphone agent, untuk pengindeksan dan peringkat.” Jump untuk quote

Google — rendering dan byte limits

• “While Google Search runs JavaScript with an evergreen version of Chromium, there are a few things that you can optimize.” (terjemahan) “Meskipun Google Penelusuran menjalankan JavaScript dengan Chromium versi evergreen, ada beberapa hal yang dapat Anda optimalkan.”* Jump untuk quote
• “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page.” (terjemahan) “Googlebot mengantrekan semua halaman dengan kode status HTTP 200 untuk dirender, kecuali meta tag atau header robots memberi tahu Google agar tidak mengindeks halaman tersebut.”* Jump untuk quote
• “Googlebot crawls the first 2MB of a supported file type, and the first 64MB of a PDF file.” (terjemahan) “Googlebot merayapi 2 MB pertama dari jenis file yang didukung dan 64 MB pertama dari file PDF.”* Jump untuk quote

Google — crawl vs indeks

• “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” (terjemahan) “Ada perbedaan antara crawling dan pengindeksan; memblokir Googlebot agar tidak merayapi halaman tidak mencegah URL halaman muncul di hasil penelusuran.”* — Google Search Central docs. Jump untuk quote

Gary Illyes, Google (reported melalui mesin pencari Journal dan Google’s March 2026 blog post)

• “I berarti, calling it Googlebot, itu a misnomer.” (terjemahan) “I berarti, calling ini Googlebot, itu’s sebuah misnomer.” … “Googlebot adalah tidak our crawler infrastructure.” (terjemahan) “Googlebot adalah tidak kami crawler infrastructure.” … “ini software sebagai a service, jika Anda like. SaaS.” (terjemahan) “ini adalah software sebagai sebuah service, jika Anda like. SaaS.” Baca coverage
• “Ketika Anda see Googlebot di Anda server logs, Anda adalah sekadar looking di Google Search.” (terjemahan) “Ketika Anda see Googlebot di Anda server logs, Anda adalah hanya looking di Google Search.” Baca coverage

John Mueller, Google (melalui mesin pencari Journal’s Reddit coverage)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts.” (terjemahan) “I’d hanya expect laju crawling untuk react itu quickly jika mereka adalah returning 429 / 500 / 503 / timeouts.” … “404s adalah generally fine & setelah discovered, Googlebot akan retry them anyway.” (terjemahan) “404s adalah umumnya fine & setelah ditemukan, Googlebot akan retry them anyway.” Baca coverage

Googlebot readiness checklist

sebuah quick lulus untuk konfirmasi Googlebot dapat temukan, fetch, render, dan correctly tangani Anda halaman:

• penting konten adalah reachable melalui nyata <a href> tautan (tidak click-hanya atau JS-driven navigation renderer dapat’t ikuti).
• Mobile dan desktop versi match — sama konten, data terstruktur, metadata, dan robots tags (mobile-pertama berarti smartphone agent’s view adalah apa counts).
• Critical konten dan markup sit di atas ~2 MB fetch cutoff; PDFs di bawah 64 MB.
• robots.txt tidak block apa pun Anda ingin terindeks — dan Anda’re tidak menggunakan ini untuk try untuk deindex (itu’s noindex’s job, dengan crawling diizinkan).
• server mengembalikan fast, stable respons — minimal 5xx/429/timeouts, since itu throttle crawling hostname-wide.
• Anda’re tidak relying pada crawl-delay (Google ignores ini).
• server logs adalah diperiksa dengan verified Googlebot (reverse + forward DNS atau IP ranges) — tidak mentah pengguna-agent matches, yang impostors spoof.
• Anda memahami sebuah robots-blocked URL dapat masih menjadi terindeks URL-hanya jika ditautkan untuk.

Googlebot — cheat sheet

** dua crawler jenis**

robots.txt product token (keduanya): Googlebot

lainnya Google crawler Anda’ll see di logs

Fast facts

• Fetch limit: ~2 MB per URL (PDFs 64 MB), sebagai dari 2026 — beyond ini tidak fetched. (“Not set in stone.” (terjemahan) “Tidak set di stone.”)
• Renders dengan evergreen Chromium, di sebuah terpisah, kemudian queue (crawl ≠ render).
• crawl-delay: ignored oleh Google (Bing honors ini).
• 429/5xx: temporary “slow down” (terjemahan) “slow down” — memengaruhi seluruh hostname.
• Verify dengan reverse + forward DNS atau published IP ranges — tidak pernah UA string alone.
• crawling adalah tidak sebuah peringkat factor; robots-block adalah tidak deindexing.

Verify sebuah bot adalah benar-benar Googlebot

pengguna-agent header adalah trivially spoofed, so konfirmasi dengan sebuah reverse-DNS lookup (harus end di sebuah Google domain) diikuti oleh sebuah forward-DNS lookup (harus resolve back untuk yang sama IP).

macOS / Linux

# 1) Reverse-DNS the IP from your logs — it should end in
#    googlebot.com, google.com, or googleusercontent.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

jika reverse lookup tidak end di sebuah Google domain, atau forward lookup tidak match original IP, ini tidak Googlebot.

Verify di scale terhadap Google’s IP ranges

untuk besar-scale memeriksa, match sumber IPs terhadap Google’s published CIDR ranges alih-alih melakukan per-permintaan DNS. Google split old single googlebot.json ke several files oleh category — Googlebot lives di common-crawlers.json:

# Fetch the current Googlebot (common crawlers) ranges
curl -s https://www.gstatic.com/ipranges/common-crawlers.json
# The legacy URL still works and redirects to the same data:
# https://developers.google.com/static/search/apis/ipranges/googlebot.json

muat CIDR prefixes dari itu JSON dan test setiap logged IP untuk membership sebelum trusting apa pun ““Googlebot” hit.” (terjemahan) “hit yang mengaku berasal dari Googlebot.”

Resources worth Anda time

My related writing

• Apa adalah Googlebot & Bagaimana melakukan ini berfungsi? — my penuh Ahrefs guide pada Googlebot, dengan crawl/control/verify detail.
• Memenuhi baru Web crawler: AI bot adalah Closing di pada mesin pencari bot — bagaimana Googlebot stacks up terhadap AI crawler oleh share dan speed.
• JavaScript SEO Issues & Best Practices — rendering side dari apa Googlebot melakukan.
• terindeks, though blocked oleh robots.txt — mengapa sebuah robots-blocked URL dapat masih menjadi terindeks.
• Beginner’s Guide untuk SEO teknis — di mana Googlebot fits di bigger picture.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat. (Standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari others

• Google’s crawling December series — best concentrated set dari official crawl explainers.
• r/TechSEO — community untuk crawl/indeks debugging.
• Googlebot: Apa ini adalah, bagaimana ini berfungsi & cara mengoptimalkan (mesin pencari Land) — thorough practical guide dengan SEL’s editorial depth; baik untuk sebuah kedua opinion pada basics.
• Google menjelaskan bagaimana crawling berfungsi di 2026 (Barry Schwartz, mesin pencari Land) — solid tulis-up dari Gary Illyes’s March 2026 Di dalam Googlebot post, including 2 MB byte-limit clarification.
• Google Says mereka Deploy Hundreds dari Undocumented crawler (mesin pencari Journal) — covers Gary Illyes’s “calling it Googlebot adalah a misnomer” (terjemahan) “calling ini Googlebot adalah sebuah misnomer” remarks secara mendalam.
• adalah Google’s Dua Waves dari pengindeksan di atas? (Onely) — Martin Splitt’s pada-record conversation tentang crawl-lalu-render queue dan bagaimana kesenjangan adalah shrinking; masih clearest industry treatment dari WRS timing.
• Google Reveals JavaScript rendering Secrets di Chrome Dev Summit 2018 (Lumar) — detailed notes pada WRS stateless perilaku (cookies/localStorage cleared, Tidak image fetches, WebSockets unsupported) itu adalah masih relevant hari ini.
• dari Googlebot untuk GPTBot: Siapa’s crawling Anda situs? (Cloudflare blog) — Cloudflare Radar data pada crawler share dan speed menunjukkan Googlebot leading “good bot” (terjemahan) “baik bot” traffic.
• adalah itu Benar-benar sebuah Google bot crawling My situs? (Imperva Research) — data-backed lihat Googlebot impersonation; context untuk mengapa DNS verification penting.

Stats worth citing

• Googlebot adalah fastest crawler pada web. dari my baca dari Cloudflare Radar data: “Googlebot adalah itu fastest crawler pada itu web according untuk Cloudflare Radar, dengan Ahrefsbot menjadi itu 2nd fastest.” (terjemahan) “Googlebot adalah fastest crawler pada web menurut Cloudflare Radar, dengan Ahrefsbot menjadi 2nd fastest.” Sumber
• AI bot adalah closing di pada penelusuran bot. dari my Cloudflare Radar analysis, penelusuran-mesin crawler (Googlebot among them) masih crawl paling, tetapi AI bot adalah sebuah jelas #2 dan pada pace untuk overtake them di dalam sebuah couple dari tahun. Sumber
• Byte limit: ~2 MB per URL (PDFs 64 MB) — Google’s terdokumentasi Googlebot fetch limit sebagai dari 2026, dengan jelas caveat itu figure tidak fixed. Sumber

Googlebot mistakes untuk hindari

menggunakan robots.txt untuk try untuk deindex sebuah halaman. robots.txt berhenti crawling, tidak pengindeksan. sebuah robots-blocked URL dapat masih tampilkan up di hasil (terindeks URL-hanya) jika sesuatu tautan untuk ini. melakukan alih-alih: let Google crawl halaman dan tambahkan sebuah noindex tag — itu’s satu-satunya reliable cara untuk hapus ini.

Trying untuk target desktop atau smartphone crawler secara terpisah di robots.txt. Keduanya share single Googlebot product token, so sebuah aturan ditulis untuk satu applies untuk keduanya. melakukan alih-alih: jika Anda perlu berbeda perilaku per device, baca HTTP user-agent permintaan header di Anda own server-side logic — robots.txt dapat’t membuat itu pembedaan.

Letting mobile dan desktop versi dari sebuah halaman drift apart. di bawah pengindeksan mobile-pertama, smartphone agent’s view adalah apa mendapatkan terindeks dan diperingkatkan. konten, data terstruktur, metadata, atau robots tags itu hanya exist pada desktop adalah effectively invisible untuk Google. melakukan alih-alih: pertahankan keduanya versi di sync, dan periksa apa smartphone agent sebenarnya sees.

Relying pada crawl-delay untuk slow Googlebot down. Google tidak proses non-standard crawl-delay directive di semua — ini adalah sebuah Bing-hanya lever. melakukan alih-alih: kembalikan 429/500/503 jika Anda genuinely perlu Google untuk back off, understanding itu throttles seluruh hostname dan hanya holds untuk sebuah day atau dua sebelum sustained errors mulai dropping halaman dari indeks.

Trusting Googlebot pengguna-agent string di Anda logs di face nilai. UA header adalah trivially spoofed, dan plenty dari traffic itu claims untuk menjadi Googlebot tidak. melakukan alih-alih: verify dengan reverse + forward DNS atau terhadap Google’s published IP ranges sebelum treating “Googlebot” (terjemahan) “Googlebot” traffic di Anda analytics sebagai nyata.

Assuming JavaScript-hanya navigation (click handlers, Tidak nyata <a href>) akan mendapatkan ditemukan dan dirender like sebuah wajar tautan. Googlebot discovers URLs primarily melalui tautan, dan rendering happens kemudian di sebuah terpisah, stateless queue itu tidak fire arbitrary UI interactions. melakukan alih-alih: expose setiap penting path sebagai sebuah nyata <a href> tautan itu berfungsi tanpa JavaScript.

Treating crawl frequency sebagai sebuah peringkat lever. Getting di-crawl lebih sering tidak sebuah scoreboard — ini adalah hanya gate Anda memiliki untuk lulus melalui untuk menjadi eligible untuk peringkat. melakukan alih-alih: spend effort pada konten dan teknis health, tidak pada trying untuk attract lebih crawl hits untuk mereka own sake.

umum Googlebot issues

sebuah halaman adalah blocked di robots.txt tetapi masih menampilkan up di penelusuran

• Penyebab: robots.txt hanya berhenti crawling, tidak pengindeksan. jika lainnya halaman tautan untuk blocked URL, Google dapat masih indeks ini URL-hanya (biasanya dengan Tidak snippet/deskripsi).
• Perbaiki: jika Anda sebenarnya ingin ini out dari hasil, izinkan crawling di robots.txt dan tambahkan sebuah noindex tag alih-alih — Googlebot memiliki untuk menjadi able untuk baca halaman untuk see tag. Konfirmasi perbaiki dengan robots-txt-tester alat dan re-periksa URL’s status setelah ini adalah recrawled.

JavaScript-dirender konten tidak menunjukkan up di indeks

• Penyebab: crawling dan rendering adalah terpisah langkah. fetched HTML mendapatkan queued untuk rendering — biasanya seconds, sometimes banyak lebih lama — sebelum sebuah headless Chromium executes JavaScript. konten itu bergantung pada click-hanya atau non-<a href> navigation dapat tidak pernah render di semua, since Web rendering Service tidak fire arbitrary UI interactions.
• Perbaiki: periksa apakah konten ada di mentah HTML respons versus hanya setelah JS execution, dan pastikan penting paths adalah nyata <a href> tautan. render-kesenjangan alat adalah dibangun untuk persis ini periksa — ini menampilkan kesenjangan antara apa fetched dan apa sebenarnya renders.

server logs tampilkan sebuah lot dari “Googlebot” (terjemahan) “Googlebot” traffic itu seems off

• Penyebab: Googlebot pengguna-agent string adalah trivially spoofed. sebuah bermakna share dari traffic claiming untuk menjadi Googlebot di mentah logs adalah impostors.
• Perbaiki: verify dengan reverse-DNS (seharusnya resolve untuk sebuah hostname ending di googlebot.com, google.com, atau googleusercontent.com) diikuti oleh forward-DNS back untuk yang sama IP, atau match terhadap Google’s published IP ranges (common-crawlers.json) untuk bulk log memeriksa — see Scripts tab untuk keduanya metode, atau jalankan sebuah log pull melalui log-file-analyzer alat, yang flags spoofed Googlebot hits secara otomatis.

laju crawling dropped suddenly

• Penyebab: Googlebot’s laju crawling adalah algorithmic dan self-throttling — sustained 429, 500, 503, atau timeout respons tell ini untuk back off, dan itu throttle applies hostname-wide, tidak hanya untuk erroring URLs.
• Perbaiki: periksa recent server error rates dan kode respons dengan http-status-checker alat atau Anda server logs. jika errors persist lebih daripada sebuah day atau dua, expect halaman untuk mulai dropping dari indeks, tidak hanya lebih lambat crawling. Memperbaiki underlying 5xx/429 sumber adalah apa restores laju crawling — tidak ada tuas terpisah ““unthrottle” lever.” (terjemahan) “untuk melepas pembatasan laju.”

konten itu hanya ada pada desktop tidak peringkat

• Penyebab: di bawah pengindeksan mobile-pertama, smartphone agent’s view adalah apa mendapatkan terindeks dan diperingkatkan. jika konten, data terstruktur, atau metadata hanya ada pada desktop versi, ini adalah effectively invisible untuk Google.
• Perbaiki: bandingkan apa mobile dan desktop versi sajikan — gunakan mobile-friendly-tester alat untuk see apa smartphone agent renders, dan bring dua versi back di sync.

alat untuk berfungsi dengan Googlebot

• robots-txt-tester — periksa apakah sebuah spesifik URL adalah diizinkan atau blocked untuk Googlebot sebelum Anda assume Anda robots.txt adalah melakukan apa Anda think.
• log-file-analyzer — parse Anda server logs untuk see sebenarnya Googlebot crawl activity dan flag traffic itu claims untuk menjadi Googlebot tetapi fails IP/DNS verification.
• render-kesenjangan — bandingkan apa Googlebot fetches versus apa sebenarnya renders setelah JavaScript executes, secara langsung berguna untuk crawl-vs-render pembedaan ini artikel covers.
• mobile-friendly-tester — periksa apa smartphone crawler ( utama satu di bawah pengindeksan mobile-pertama) sees pada sebuah halaman.
• http-status-checker — konfirmasi status codes Anda server adalah returning, since sustained 429/5xx respons adalah apa sebenarnya throttle Googlebot’s laju crawling.

ketiga-party: Google Search Console’s pemeriksaan URL alat menampilkan bagaimana Googlebot terakhir di-crawl dan dirender sebuah spesifik URL, including yang crawler (mobile atau desktop) fetched ini. Screaming Frog dapat crawl sebuah situs rendering sebagai Googlebot untuk bandingkan mentah HTML terhadap dirender output di scale.

Quiz

Five pertanyaan untuk periksa apa stuck tentang Googlebot.

Log perubahan