GooglebotのSEO

TL;DR — Googlebot は Google’s web crawler — program その visits your ページ, downloads them, と hands them off そのため Google できる インデックス登録 と ランキング them. There は two の them ( smartphone one と デスクトップ one), と smartphone one する 大半の の 機能する. Being クロール は requirement へ 示す up で search — but getting クロール より多くの しません 作る you ランキング higher.

“googlebot-verification”（日本語訳：引用内容を日本語で示します）

Googlebotとは何か

Google しません browse web way you する. It sends out automated program — crawler, または bot — その visits ページ, downloads 何’s で them, と follows links へ 見つける より多くの ページ. その program は Googlebot. (Bing’s equivalent は Bingbot.)

I describe it simply で my Ahrefs guide へ Googlebot: “Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web.” Everything Google shows you で search results started とともに Googlebot fetching ページ.

“Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web.”（日本語訳：引用内容を日本語で示します）

Googlebotは実際には2種類ある

Googlebot comes で two flavors:

• Googlebot Smartphone — pretends へ be someone で phone. この は main one. Google mostly looks at モバイル version の your site (それは called モバイルファースト インデックス登録), そのため 大半の crawls come から smartphone bot.
• Googlebot デスクトップ — pretends へ be someone で デスクトップ computer. It する smaller share の クロール.

Here’s catch: で your robots.txt file ( file その tells bots where they できる go), both share same name — Googlebot. そのため you できません tell robots.txt “let the desktop one in but not the mobile one.” これは all-または-nothing.

“let the desktop one in but not the mobile one.”（日本語訳：引用内容を日本語で示します）

GooglebotはJavaScriptを実行するか

Yes. Googlebot uses recent version の Chrome under hood, そのため it できる read modern, JavaScript-heavy sites. として I put it で my Googlebot guide: “Googlebot is evergreen, meaning it sees websites as users would in the latest Chrome browser.” But running その JavaScript happens little later, で 別の step — ない instant your ページ は 最初の 取得する.

“Googlebot is evergreen, meaning it sees websites as users would in the latest Chrome browser.”（日本語訳：引用内容を日本語で示します）

人々が誤解する2つのこと

1. クロール は ない ランキング. Getting クロール より多くの 多くの場合 won’t move you up results. クロール は just どのように Google finds と downloads your ページ — これは gate you 持つ へ 得る through, ない scoreboard.
2. Blocking Googlebot で robots.txt する ない delete you から Google. It だけ stops Google から reading ページ. もし other sites link へ it, URL できる still 示す up で results (just なしで useful description). へ actually keep ページ out, you let Google クロール it と add noindex tag.

Want technical version — exact ユーザーエージェント strings, どのように へ 検証する 実際の Googlebot, バイト 制限, と レンダリング キュー? Switch へ Advanced tab.

TL;DR — Googlebot は Google Search’s crawler, split into Smartphone (主要な, モバイルファースト) と デスクトップ, which share one Googlebot robots.txt token — you できません target them separately. It runs evergreen Chromium と renders JavaScript で 別の, later キュー (クロール ≠ レンダリング). クロール は required へ ランキング but は ない ランキング signal, と robots-blocked URL できる still be インデックス登録 URL-だけ. 検証する it によって reverse + forward DNS へ Google domain または against Google’s published IP範囲 — ユーザーエージェント は trivially 偽装する. と “Googlebot” は really just Search-facing slice の much bigger クロール platform.

“googlebot-verification”（日本語訳：引用内容を日本語で示します）

Googlebotの実態

Google は precise について name: “Googlebot is the generic name for two types of web crawlers used by Google Search.” Those two types は Googlebot Smartphone (“a mobile crawler that simulates a user on a mobile device”) と Googlebot デスクトップ (“a desktop crawler that simulates a user on desktop”).

“Googlebot is the generic name for two types of web crawlers used by Google Search.”（日本語訳：引用内容を日本語で示します） “a mobile crawler that simulates a user on a mobile device”（日本語訳：引用内容を日本語で示します） “a desktop crawler that simulates a user on desktop”（日本語訳：引用内容を日本語で示します）

It は ない one little program running で one machine. “Googlebot runs on thousands of machines,” として I describe it で my Googlebot guide, “they determine how fast and what to crawl on websites,” distributed across datacenters worldwide but egressing primarily から US IP addresses. Discovery happens mostly through links — Google finds new URL “primarily from links embedded in previously crawled pages” — plus sitemaps. (向けに full discovery と scheduling picture, それは クロール hub’s job.)

“Googlebot runs on thousands of machines,“（日本語訳：引用内容を日本語で示します） “they determine how fast and what to crawl on websites,“（日本語訳：引用内容を日本語で示します） “primarily from links embedded in previously crawled pages”（日本語訳：引用内容を日本語で示します）

SmartphoneとDesktopの比較 — 「スマートフォンファースト」である理由

Under モバイルファースト インデックス登録, smartphone crawler は 主要な one. Google: “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” モバイルファースト インデックス登録 持つ been complete 向けに all sites since October 2023, そのため practical rule は: もし コンテンツ ではありません visible へ smartphone agent, it ではありません インデックス登録. Match your コンテンツ, 構造化データ, メタデータ, と robots tags across モバイル と デスクトップ.

“For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.”（日本語訳：引用内容を日本語で示します）

robots.txt gotcha: “Both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.” だけ way へ differentiate は へ read HTTP user-agent リクエスト header で your own サーバー-side logic. (向けに mechanics の その header format, see モバイルファースト インデックス登録 と ユーザーエージェント.)

“Both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.”（日本語訳：引用内容を日本語で示します）

ユーザーエージェント文字列

robots.txt product token 向けに both は just Googlebot. full UA strings differ:

Googlebot デスクトップ:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone（スマートフォン用）:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

出典

W.X.Y.Z は placeholder 向けに current Chrome version, which moves として Googlebot’s evergreen Chromium は updated. しません trust string で its own, though — これは trivially 偽装する (see 検証 below).

Evergreen Chromiumとレンダリングキュー

この は distinction その trips people up 大半の: クロール と レンダリング は 別の steps. Googlebot runs “an evergreen version of Chromium,” と it became evergreen back で May 2019 (jumping から old Chrome 41 へ current stable), which は なぜ it now handles ES6+, IntersectionObserver, Web Components, と modern CSS. But it しません execute your JavaScript moment it 取得する HTML.

“an evergreen version of Chromium,“（日本語訳：引用内容を日本語で示します）

Google: “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page. The page may stay on this queue for a few seconds, but it can take longer than that. Once Google’s resources allow, a headless Chromium renders the page and executes the JavaScript.” レンダリング service (WRS) behaves like modern browser but とともに quirks worth knowing: これは effectively stateless — local/session storage と cookies は cleared across ページ loads — it しません 取得する images または videos (へ save bandwidth), caches aggressively (と may ignore your caching headers), と しません support WebSockets または WebRTC. もし your コンテンツ だけ appears after click または JS-driven navigation その ではありません 実際の <a href> link, expect レンダリング trouble. (Depth lives で レンダリング sibling.)

“Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page. The page may stay on this queue for a few seconds, but it can take longer than that. Once Google’s resources allow, a headless Chromium renders the page and executes the JavaScript.”（日本語訳：引用内容を日本語で示します）

バイト制限

Googlebot しません download unlimited amount per URL. として の Google’s March 2026 Inside Googlebot update, it 取得する roughly 最初の 2 MB の any individual URL (including HTTP header) と up へ 64 MB 向けに PDF. figure は moving target — Google’s own framing は その “this limit is not set in stone and may change over time as the web evolves and HTML pages grow in size,” と earlier docs listed 15 MB (which turned out へ be broader infrastructure default, ない Search’s number). practical point holds regardless: anything past cutoff simply ではありません 取得する — “to Googlebot, they simply don’t exist.” Keep critical コンテンツ と markup above bloat.

“this limit is not set in stone and may change over time as the web evolves and HTML pages grow in size,“（日本語訳：引用内容を日本語で示します） “to Googlebot, they simply don’t exist.”（日本語訳：引用内容を日本語で示します）

失敗例：canonicalは存在するが、Googlebotが一度も受け取らない

Imagine product template returning 2,4 MB の HTML. application serializes huge product-state object と recommendation payload near top の document; canonical, product description, 構造化データ, と related-product links する ない appear until roughly バイト 2 180 000. browser downloads whole レスポンス, そのため View Source looks correct. Googlebot Search stops around its documented 2 MB 制限, そのため those later signals する ない exist で 取得する resource.

Diagnose レスポンス で バイト order, ない だけ で レンダリング DOM:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

local バイト counts は approximation because delivery intermediaries と レスポンス handling できる differ, but they answer useful 最初の question: は critical signals comfortably early, または は they sitting near または beyond boundary? 修正する は へ remove または defer oversized inline data と emit essential メタデータ, 主要な コンテンツ, と crawlable links early—ない へ move same bloat around と hope cutoff changes.

Googlebotが礼儀正しく取得する方法

• クロール rate は algorithmic と self-throttling. “For most sites, Googlebot shouldn’t access your site more than once every few seconds on average.” It speeds up または backs off based で your サーバー’s health.
• Status codes は lever. Returning 429, 500, または 503 tells Googlebot へ slow down — but その affects entire hostname, ない just erroring URL, と だけ 機能する 向けに day または two before sustained エラー start dropping ページ から インデックス登録. John Mueller: “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts,” と “404s are generally fine & once discovered, Googlebot will retry them anyway.”
• crawl-delay は ignored. Google する ない process non-standard crawl-delay robots.txt directive at all. (Bing する honor it — one の 実際の Googlebot/Bingbot divergences.)
• クロール tracks クロール demand, ない flat quota — capacity (何 your サーバー できる take) plus demand (popularity と staleness). 向けに 大半の sites この は non-問題; it だけ bites at 実際の scale. full treatment は で クロール budget.

“For most sites, Googlebot shouldn’t access your site more than once every few seconds on average.”（日本語訳：引用内容を日本語で示します） “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts,“（日本語訳：引用内容を日本語で示します） “404s are generally fine & once discovered, Googlebot will retry them anyway.”（日本語訳：引用内容を日本語で示します）

本当にGooglebotか検証する

ユーザーエージェント header は “often spoofed by other crawlers” — そのため it alone proves nothing. Google’s crawlers identify themselves three ways: ユーザーエージェント header, source IP, と 逆引きDNS hostname の その IP. Two 実際の 検証 methods:

“often spoofed by other crawlers”（日本語訳：引用内容を日本語で示します）

1. Manual (one-off). 逆引きDNS source IP; confirm it resolves へ hostname ending で googlebot.com, google.com, または googleusercontent.com ( mask looks like crawl-***-***-***-***.googlebot.com); then 正引きDNS その hostname と confirm it returns original IP.
2. Automatic (at scale). Match IP against Google’s published CIDR ranges. Google 持つ split these から old single googlebot.json into several JSON files によって crawler category — Googlebot one は https://www.gstatic.com/ipranges/common-crawlers.json ( legacy googlebot.json URL still redirects へ same data).

Both は で Scripts tab, 向けに macOS/Linux と Windows. なぜ bother? Plenty の トラフィック lies について being Googlebot, そのため logs その “show Googlebot” できる be largely impostors — 検証する before you trust.

Googlebotは大規模なボット群の1つ

“Googlebot” は genuinely bit の misnomer. Gary Illyes, March 2026: “I mean, calling it Googlebot, that’s a misnomer,” と “Googlebot is not our crawler infrastructure.” infrastructure underneath, で his words, は “software as a service, if you like. SaaS” — shared platform many Google products draw から. 何 you see で your logs は Search slice の it: “When you see Googlebot in your server logs, you are just looking at Google Search.” He also notes there は “dozens, if not hundreds of different crawlers,” 大半の too small へ bother documenting.

“I mean, calling it Googlebot, that’s a misnomer,“（日本語訳：引用内容を日本語で示します） “Googlebot is not our crawler infrastructure.”（日本語訳：引用内容を日本語で示します） “software as a service, if you like. SaaS”（日本語訳：引用内容を日本語で示します） “When you see Googlebot in your server logs, you are just looking at Google Search.”（日本語訳：引用内容を日本語で示します） “dozens, if not hundreds of different crawlers,“（日本語訳：引用内容を日本語で示します）

named ones you’ll actually meet alongside Googlebot 含む Googlebot-Image, Googlebot-Video, と Googlebot-News (which share Googlebot’s strings/tokens), Storebot-Google, と Google-InspectionTool (powers URL Inspection と Rich Results ツール). Two behave unusually: AdsBot ignores global * robots.txt rule ( Disallow: / under User-agent: * still won’t stop it), と Google-Safety ignores robots.txt entirely. AI-related crawlers — Google-Extended (controls Gemini training; ない ランキング signal) と GoogleOther (R&D crawls, offloaded から Googlebot) — exist too, but AI crawlers sibling covers those で depth, そのため I’ll point there rather than duplicate.

Googlebotを制御する方法

3つの制御、3つの異なる効果：

• robots.txt stops クロール, ない インデックス登録. 使う it へ keep bots out の low-value URL spaces — 決して として deindexing ツール.
• noindex stops インデックス登録 — but Googlebot must be allowed へ クロール ページ へ see tag で 最初の place.
• Password protection blocks access entirely.

Which brings us へ single 大半の misunderstood Googlebot fact: “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” robots-blocked URL できる still 得る インデックス登録 URL-だけ もし something links へ it. へ actually remove ページ, allow クロール と add noindex. I’ve written この up で detail で インデックス登録, though blocked によって robots.txt.

“There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.”（日本語訳：引用内容を日本語で示します）

向けに wider pipeline Googlebot lives inside — URL discovery, クロール scheduler, レンダリング, と クロール-vs-インデックス登録-vs-ランキング distinctions — see クロール hub と どのように Search 機能する.

AI要約

condensed take で Advanced version:

• Googlebot = Google Search’s web crawler, で two variants: Smartphone (主要な, under モバイルファースト インデックス登録) と デスクトップ. They share one Googlebot robots.txt token, そのため you できません target them separately — だけ via HTTP ユーザーエージェント header.
• モバイルファースト since Oct 2023: もし コンテンツ ではありません visible へ smartphone agent, it ではありません インデックス登録.
• Evergreen Chromium, 別の レンダリング キュー: Googlebot runs current Chromium but executes JavaScript later, で stateless レンダリング step (storage/cookies cleared; no images/video 取得する; aggressive caching). クロール ≠ レンダリング.
• バイト 制限 ~2 MB per URL (PDFs 64 MB) として の 2026 — コンテンツ beyond cutoff ではありません 取得する. exact figure は “not set in stone.”
• 礼儀正しく, algorithmic fetching: 429/5xx say “slow down” (hostname-wide, short-term); crawl-delay は ignored (Bing honors it).
• クロール ≠ ランキング, と robots-block ≠ deindex — blocked URL できる still be インデックス登録 URL-だけ. Remove ページ とともに noindex (クロール allowed), ない robots.txt.
• 検証する によって reverse + forward DNS へ *.googlebot.com/*.google.com/ *.googleusercontent.com, または against Google’s published IP範囲 (common-crawlers.json) — ユーザーエージェント は trivially 偽装する.
• “Googlebot” は fleet, ない one program — Search-facing slice の larger クロール platform, alongside Googlebot-Image/Video/News, Google-InspectionTool, AdsBot (ignores *), Google-Safety (ignores robots.txt), と AI crawlers (Google-Extended, GoogleOther — see AI crawlers sibling).

公式ドキュメント

主要な-source documentation から search engines.

Google

• Googlebot — canonical doc: two crawler types, UA strings, バイト 制限, と クロール/インデックス登録 controls. Start here.
• Overview の Google crawlers と fetchers — すべての Google ユーザーエージェント, three crawler categories, と published IP範囲.
• Google’s よくある crawlers — full UA-string と robots-token reference 向けに Googlebot と its siblings.
• 検証する Google crawlers と fetchers — reverse/forward DNS と JSON IP-range files.
• モバイルファースト インデックス登録 best practices — なぜ Smartphone は 主要な と 何 へ keep consistent.
• JavaScript SEO basics — evergreen Chromium renderer と レンダリング キュー.
• どのように HTTP status codes affect Google’s crawlers — どのように 2xx/3xx/4xx/429/5xx change クロール behavior.
• Inside Googlebot (March 2026) — current バイト 制限 と “Googlebot is just Google Search” framing.

“Googlebot is just Google Search”（日本語訳：引用内容を日本語で示します）

Bing / Microsoft (向けに contrast)

• Bingbot クロール control — Bing’s manual クロール scheduling と its crawl-delay support, which Googlebot しません 持つ.

出典からの引用

で—record statements から Google. 各 link は deep link その jumps へ quoted passage で source ページ.

Google — 何 Googlebot は

• “Googlebot is the generic name for two types of web crawlers used by Google Search.” — Google Search Central docs. Jump へ quote
• “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” Jump へ quote
• “Google uses the mobile version of a site’s content, crawled with the smartphone agent, for indexing and ranking.” Jump へ quote

“Googlebot is the generic name for two types of web crawlers used by Google Search.”（日本語訳：引用内容を日本語で示します） “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.”（日本語訳：引用内容を日本語で示します） “Google uses the mobile version of a site’s content, crawled with the smartphone agent, for indexing and ranking.”（日本語訳：引用内容を日本語で示します）

Google — レンダリング と バイト 制限

• “While Google Search runs JavaScript with an evergreen version of Chromium, there are a few things that you can optimize.” Jump へ quote
• “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page.” Jump へ quote
• “Googlebot crawls the first 2MB of a supported file type, and the first 64MB of a PDF file.” Jump へ quote

“While Google Search runs JavaScript with an evergreen version of Chromium, there are a few things that you can optimize.”（日本語訳：引用内容を日本語で示します） “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page.”（日本語訳：引用内容を日本語で示します） “Googlebot crawls the first 2MB of a supported file type, and the first 64MB of a PDF file.”（日本語訳：引用内容を日本語で示します）

Google — クロール vs インデックス登録

• “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” — Google Search Central docs. Jump へ quote

“There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.”（日本語訳：引用内容を日本語で示します）

Gary Illyes, Google (reported via Search Engine Journal と Google’s March 2026 blog post)

• “I mean, calling it Googlebot, that’s a misnomer.” … “Googlebot is not our crawler infrastructure.” … “it’s software as a service, if you like. SaaS.” Read coverage
• “When you see Googlebot in your server logs, you are just looking at Google Search.” Read coverage

“I mean, calling it Googlebot, that’s a misnomer.”（日本語訳：引用内容を日本語で示します） “Googlebot is not our crawler infrastructure.”（日本語訳：引用内容を日本語で示します） “it’s software as a service, if you like. SaaS.”（日本語訳：引用内容を日本語で示します） “When you see Googlebot in your server logs, you are just looking at Google Search.”（日本語訳：引用内容を日本語で示します）

GoogleのJohn Mueller (Search Engine JournalによるReddit報道経由)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts.” … “404s are generally fine & once discovered, Googlebot will retry them anyway.” Read coverage

“I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts.”（日本語訳：引用内容を日本語で示します） “404s are generally fine & once discovered, Googlebot will retry them anyway.”（日本語訳：引用内容を日本語で示します）

Googlebot対応チェックリスト

quick pass へ confirm Googlebot できる 見つける, 取得する, レンダリング, と correctly handle your ページ:

• 重要な コンテンツ は reachable via 実際の <a href> links (ない click-だけ または JS-driven navigation renderer できません follow).
• モバイル と デスクトップ versions match — same コンテンツ, 構造化データ, メタデータ, と robots tags (モバイルファースト means smartphone agent’s view は 何 counts).
• Critical コンテンツ と markup sit above ~2 MB 取得する cutoff; PDFs under 64 MB.
• robots.txt しません block anything you want インデックス登録 — と you’re ない 使用する it へ try へ deindex (それは noindex’s job, とともに クロール allowed).
• サーバー returns fast, stable レスポンス — minimal 5xx/429/timeouts, since those throttle クロール hostname-wide.
• You’re ない relying で crawl-delay (Google ignores it).
• サーバー logs は checked とともに verified Googlebot (reverse + forward DNS または IP範囲) — ない raw ユーザーエージェント matches, which impostors 偽装する.
• You understand robots-blocked URL できる still be インデックス登録 URL-だけ もし linked へ.

Googlebot — チートシート

** two crawler types**

robots.txtのプロダクトトークン（両方）:

Googlebot

Other Google crawlers you’ll see で logs

Fast facts

• 取得する 制限: ~2 MB per URL (PDFs 64 MB), として の 2026 — beyond it ではありません 取得する. (“Not set in stone.”)
• Renders とともに evergreen Chromium, で 別の, later キュー (クロール ≠ レンダリング).
• crawl-delay: ignored によって Google (Bing honors it).
• 429/5xx: temporary “slow down” — affects whole hostname.
• 検証する とともに reverse + forward DNS または published IP範囲 — 決して UA string alone.
• クロール は ない ランキング factor; robots-block は ない deindexing.

ボットが本当にGooglebotか検証する

ユーザーエージェント header は trivially 偽装する, そのため confirm とともに 逆引きDNS lookup (must end で Google domain) followed によって 正引きDNS lookup (must resolve back へ same IP).

macOS／Linux（確認手順）

# 1) Reverse-DNS the IP from your logs — it should end in
#    googlebot.com, google.com, or googleusercontent.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows（確認手順）

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

もし reverse lookup しません end で Google domain, または forward lookup しません match original IP, it ではありません Googlebot.

GoogleのIP範囲に対して大規模に検証する

向けに large-scale checks, match source IPs against Google’s published CIDR ranges instead の doing per-リクエスト DNS. Google split old single googlebot.json into several files によって category — Googlebot lives で common-crawlers.json:

# Fetch the current Googlebot (common crawlers) ranges
curl -s https://www.gstatic.com/ipranges/common-crawlers.json
# The legacy URL still works and redirects to the same data:
# https://developers.google.com/static/search/apis/ipranges/googlebot.json

Load CIDR prefixes から その JSON と test 各 logged IP 向けに membership before trusting any “Googlebot” hit.

時間を使う価値のあるリソース

My related writing

• 何 は Googlebot & どのように する It 機能する? — my full Ahrefs guide で Googlebot, とともに クロール/control/検証する detail.
• Meet New Web Crawlers: AI Bots は Closing で で Search Engine Bots — どのように Googlebot stacks up against AI crawlers によって share と speed.
• JavaScript SEO 問題 & Best Practices — レンダリング side の 何 Googlebot する.
• インデックス登録, though blocked によって robots.txt — なぜ robots-blocked URL できる still be インデックス登録.
• Beginner’s Guide へ Technical SEO — where Googlebot fits で bigger picture.

My speaking

• どのように Search 機能する (SlideShare) — my walkthrough の クロール, レンダリング, インデックス登録, と ランキング. (Standing disclaimer applies: “This is my understanding of systems… not going to be 100% complete or accurate.”)

“This is my understanding of systems… not going to be 100% complete or accurate.”（日本語訳：引用内容を日本語で示します）

から others

• Google’s クロール December series — best concentrated 設定する の official クロール explainers.
• r/TechSEO — community 向けに クロール/インデックス登録 debugging.
• Googlebot: 何 it は, どのように it 機能する & どのように へ optimize (Search Engine Land) — thorough practical guide とともに SEL’s editorial depth; 良い 向けに second opinion で basics.
• Google explains どのように クロール 機能する で 2026 (Barry Schwartz, Search Engine Land) — solid 書く-up の Gary Illyes’s March 2026 Inside Googlebot post, including 2 MB バイト-制限 clarification.
• Google Says They Deploy Hundreds の Undocumented Crawlers (Search Engine Journal) — covers Gary Illyes’s “calling it Googlebot is a misnomer” remarks で depth.
• は Google’s Two Waves の インデックス登録 Over? (Onely) — Martin Splitt’s で-record conversation について クロール-then-レンダリング キュー と どのように gap は shrinking; still clearest industry treatment の WRS timing.
• Google Reveals JavaScript レンダリング Secrets at Chrome Dev Summit 2018 (Lumar) — detailed notes で WRS stateless behavior (cookies/localStorage cleared, no image 取得する, WebSockets unsupported) その は still relevant today.
• から Googlebot へ GPTBot: Who’s クロール your site? (Cloudflare blog) — Cloudflare Radar data で crawler share と speed showing Googlebot leading “good bot” トラフィック.
• Was その Really Google Bot クロール My Site? (Imperva Research) — data-backed look at Googlebot impersonation; context 向けに なぜ DNS 検証 matters.

“calling it Googlebot is a misnomer”（日本語訳：引用内容を日本語で示します）

引用する価値のある統計

• Googlebot は fastest crawler で web. から my read の Cloudflare Radar data: “Googlebot is the fastest crawler on the web according to Cloudflare Radar, with Ahrefsbot being the 2nd fastest.” Source
• AI bots は closing で で search bots. から my Cloudflare Radar analysis, search-engine crawlers (Googlebot among them) still クロール 大半の, but AI bots は clear #2 と で pace へ overtake them within couple の years. Source
• バイト 制限: ~2 MB per URL (PDFs 64 MB) — Google’s documented Googlebot 取得する 制限 として の 2026, とともに explicit caveat その figure ではありません fixed. Source

“Googlebot is the fastest crawler on the web according to Cloudflare Radar, with Ahrefsbot being the 2nd fastest.”（日本語訳：引用内容を日本語で示します）

Googlebotで避けるべき間違い

使用する robots.txt へ try へ deindex ページ. robots.txt stops クロール, ない インデックス登録. robots-blocked URL できる still 示す up で results (インデックス登録 URL-だけ) もし something links へ it. する instead: let Google クロール ページ と add noindex tag — それは だけ reliable way へ remove it.

Trying へ target デスクトップ または smartphone crawler separately で robots.txt. Both share single Googlebot product token, そのため rule written 向けに one applies へ both. する instead: もし you 必要がある different behavior per device, read HTTP user-agent リクエスト header で your own サーバー-side logic — robots.txt できません 作る その distinction.

Letting モバイル と デスクトップ versions の ページ drift apart. Under モバイルファースト インデックス登録, smartphone agent’s view は 何 gets インデックス登録 と ランキング. コンテンツ, 構造化データ, メタデータ, または robots tags その だけ exist で デスクトップ は effectively invisible へ Google. する instead: keep both versions で sync, と check 何 smartphone agent actually sees.

Relying で crawl-delay へ slow Googlebot down. Google しません process non-standard crawl-delay directive at all — これは Bing-だけ lever. する instead: return 429/500/503 もし you genuinely 必要がある Google へ back off, understanding その throttles whole hostname と だけ holds 向けに day または two before sustained エラー start dropping ページ から インデックス登録.

Trusting Googlebot ユーザーエージェント string で your logs at face value. UA header は trivially 偽装する, と plenty の トラフィック その claims へ be Googlebot ではありません. する instead: 検証する とともに reverse + forward DNS または against Google’s published IP範囲 before treating “Googlebot” トラフィック で your analytics として 実際の.

Assuming JavaScript-だけ navigation (click handlers, no 実際の <a href>) する 得る discovered と レンダリング like normal link. Googlebot discovers URL primarily through links, と レンダリング happens later で 別の, stateless キュー その しません fire arbitrary UI interactions. する instead: expose すべての 重要な path として 実際の <a href> link その 機能する なしで JavaScript.

Treating クロール frequency として ランキング lever. Getting クロール より多くの 多くの場合 ではありません scoreboard — これは just gate you 持つ へ pass through へ be eligible へ ランキング. する instead: spend effort で コンテンツ と technical health, ない で trying へ attract より多くの クロール hits 向けに their own sake.

よくある Googlebot 問題

ページ は blocked で robots.txt but still shows up で search

• Cause: robots.txt だけ stops クロール, ない インデックス登録. もし other ページ link へ blocked URL, Google できる still インデックス登録 it URL-だけ (usually とともに no snippet/description).
• 修正する: もし you actually want it out の results, allow クロール で robots.txt と add noindex tag instead — Googlebot 持つ へ be able へ read ページ へ see tag. Confirm 修正する とともに robots-txt-tester ツール と re-check URL’s status once これは recrawled.

JavaScript-レンダリング コンテンツ ではありません showing up で インデックス登録

• Cause: クロール と レンダリング は 別の steps. 取得する HTML gets queued 向けに レンダリング — usually seconds, sometimes much longer — before headless Chromium executes JavaScript. コンテンツ その depends で click-だけ または non-<a href> navigation may 決して レンダリング at all, since Web レンダリング Service しません fire arbitrary UI interactions.
• 修正する: check whether コンテンツ exists で raw HTML レスポンス versus だけ after JS execution, と 作る sure 重要な paths は 実際の <a href> links. レンダリング-gap ツール は built 向けに exactly この check — it shows gap between 何’s 取得する と 何 actually renders.

サーバー logs 示す lot の “Googlebot” トラフィック その seems off

• Cause: Googlebot ユーザーエージェント string は trivially 偽装する. meaningful share の トラフィック claiming へ be Googlebot で raw logs は impostors.
• 修正する: 検証する とともに 逆引きDNS (すべき resolve へ hostname ending で googlebot.com, google.com, または googleusercontent.com) followed によって 正引きDNS back へ same IP, または match against Google’s published IP ranges (common-crawlers.json) 向けに bulk log checks — see Scripts tab 向けに both methods, または run log pull through log-file-analyzer ツール, which flags 偽装する Googlebot hits automatically.

クロール rate dropped suddenly

• Cause: Googlebot’s クロール rate は algorithmic と self-throttling — sustained 429, 500, 503, または timeout レスポンス tell it へ back off, と その throttle applies hostname-wide, ない just へ erroring URL.
• 修正する: check recent サーバー エラー rates と レスポンス codes とともに http-status-checker ツール または your サーバー logs. もし エラー persist より多くの than day または two, expect ページ へ start dropping から インデックス登録, ない just slower クロール. Fixing underlying 5xx/429 source は 何 restores クロール rate — あります no 別の “unthrottle” lever.

コンテンツ その だけ exists で デスクトップ ではありません ランキング

• Cause: under モバイルファースト インデックス登録, smartphone agent’s view は 何 gets インデックス登録 と ランキング. もし コンテンツ, 構造化データ, または メタデータ だけ exists で デスクトップ version, これは effectively invisible へ Google.
• 修正する: compare 何 モバイル と デスクトップ versions serve — 使う モバイル-friendly-tester ツール へ see 何 smartphone agent renders, と bring two versions back で sync.

Googlebot用ツール

• robots-txt-tester — check whether specific URL は allowed または blocked 向けに Googlebot before you assume your robots.txt は doing 何 you think.
• log-file-analyzer — parse your サーバー logs へ see 実際の Googlebot クロール activity と flag トラフィック その claims へ be Googlebot but fails IP/DNS 検証.
• レンダリング-gap — compare 何 Googlebot 取得する versus 何 actually renders after JavaScript executes, directly useful 向けに クロール-vs-レンダリング distinction この article covers.
• モバイル-friendly-tester — check 何 smartphone crawler ( 主要な one under モバイルファースト インデックス登録) sees で ページ.
• http-status-checker — confirm status codes your サーバー は returning, since sustained 429/5xx レスポンス は 何 actually throttle Googlebot’s クロール rate.

Third-party: Google Search Console’s URL Inspection ツール shows どのように Googlebot last クロール と レンダリング specific URL, including which crawler (モバイル または デスクトップ) 取得する it. Screaming Frog できる クロール site レンダリング として Googlebot へ compare raw HTML against レンダリング output at scale.

クイズ

Five questions へ check 何 stuck について Googlebot.

変更履歴