Langues

Guide : Googlebot

Ce que Googlebot en réalité est — Smartphone vs Desktop, evergreen Chromium rendu, utilisateur-agent strings, IP-range verification, byte limites, et le explorer-vs-classer distinction.

Première publication : 24 juin 2026 · Dernière mise à jour : 3 août 2026 · Avancé
AIRédigé parAI v2
1 indice probant sur cette page

Googlebot est Google's web robot d’exploration — le software que récupère pages donc Google peut indexer et classer les. Il comes dans deux variants que share un robots.txt token: Googlebot Smartphone (principal, sous indexation mobile-premier) et Googlebot Desktop. Il exécute an evergreen Chromium et renders JavaScript dans a séparé, plus tard queue (explorer ≠ rendre). Exploration n’est pas a facteur de classement, et blocking Googlebot dans robots.txt n’est pas le même as deindexing — a bloqué URL peut encore être indexé URL-seulement. Le utilisateur-agent est trivially spoofed, donc vérifier avec reverse + forward DNS or Google's publié IP ranges. 'Googlebot' est vraiment Recherche Google's slice de a beaucoup plus grand exploration plateforme.

TL;DR — Googlebot est Recherche Google’s robot d’exploration, split dans Smartphone (principal, mobile-premier) et Desktop, qui share un Googlebot robots.txt token — vous pouvez’t cible les séparément. Il exécute an evergreen Chromium et renders JavaScript dans a séparé, plus tard queue (explorer ≠ rendre). Exploration est requis à classer mais est pas a classement signal, et a robots-bloqué URL peut encore être indexé URL-seulement. Vérifier il par reverse + forward DNS à a Google domain or contre Google’s publié IP ranges — le utilisateur-agent est trivially spoofed. Et “Googlebot” est vraiment simplement le Recherche-facing slice de a beaucoup bigger exploration plateforme.

Preuve à l’appui de cette affirmation Googlebot is Google's crawler, with smartphone and desktop crawler types that share the same product token. Portée : Current Googlebot crawler and user-agent documentation. Niveau de confiance : élevé · Vérifié : Google Search Central: Googlebot Preuve à l’appui de cette affirmation A claimed Google crawler can be verified using reverse and forward DNS or Google's published IP ranges. Portée : Google's current crawler-verification methods. Niveau de confiance : élevé · Vérifié : Google Search Central: Verify Googlebot

Ce que Googlebot en réalité is

«Google is precise about the name: “Googlebot is the generic name for two types of web crawlers used by Google Search.” Those two types are Googlebot Smartphone (“a mobile crawler that simulates a user on a mobile device”) and Googlebot Desktop (“a desktop crawler that simulates a user on desktop”). » (Traduction) (Résumé en français de la section vingt, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«It is not one little program running on one machine. “Googlebot runs on thousands of machines,” as I describe it in my Googlebot guide, “they determine how fast and what to crawl on websites,” distributed across datacenters worldwide but egressing primarily from US IP addresses. Discovery happens mostly through links — Google finds new URLs “primarily from links embedded in previously crawled pages” — plus sitemaps. (For the full discovery and scheduling picture, that’s the crawling hub’s job.) » (Traduction) (Résumé en français de la section vingt et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Smartphone vs Desktop — and pourquoi it’s “smartphone-first”

Sous indexation mobile-premier, le smartphone robot d’exploration est le principal un. Google: “Pour la plupart sites Recherche Google primarily indexes le mobile version de le contenu. As tel le majority de Googlebot explorer requêtes va être fait en utilisant le mobile robot d’exploration, et a minority en utilisant le desktop robot d’exploration.” Indexation mobile-premier a été complet pour tout sites since October 2023, donc le practical règle est: si contenu n’est pas visible à le smartphone agent, il n’est pas indexé. Match votre contenu, données structurées, metadata, et robots balises à travers mobile et desktop.

Le robots.txt gotcha: “Les deux robot d’exploration types obey le même produit token (utilisateur agent token) dans robots.txt, et donc vous pouveznot selectively cible soit Googlebot Smartphone or Googlebot Desktop en utilisant robots.txt.” Le seulement façon à differentiate est à lire le HTTP user-agent requête header dans votre propre serveur-side logic. (Pour le mechanics de que header format, voir indexation mobile-premier et utilisateur-agent.)

The user-agent strings

Le robots.txt produit token pour les deux est simplement Googlebot. Le complet UA strings differ:

Googlebot Desktop:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

W.X.Y.Z est a placeholder pour le actuel Chrome version, qui moves as Googlebot’s evergreen Chromium est mis à jour. ne pas confiance le string on son propre, though — c’est trivially spoofed (voir verification ci-dessous).

Evergreen Chromium et le rendu queue

Ce est le distinction que trips personnes up la plupart: exploration et rendu sont séparé étapes. Googlebot exécute “an evergreen version of Chromium,” et il became evergreen back dans Peut 2019 (jumping depuis le old Chrome 41 à actuel stable), qui est pourquoi il maintenant handles ES6+, IntersectionObserver, Web Components, et modern CSS. Mais il ne fait pas execute votre JavaScript le moment il récupère le HTML.

«Google: “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page. The page may stay on this queue for a few seconds, but it can take longer than that. Once Google’s resources allow, a headless Chromium renders the page and executes the JavaScript.” The rendering service (WRS) behaves like a modern browser but with quirks worth knowing: it’s effectively stateless — local/session storage and cookies are cleared across page loads — it doesn’t fetch images or videos (to save bandwidth), caches aggressively (and may ignore your caching headers), and doesn’t support WebSockets or WebRTC. If your content only appears after a click or a JS-driven navigation that isn’t a real <a href> link, expect rendering trouble. (Depth lives in the rendering sibling.) » (Traduction) (Résumé en français de la section trente-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Byte limites

Googlebot ne fait pas download an unlimited amount per URL. As de Google’s March 2026 À l’intérieur Googlebot mettre à jour, il récupère roughly le premier 2 MB de quelconque individual URL (notamment le HTTP header) et up à 64 MB pour a PDF. Le figure est a moving cible — Google’s propre framing est que “ce limite n’est pas définir dans stone et peut modifier over temps as le web evolves et HTML pages grow dans size,” et précédent docs listed 15 MB (qui turned out à être le broader infrastructure par défaut, pas Recherche’s number). Le practical point holds regardless: n’importe quoi past le cutoff simplement n’est pas récupéré — “à Googlebot, ils simplement ne pas exist.” Garder critical contenu et markup ci-dessus le bloat.

Worked échec: le canonical exists, mais Googlebot jamais receives il

Imagine a produit template returning 2,4 MB de HTML. An application serializes a huge produit-state object et recommendation payload near le top de le document; le canonical, produit description, données structurées, et related-produit liens faire pas apparaître jusqu’à roughly byte 2 180 000. A navigateur downloads le entier réponse, donc View Source semble correct. Googlebot Recherche arrête autour son documented 2 MB limite, donc ceux plus tard signaux ne faites pas exist dans le récupéré resource.

Diagnose la réponse in byte order, pas seulement in the rendered DOM:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

Le local byte counts sont an approximation parce que delivery intermediaries et réponse handling peut differ, mais ils réponse le utile premier question: sont critical signaux comfortably early, or sont ils sitting near or au-delà le boundary? Le corriger est à supprimer or defer oversized inline données et emit essential metadata, principal contenu, et crawlable liens early—pas à déplacer le même bloat autour et hope le cutoff changements.

How Googlebot récupère — politely

  • Fréquence d’exploration est algorithmic et self-throttling. “Pour la plupart sites, Googlebot ne devrait pas accès votre site plus que une fois chaque quelques seconds on average.” Il speeds up or backs off fondé on votre serveur’s health.
  • Code d’états sont le lever. Returning 429, 500, or 503 indique Googlebot à lent bas — mais que affecte le entier hostname, pas simplement le erroring URLs, et seulement fonctionne pour a day or deux avant sustained erreurs commencer dropping pages depuis le indexer. John Mueller: “je voudrais seulement expect le fréquence d’exploration à react que quickly si ils étaient returning 429 / 500 / 503 / timeouts,” et “404s sont généralement fine & une fois découvert, Googlebot va retry les anyway.”
  • crawl-delay est ignored. Google ne fait pas traiter le non-standard crawl-delay robots.txt directive à tout. (Bing fait honor il — un de le réel Googlebot/Bingbot divergences.)
  • Exploration tracks demande d’exploration, pas a flat quota — capacity (ce que votre serveur peut prendre) plus demand (popularity et staleness). Pour la plupart sites ce est a non-problème; il seulement bites à réel scale. Le complet treatment est dans budget d’exploration.

Verifying it’s really Googlebot

Le utilisateur-agent header est “often spoofed by other crawlers” — donc il alone proves rien. Google’s robots d’exploration identifier themselves three façons: le utilisateur-agent header, le source IP, et le reverse-DNS hostname de que IP. Deux réel verification méthodes:

  1. Manual (un-off). Reverse-DNS le source IP; confirmer il resolves à a hostname ending dans googlebot.com, google.com, or googleusercontent.com (le mask semble comme crawl-***-***-***-***.googlebot.com); alors forward-DNS que hostname et confirmer il renvoie le original IP.
  2. Automatic (à scale). Match le IP contre Google’s publié CIDR ranges. Google a split ces depuis le old unique googlebot.json dans plusieurs JSON fichiers par robot d’exploration category — le Googlebot un est https://www.gstatic.com/ipranges/common-crawlers.json (le legacy googlebot.json URL encore redirections à le même données).

Les deux sont dans le Scripts tab, pour macOS/Linux et Windows. Pourquoi bother? Plenty de trafic lies à propos de étant Googlebot, donc logs que “afficher Googlebot” peut être largely impostors — vérifier avant vous confiance.

Googlebot is un bot in a fleet

“Googlebot” is genuinely a bit of a misnomer. Gary Illyes, March 2026: “Je signifier, appel il Googlebot, c’est a misnomer,” et “Googlebot n’est pas notre robot d’exploration infrastructure.” Le infrastructure underneath, dans his words, est “software as a service, si vous comme. SaaS” — a shared plateforme nombreux Google produits draw depuis. Ce que vous voir dans votre logs est le Recherche slice de il: “Quand vous voir Googlebot dans votre serveur logs, vous sont simplement looking à Recherche Google.” Il aussi notes là sont “dozens, if not hundreds of different crawlers,” la plupart aussi petit à bother documenting.

Le named ones vous’ll en réalité meet alongside Googlebot inclure Googlebot-Image, Googlebot-Video, et Googlebot-News (qui share Googlebot’s strings/tokens), Storebot-Google, et Google-InspectionTool (powers le Inspection d’URL et Rich Résultats outils). Deux behave unusually: AdsBot ignores le mondial * robots.txt règle (a Disallow: / sous User-agent: * encore ne va pas arrêter il), et Google-Safety ignores robots.txt entirely. Le AI-related robots d’exploration — Google-Extended (contrôle Gemini training; pas a classement signal) et GoogleAutre (R&D explore, offloaded depuis Googlebot) — exist aussi, mais le AI robots d’exploration sibling covers ceux dans depth, donc je vais point là plutôt que duplicate.

How to contrôler Googlebot

Three contrôle, three différent effects:

  • robots.txt arrête exploration, pas indexation. Utiliser it to garder bots out of low-value URL spaces — jamais as a deindexing outil.
  • noindex arrête indexation — but Googlebot doit be allowed to explorer lune page to voir the tag in the premier placer.
  • Password protection blocks accès entirely.

«Which brings us to the single most misunderstood Googlebot fact: “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” A robots-blocked URL can still get indexed URL-only if something links to it. To actually remove a page, allow crawling and add noindex. I’ve written this up in detail in Indexed, though blocked by robots.txt. » (Traduction) (Résumé en français de la section cinquante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Pour le wider pipeline Googlebot lives à l’intérieur — URL discovery, le explorer scheduler, rendu, et le explorer-vs-indexer-vs-classer distinctions — voir le exploration hub et Comment Recherche Fonctionne.

Ajouter une note d’expert

Épingler une citation d’expert

Nouvelle personne ? Créez son profil non revendiqué à /admin/experts/ → Épingler une citation d’expert d’abord.