Langues

Robots d’exploration IA

Les trois types de robots d’exploration IA — robots d’entraînement, indexeurs de recherche IA et récupérateurs déclenchés par l’utilisateur — les principaux robots nommés et la façon de contrôler chacun sans nuire au SEO.

Première publication : 24 juin 2026 · Dernière mise à jour : 8 août 2026 · Advanced
Langues
AIRédigé parAI v2
2 indices probants sur cette page

Les robots d’exploration IA se répartissent en trois types et les confondre est l’erreur n°1 : (1) les robots d’entraînement ou d’amélioration de modèles comme GPTBot, ClaudeBot et CCBot ; (2) les indexeurs de recherche IA comme OAI-SearchBot, PerplexityBot et Applebot ; et (3) les récupérateurs déclenchés par l’utilisateur comme ChatGPT-User, Perplexity-User et Claude-User. Les contrôles dépendent du fournisseur et de l’agent : bloquer GPTBot ne bloque pas OAI-SearchBot, et OAI-AdsBot a une portée publicitaire distincte. Google-Extended et Applebot-Extended sont des jetons de produit ou de contrôle, pas des robots indépendants. Google-Extended couvre l’amélioration et l’ancrage des modèles Gemini/Vertex, mais pas l’inclusion dans Google Search, le classement, les AI Overviews ou AI Mode ; Applebot-Extended contrôle l’utilisation par les modèles fondamentaux d’Apple sans retirer les pages de la recherche Apple. llms.txt reste une proposition et non une norme de contrôle largement adoptée.

OpenAI indique que les réglages de GPTBot, OAI-SearchBot et ChatGPT-User sont indépendants. Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: OpenAI: Crawlers Anthropic identifie séparément ClaudeBot, Claude-SearchBot et Claude-User et documente leur gestion de robots.txt. Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: Anthropic: Bot information

TL;DR — Les robots d’exploration IA se répartissent en trois catégories, et les confondre est l’erreur que presque tout le monde commet. Les robots d’entraînement (GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot, Meta-ExternalAgent) aspirent des données pour construire des corpus de modèles. Les robots de recherche IA (OAI-SearchBot, PerplexityBot, Applebot, Amzn-SearchBot) construisent un index qui permet de citer les sources. Les récupérateurs déclenchés par l’utilisateur (ChatGPT-User, Perplexity-User, Claude-User) prennent une page en direct lorsqu’une personne pose une question. Chacun a son propre user-agent et sa propre règle robots.txt, donc bloquer GPTBot ne touche pas OAI-SearchBot. Google-Extended et Applebot-Extended sont des jetons, pas des robots : ils n’explorent pas, ils vous retirent seulement de l’entraînement ou de l’ancrage. Bloquer les robots d’entraînement n’a aucun effet sur le classement Google (Google le dit et les données empiriques le confirment) ; bloquer les robots de recherche IA réduit votre visibilité dans les réponses IA. Le débat robots.txt est réel pour les récupérateurs utilisateur (les opérateurs disent que cela « may not apply ») et pour Perplexity (exploration furtive signalée). llms.txt est une proposition, largement ignorée et non adoptée par les grands acteurs.

Les trois catégories — la colonne vertébrale du sujet

Classify the purpose before writing the rule: training, AI-search visibility, and live user fetching are separate decisions. Source : /technical-seo/how-search-works/crawling/crawler/ai-crawlers/

Training crawlers such as GPTBot, ClaudeBot, and CCBot collect data for model corpora. AI-search crawlers such as OAI-SearchBot and PerplexityBot build indexes used for answers and citations. User-triggered agents such as ChatGPT-User and Claude-User fetch a page for a live request. Blocking one category does not automatically block the others.

© Patrick Stox LLC · CC BY 4.0 ·

Chaque robot IA nommé appartient à l’un de trois ensembles. Identifiez correctement l’ensemble et toutes les décisions en aval — le bloquer, l’autoriser, comprendre l’effet sur votre SEO — en découlent.

1. Robots d’entraînement ou de collecte de données. Ils explorent à grande échelle pour constituer les corpus d’entraînement et d’ajustement des LLM. Ce sont les robots que la plupart des éditeurs souhaitent bloquer, et les désautoriser n’a aucun effet sur le classement dans les moteurs. On y trouve GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Bytespider (ByteDance), Amazonbot (Amazon), Meta-ExternalAgent (Meta), AI2Bot (Allen Institute), cohere-training-data-crawler (Cohere), Diffbot, Timpibot (Timpi) et webzio-extended (Webz.io). S’y ajoutent deux jetons de contrôle qui ne sont PAS des robots distincts — Google-Extended et Applebot-Extended — présentés ci-dessous.

2. Robots de recherche IA ou d’indexation. Ils construisent un index vivant utilisé pour répondre aux requêtes avec des citations et des liens vers votre site. Les bloquer peut vous retirer des résultats de recherche IA. On y trouve OAI-SearchBot (OpenAI — distinct de GPTBot), PerplexityBot (Perplexity), Applebot (Apple — alimente les suggestions de Spotlight, Siri et Safari) et Amzn-SearchBot (Amazon).

3. Récupérateurs déclenchés par l’utilisateur ou à la demande. Ils récupèrent une page précise en direct parce qu’un utilisateur a posé une question, et non parce qu’un robot parcourt le Web. Les opérateurs affirment généralement que robots.txt ne lie pas une récupération initiée par un utilisateur : c’est une zone contestée. On y trouve ChatGPT-User (OpenAI), Perplexity-User (Perplexity), Claude-User et Claude-SearchBot (Anthropic), Amzn-User (Amazon, pour Alexa) et Meta-ExternalFetcher (Meta).

Le tableau complet avec les tokens user-agent et le respect de robots.txt se trouve dans l’onglet Cheat Sheets : c’est le cœur de cet article.

Le piège du « jeton, pas robot » (Google-Extended et Applebot-Extended)

C’est le fait le plus mal compris du domaine, alors soyons précis. Google-Extended et Applebot-Extended n’explorent rien. Ils n’ont pas de user-agent indépendant et ne génèrent aucun trafic d’exploration. Ce sont des jetons de contrôle robots.txt qui modifient ce que les explorations existantes sont autorisées à faire avec votre contenu.

  • Google-Extended contrôle l’utilisation destinée à améliorer les modèles génératifs Gemini Apps et Vertex AI, y compris l’ancrage en dehors de Google Search. Il ne contrôle pas les AI Overviews ou AI Mode de Google Search ; ceux-ci utilisent l’accès de Googlebot. Google est explicite : “Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.” (traduction) « Google-Extended n’a aucune incidence sur l’inclusion d’un site dans Google Search et n’est pas utilisé comme signal de classement dans Google Search. » Le désautoriser ne fait rien à Googlebot ni à votre classement.
  • Applebot-Extended repose sur la même idée pour Apple. Apple indique : “Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results.” (traduction) « Applebot-Extended n’explore pas les pages Web. Les pages Web qui désautorisent Applebot-Extended peuvent toujours être incluses dans les résultats de recherche. » Il vous retire de l’entraînement des modèles fondamentaux d’Apple (Apple Intelligence) ; vos pages restent visibles dans Spotlight et Siri grâce au vrai robot, Applebot.

Ainsi, Disallow: Google-Extended et Disallow: Applebot-Extended sont des contrôles d’utilisation du produit plutôt que des blocages d’exploration indépendants. Leurs portées publiées ne retirent pas les pages de l’index de recherche correspondant, mais ils ne sont pas interchangeables et ne doivent pas être réduits tous les deux à « robot d’entraînement ».

Les principaux opérateurs, robot par robot

OpenAI exécute quatre robots déclarés et indépendants : GPTBot (entraînement — “used to make our generative AI foundation models more useful and safe” (traduction) « utilisé pour rendre nos modèles fondamentaux d’IA générative plus utiles et plus sûrs » ), OAI-SearchBot (recherche — “used to surface websites in search results in ChatGPT’s search features” (traduction) « utilisé pour faire apparaître des sites dans les résultats de recherche des fonctions de recherche de ChatGPT » ), ChatGPT-User (récupérateur utilisateur — “used for certain user actions in ChatGPT” (traduction) « utilisé pour certaines actions de l’utilisateur dans ChatGPT » ) et OAI-AdsBot (portée publicitaire indépendante, ni entraînement ni robot d’indexation de recherche). La phrase de politique d’OpenAI sert de modèle pour tout le domaine : “Each bot setting is independent, allowing webmasters granular control over how their content interacts with different OpenAI systems.” (traduction) « Chaque réglage de robot est indépendant, ce qui permet aux webmasters de contrôler finement la façon dont leur contenu interagit avec les différents systèmes d’OpenAI. » Désautoriser GPTBot “signals that future data from these materials should be excluded from model training datasets” (traduction) « signale que les futures données provenant de ces documents doivent être exclues des jeux de données d’entraînement des modèles » ; désautoriser OAI-SearchBot signifie que votre site “won’t appear in ChatGPT search results.” (traduction) « n’apparaîtra pas dans les résultats de recherche de ChatGPT ».

Anthropic en exécute trois : ClaudeBot (entraînement), Claude-SearchBot (indexation de recherche) et Claude-User (récupération utilisateur). Anthropic indique que ses robots “respect ‘do not crawl’ signals by honoring industry standard directives in robots.txt” (traduction) « respectent les signaux “ne pas explorer” en suivant les directives standard du secteur dans robots.txt ». Sa page d’assistance actuelle renvoie aussi vers une liste d’adresses IP publiée pour la vérification propre à Anthropic. Cette liste propre au fournisseur constitue une preuve d’identité, pas une règle universelle de vérification par IP ou reverse DNS pour tous les robots.

Google — le fait essentiel est celui vu plus haut : Google-Extended est un jeton, pas un robot. Google exécute aussi Google-CloudVertexBot (explore pour les agents Vertex AI demandés par le propriétaire du site ; ne modifie pas le classement) et des agents déclenchés par l’utilisateur comme Gemini-Deep-Research et Google-NotebookLM.

Apple exécute Applebot (le vrai robot qui alimente les suggestions Spotlight, Siri et Safari, et qui “may also be used to help train Apple foundation models” (traduction) « peut également être utilisé pour contribuer à l’entraînement des modèles fondamentaux d’Apple ») ainsi que le jeton Applebot-Extended. Bloquer Applebot vous retire de la recherche Apple ; bloquer Applebot-Extended vous retire seulement de l’entraînement.

Perplexity déclare deux robots : PerplexityBot (recherche et citations — explicitement “not used to crawl content for AI foundation models” (traduction) « n’est pas utilisé pour explorer du contenu destiné aux modèles fondamentaux d’IA », Perplexity n’a donc pas de robot d’entraînement déclaré) et Perplexity-User (récupération utilisateur). Sa documentation indique que Perplexity-User “generally ignores robots.txt rules” (traduction) « ignore généralement les règles robots.txt » parce que la récupération est déclenchée par l’utilisateur. Perplexity fait aussi l’objet de signalements d’exploration furtive : voir la controverse ci-dessous.

Amazon en exécute trois, ce qui constitue une exception utile : Amazonbot (améliore les produits et “may be used to train Amazon AI models” (traduction) « peut être utilisé pour entraîner les modèles IA d’Amazon » ), Amzn-SearchBot (recherche) et Amzn-User (récupérations utilisateur pour Alexa). Selon la documentation d’Amazon, Amzn-SearchBot et Amzn-User n’explorent explicitement PAS pour entraîner des modèles d’IA générative : l’idée que « toutes les entreprises d’IA aspirent des données pour l’entraînement » est donc fausse. Amazon respecte aussi une balise meta noarchive avec une signification particulière : ne pas utiliser la page pour l’entraînement de modèles — une rare possibilité de retrait de l’entraînement page par page.

La gestion de robots d’Amazon comporte deux particularités opérationnelles : ses robots peuvent utiliser une copie de robots.txt mise en cache pendant les 30 derniers jours, et Amazon indique que si le fichier ne peut pas être récupéré, ses robots se comportent comme s’il n’existait pas. Cela ne signifie pas qu’une récupération d’audit échouée prouve qu’Amazon a vu un état d’autorisation générale ; l’audit et Amazon peuvent atteindre l’hôte à des moments différents ou par des chemins réseau différents. Evidence for this claim Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days. Scope: Amazon crawler behavior only; a current audit fetch cannot identify which cached copy Amazon used. Confidence: high · Verified: Amazon: Amazonbot Evidence for this claim Amazon says its crawlers behave as if robots.txt does not exist when they cannot fetch it. Scope: Amazon crawler behavior only; a tool-side fetch failure is not proof that Amazon observed the same failure. Confidence: high · Verified: Amazon: Amazonbot

Meta exécute Meta-ExternalAgent (entraînement et indexation pour Llama et Meta AI), Meta-ExternalFetcher (récupération utilisateur) et, séparément, Facebookbot (aperçus de liens — pas un robot IA). Bloquer Meta-ExternalAgent ne modifie pas les aperçus de liens Facebook.

Common Crawl (CCBot) est exécuté par une fondation à but non lucratif qui entretient une archive ouverte du Web. C’est la couche cachée : le jeu de données Common Crawl a servi à entraîner ChatGPT, Claude, LLaMA et beaucoup d’autres modèles ; bloquer CCBot a donc des effets en aval sur des modèles qui ne vous explorent jamais directement. Common Crawl avertit aussi que des imposteurs usurpent CCBot.

ByteDance (Bytespider) est le plus agressif : il est déclaré comme respectant robots.txt, mais il est largement signalé comme le violant, avec des volumes de requêtes très élevés. D’autres noms méritent d’être connus : AI2Bot (Allen Institute, modèles ouverts et jeu de données Dolma), Cohere, Diffbot (extraction de données structurées dont la sortie alimente de nombreux pipelines IA en aval) et Timpibot / webzio-extended.

Les robots IA respectent-ils réellement robots.txt ?

Pour les robots d’entraînement et de recherche, les principaux opérateurs (OpenAI, Anthropic, Google, Apple et Amazon) déclarent tous dans leur documentation respecter robots.txt. La zone contestée concerne les récupérateurs déclenchés par l’utilisateur, pour lesquels plusieurs opérateurs affirment que robots.txt peut ne pas s’appliquer parce qu’une personne a initié la requête — OpenAI dit “these actions are initiated by a user, robots.txt rules may not apply” (traduction) « ces actions sont initiées par un utilisateur, les règles robots.txt peuvent ne pas s’appliquer » ; Perplexity dit que Perplexity-User “generally ignores robots.txt rules.” (traduction) « ignore généralement les règles robots.txt ». Il s’agit d’une politique déclarée, pas d’une violation.

La controverse Perplexity est le principal conflit et je la présente comme signalée, non comme tranchée. En juin 2024, Wired et le développeur Robb Knight ont rapporté que Perplexity avait accédé à des contenus de sites qui l’avaient bloqué, apparemment au moyen d’adresses IP non publiées. En août 2025, Cloudflare a rapporté que Perplexity utilisait un user-agent furtif imitant Chrome sur macOS, faisait tourner ses IP et ses ASN pour contourner les blocages et récupérait le contenu de domaines de test nouvellement créés qui portaient un Disallow: / complet ; Cloudflare a ensuite retiré Perplexity de sa liste des robots vérifiés. Présentez cela comme le compte rendu documenté de ces sources ; la propre documentation de Perplexity maintient que PerplexityBot respecte robots.txt.

Comme certains robots ignorent robots.txt à un certain niveau, Cloudflare est devenu la couche d’application pratique : blocage au niveau réseau, commutateur « AI Scrapers and Crawlers » en un clic, robots.txt géré, suivi des violations de robots.txt et bêta du pay-per-crawl. Depuis juillet 2025, les nouveaux domaines Cloudflare bloquent par défaut les robots IA connus.

Comment contrôler les robots d’exploration IA

  • Robots.txt par user-agent est le levier principal et il est granulaire : bloquer GPTBot ne bloque pas OAI-SearchBot ni ChatGPT-User. Les recettes robots.txt — bloquer tous les robots d’entraînement ou les robots de recherche IA — se trouvent dans l’onglet Scripts.
  • Les jetons d’entraînement — Google-Extended et Applebot-Extended — vous retirent de l’entraînement Gemini ou Apple Intelligence sans coût pour la recherche.
  • La balise meta noarchive d’Amazon permet un retrait page par page de l’entraînement Amazon.
  • Cloudflare AI Crawl Control permet de bloquer, d’autoriser ou de facturer au niveau réseau, avec robots.txt géré et directives Content Signals (search, ai-input, ai-train) ; la valeur par défaut est search=yes, ai-train=no.
  • llms.txt est une proposition (Jeremy Howard / Answer.AI, septembre 2024), pas une norme adoptée — et elle n’est pas respectée par les principaux robots. Il s’agit d’une carte Markdown organisée, censée être lue au moment de l’inférence, mais une étude Ahrefs portant sur 137 000 sites a constaté que 97 % des fichiers llms.txt publiés ne reçoivent aucune requête et qu’aucun grand fournisseur de LLM ne l’a officiellement adoptée. Considérez-la comme un outil documentaire, pas comme un outil de recherche IA.
  • Le projet communautaire ai.robots.txt entretient un fichier complet Disallow: / listant plus de 150 user-agents IA — une référence utile pour un blocage global.

Une politique d’exploration orientée visibilité

Pour un site éducatif ou commercial public qui souhaite être visible dans la recherche IA, ma politique par défaut est la suivante :

  1. Autoriser les robots de recherche classiques qui alimentent les surfaces de recherche souhaitées, notamment Googlebot et Bingbot.
  2. Autoriser les robots documentés de recherche ou d’indexation IA comme OAI-SearchBot, Claude-SearchBot et PerplexityBot sur le contenu public.
  3. Autoriser les récupérateurs explicitement demandés par les utilisateurs comme ChatGPT-User, Claude-User et Perplexity-User, en reconnaissant que le comportement des fournisseurs vis-à-vis de robots diffère. Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: OpenAI: Crawlers Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: Anthropic: Bot information Evidence for this claim Perplexity documents PerplexityBot for search indexing separately from Perplexity-User for user-requested fetches, with different robots behavior. Scope: Perplexity-declared crawlers and published IP ranges; a user-agent string alone does not verify identity. Confidence: high · Verified: Perplexity: Crawlers
  4. Prendre une décision distincte sur l’accès à l’entraînement ou au développement de modèles. GPTBot, ClaudeBot, Google-Extended et les autres contrôles d’entraînement n’ont pas à partager la politique de recherche. Autorisez-les uniquement si cet usage correspond à votre politique éditoriale.
  5. Protéger les routes privées et opérationnelles par authentification. Gardez /admin/, les aperçus, les données de compte et les API non publiques derrière une autorisation côté serveur ; Disallow n’est qu’une préférence destinée aux robots.
  6. Vérifier l’identité avant de contourner les contrôles WAF. Associez le user-agent déclaré aux plages IP actuelles du fournisseur, à une vérification reverse DNS ou à une authentification de robot prise en charge. Ne créez jamais une règle WAF d’autorisation large à partir d’un user-agent usurpable seul.

N’ajoutez pas un groupe de user-agent précis dans le seul but d’écrire Allow: / si vous devez alors répéter toutes les restrictions qui doivent continuer à s’appliquer à ce robot. Avec les règles de correspondance robots, un groupe précis peut remplacer le groupe générique au lieu d’hériter de ses exclusions de chemins privés selon l’analyse robots propre au fournisseur. Le fichier sûr le plus simple est souvent un groupe générique sûr et indépendant, complété par des retraits de l’entraînement ciblés.

Pour ce site, la politique publique actuelle est une posture d’autorisation explicite pour la recherche, l’entrée IA et l’entraînement IA, tout en excluant les routes d’administration, d’aperçu, d’API, de piège et de passerelle. Je conserverais la recherche et la récupération demandée par l’utilisateur autorisées. Je ne modifierais ai-train=yes qu’en fonction d’une décision sur les droits éditoriaux — et non comme tactique de visibilité IA — car l’accès à l’entraînement n’a aucun bénéfice démontré pour les citations.

L’accès des robots IA n’est pas la préparation IA

Une règle d’autorisation prouve au plus que la politique robots déclarée permet à un agent nommé de demander une URL. Elle ne prouve pas que l’opérateur a respecté la politique, récupéré la page, rendu la page, extrait les informations importantes, placé ces informations dans le contexte du modèle, cité la page ou terminé une action.

Gardez cinq couches distinctes :

CoucheQuestionPreuve
PermissionCet agent nommé peut-il demander l’URL selon la politique déclarée ?Test effectif de robots et d’accès réseau
ExtractibilitéLe contenu important est-il présent dans le texte stable, les liens, les métadonnées ou les données structurées ?Capture brute et rendue avec extraction des champs
RenduLe contenu résiste-t-il aux capacités réelles du navigateur ou du JavaScript de l’agent ?Preuve de récupération propre au fournisseur lorsqu’elle existe ; sinon limite de test explicitement indiquée
OpérabilitéUn agent peut-il identifier et exécuter sans danger l’action prévue ?Contrat d’outil ou d’interface documenté et test contrôlé de bout en bout
Préparation commercialeL’identité, le prix, la disponibilité, la politique, l’exécution, le panier et le checkout concordent-ils ?Réconciliation du flux, de la page, du backend et de la commande

Un vérificateur d’accès des robots doit donc indiquer autorisé, bloqué ou indéterminé pour la politique — pas « prêt pour l’IA ». Une requête réussie dans un journal prouve que la requête a eu lieu ; ce n’est pas une preuve que la page a été utilisée dans une réponse. Un flux valide ou une déclaration d’outil ne prouve pas non plus qu’une page publique est rendue correctement ni que le checkout peut exécuter l’offre représentée.

Utilisez Comment fonctionne la recherche IA pour les couches de récupération et de citation, et Optimisation du commerce IA pour la préparation du catalogue et des transactions. En gardant les couches séparées, le remède reste précis : corriger la politique d’accès en cas de blocage, la sortie de page en cas de problème d’extraction, le rendu en cas d’état manquant, le contrat d’interface en cas de problème d’opérabilité ou les données commerciales en cas d’échec d’achat.

Pour les pages e-commerce, le test d’extractibilité doit vérifier que l’identité produit essentielle et l’offre sélectionnée — SKU, ID de groupe, prix, devise et disponibilité — existent dans la réponse initiale et restent cohérentes après le rendu. Le standard des pages produit brutes et rendues définit ce qui doit être visible par le serveur ; la permission d’exploration ne dit rien de ce contrat.

Le mythe qui vous coûte du trafic : entraînement ≠ recherche IA

Voici le point à retenir. Bloquer les robots d’entraînement n’est pas la même chose que bloquer les robots de recherche IA. Ce sont des règles robots.txt distinctes, aux conséquences opposées :

  • Bloquer les robots d’entraînement (GPTBot, ClaudeBot, CCBot, Bytespider et les jetons Google-Extended ou Applebot-Extended) → aucun effet sur le classement Google, confirmé par Google et par les données empiriques des éditeurs. Vous refusez l’entraînement des modèles, c’est tout.
  • Bloquer les robots de recherche IA (OAI-SearchBot, PerplexityBot) → vous perdez de la visibilité dans les réponses de ChatGPT et Perplexity. C’est un arbitrage réel, pas un avantage gratuit.

Si vous bloquez trop largement — par exemple avec un blocage global qui attrape OAI-SearchBot alors que vous vouliez seulement arrêter l’entraînement — vous pouvez vous retirer discrètement de la recherche IA. Soyez précis sur la catégorie touchée par chaque règle.

Pourquoi les éditeurs bloquent-ils ? Le contrat social

La raison de ce débat tient au trafic. Comme je l’ai écrit dans mon analyse des robots IA, “there’s a cost to bots crawling your websites and there’s a social contract between search engines and website owners, where search engines add value by sending referral traffic to websites. Google sends traffic (for now), so they don’t get blocked.” (traduction) « l’exploration de vos sites par les robots a un coût et il existe un contrat social entre les moteurs de recherche et les propriétaires de sites : les moteurs apportent de la valeur en envoyant du trafic de référence aux sites. Google envoie du trafic (pour l’instant), donc il n’est pas bloqué. » Les robots IA, jusqu’à présent, renvoient généralement peu de trafic — et les données expliquent ce malaise. Dans mon analyse Cloudflare Radar, les robots IA sont déjà solidement le deuxième groupe d’exploration derrière les moteurs de recherche et pourraient les dépasser. Vous trouverez plus de détails dans l’onglet Stats.

Déclaration : j’ai été employé par Ahrefs et je bénéficie d’un accès Ahrefs gratuit. L’analyse liée sur les robots est un travail que j’ai publié dans ce cadre ; Ahrefs ne relit ni n’approuve les conclusions éditoriales actuelles de ce site.

Pour le pipeline plus large dans lequel ce sujet s’inscrit — découverte, planification de l’exploration, rendu et différence entre exploration et indexation — consultez le hub de l’exploration et les sujets connexes consacrés aux robots en général, au user-agent, à Googlebot, à Bingbot et à robots.txt.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.