Guide : YandexBot

TL;DR — YandexBot est le robot d’exploration pour Yandex Recherche — le même job Googlebot fait pour Google et Bingbot fait pour Bing. Il visits votre pages, downloads les, et ajoute les à Yandex’s indexer. Si vous devez care à propos de il comes bas à un question: faire vous ont quelconque public or entreprise dans markets où Yandex est pertinent? Si oui, il matters. Si aucun, c’est mostly simplement trafic dans votre logs.

Ce que YandexBot is

Quand vous voir YandexBot dans votre serveur logs, c’est le robot d’exploration pour Yandex — le moteur de recherche que dominates recherche dans Russia le façon Google dominates la plupart de le rest de le world. Simplement comme Googlebot et Bingbot, YandexBot suit liens, lit sitemaps, downloads votre pages, et hands les off à être ajouté à Yandex’s recherche indexer.

Le raison il obtient son propre article — au lieu de “simplement bloquer tout le non-Google bots” — est geography. Yandex est a rounding erreur worldwide, mais dans Russia il holds roughly 71% de le recherche market versus Google’s ~27% (StatCounter, June 2026). Donc si vous sell à or servir personnes dans Russia (et historically some nearby markets), YandexBot est votre gateway à la plupart de que recherche trafic.

How to spot it

Le fiable identity vérifier pour YandexBot est a DNS lookup, pas le utilisateur-agent string — ici’s pourquoi, et Comment cela fonctionne.

YandexBot’s user-agent contient the word YandexBot. Yandex’s propre documentation listes the complet string as:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268

Mais que string alone ne fait pas prove n’importe quoi: anyone peut fake il. Scrapers et mauvais bots routinely pretend à être YandexBot. Donc le utilisateur-agent est simplement a filter pour qui log lines sont worth checking — le réel proof est a reverse-alors-forward DNS lookup confirming la requête came depuis a réel Yandex host, le même technique Google et Bing utiliser pour leur propre robots d’exploration (covered dans le Avancé tab).

Devrait vous block it?

Ce is the réel question la plupart personnes are asking. A rapide façon to think à propos de it:

• Vous ont Russia/CIS-facing entreprise? ne pas bloquer il — vous’d être cutting yourself out de le dominant moteur de recherche là.
• Vous ont zero Russia-facing public et le exploration est straining votre serveur? Alors blocking or slowing il est a reasonable appel. Vous pouvez tell il à stay out avec a couple de lines dans votre robots.txt.

Un caveat on le bloquer side: a robots.txt règle est a requête, pas enforcement. Yandex’s propre docs warn que some de son robots peut ignore robots.txt directives, donc si vous besoin guaranteed exclusion — pas simplement “please don’t” — bloquer par verified IP à le serveur/firewall level à la place (voir le Avancé tab pour qui Yandex bots ce affecte).

Un important gotcha, et c’est le même trap as Google: putting une page dans robots.txt ne fait pas supprimer il depuis Yandex’s résultats de recherche — il simplement arrête Yandex depuis reading lune page. Yandex dit ce dans son propre docs, et ajoute a condition worth knowing: si vous aussi bloquer une page dans robots.txt, Yandex “ne peut pas indexer les et detect votre instructions” — meaning a noindex balise seulement fonctionne si vous let Yandex récupérer lune page à voir il. Blocking exploration et ajout noindex on le même URL cancels le noindex out. À en réalité garder une page out, autoriser exploration et ajouter a noindex balise à la place.

Vouloir le technique version — le exact robots.txt tokens, Yandex’s unique Clean-param directive, comment vérifier a réel YandexBot, et comment il handles JavaScript? Switch à le Avancé tab.

TL;DR — YandexBot est Yandex Recherche’s principal indexation robot d’exploration. Son robots.txt token YandexBot targets seulement le principal indexation bot; Yandex targets le broader bot family. Il prend en charge a Yandex-seulement directive, Clean-param, que consolidates URL parameters — aucun Google/Bing equivalent — et il stopped honoring Crawl-delay on February 22, 2018 (utiliser le Fréquence d’exploration outil à la place; some SEO guides encore wrongly claim Yandex prend en charge Explorer-delay). JavaScript rendu est performed à le robot’s discretion, donc préférer SSR/pre-rendu pour critical contenu. Disallow ≠ noindex (même trap as Google). Vérifier a réel YandexBot par reverse-alors-forward DNS à a yandex.ru/yandex.net/ yandex.com host — le même technique Google et Bing utiliser — jamais le utilisateur-agent string alone.

Ce que YandexBot en réalité is

YandexBot est le principal web robot d’exploration pour Yandex, le Russian moteur de recherche. Il discovers URLs, récupère pages, et feeds Yandex’s indexer — le même role Googlebot et Bingbot play pour leur moteurs. Le utilisateur-agent string Yandex documents (on son “check that a robot belongs to Yandex” page) est:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268

«Yandex adds a useful caveat next to it: because “the browser’s version may change,” it recommends not matching on a fixed Chrome version when you’re trying to identify the bot. Match the YandexBot token, not Chrome/81.0.4044.268. » (Traduction) (Résumé en français de la section vingt-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Crucially, “YandexBot” est vraiment simplement le principal indexation member de a family de Yandex robots — YandexImages, YandexMetrika, YandexDirect, YandexMobileBot, YandexAccessibilityBot, YandexRenderResourcesBot, YandexCalendar, et plus — chaque independently controllable dans robots.txt. Nombreux articles conflate “YandexBot” avec “all Yandex crawlers,” qui est imprecise.

«One more worth knowing about: Yandex’s server-logs table now documents YandexAdditionalBot (and a near-duplicate token, YandexAdditional) as a robot that “helps process robots.txt to prevent page content from appearing in Search with Yandex AI responses,” applied to pages the main crawler has already indexed. Per that same table, it doesn’t take the general User-agent: * rules into account — so if you want to opt a page out of Yandex’s AI features specifically, you need an explicit User-agent: YandexAdditionalBot block, the same pattern other engines’ AI-crawler opt-outs use.

» (Traduction) (Résumé en français de la section vingt-six, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

YandexBot vs. “Yandex” in robots.txt — they’re pas the même token

Ce est Yandex’s la plupart non-obvious robots.txt quirk, et il bites personnes migrating depuis Google-centric SEO technique. Commencer depuis Yandex’s propre worked exemple — il rend le scope split explicit, comments inclus:

User-agent: YandexBot # will be used only by the main indexing bot
Disallow: /*id=

User-agent: Yandex # will be used by all Yandex bots
Disallow: /*sid= # except the main indexing bot

User-agent: * # will not be used by Yandex bots
Disallow: /cgi-bin

Lire literally, que exemple’s propre comments sont le documentation:

«- User-agent: YandexBot — used only by the main indexing bot. » (Traduction) (Résumé en français de la section trente et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- User-agent: Yandex — used by Yandex bots more broadly — but, per the example’s own comment on the second block, “except the main indexing bot.” The broader token isn’t universal even within the Yandex family. » (Traduction) (Résumé en français de la section trente et un, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)

«Two things follow from Yandex’s rules here. First, precedence: “If the User-agent: Yandex string is detected, the User-agent: * string is ignored.” So a generic User-agent: * block won’t apply to Yandex bots if you’ve also written a Yandex block. Second — and this is the one that surprises security-minded readers — Yandex warns that “Some Yandex robots may ignore directives in robots.txt, including those for User-agent: Yandex.” Not every Yandex bot is guaranteed to obey a blanket rule, which is one more reason server-level verification and blocking matter for full exclusion. » (Traduction) (Résumé en français de la section trente-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Verifying it’s really YandexBot

Parce que le utilisateur-agent est spoofable, Yandex indique vous à vérifier avec DNS, exactly comme Google et Bing faire pour leur propre robots d’exploration. Yandex: “Some robots peut disguise themselves as Yandex robots par indicating le pertinent Utilisateur Agent. Vous pouvez vérifier le authenticity de a robot en utilisant a reverse DNS lookup.” Le documented méthode:

1. “Determine le IP adresse de le utilisateur agent dans question en utilisant votre serveur logs.”
2. “Utiliser a reverse DNS lookup de le IP adresse à determine le host domain nom.”
3. “Vérifier si le host belongs à Yandex. Tout Yandex robots ont noms ending dans yandex.ru, yandex.net or yandex.com.” (Si le host nom a a différent ending, il n’est pas Yandex.)
4. “Assurez-vous que le nom est correct. Utiliser a forward DNS lookup à obtenir le IP adresse corresponding à le host nom. Il devrait match le IP adresse utilisé dans le reverse DNS lookup.”

Et le échouer condition, dans Yandex’s words: “Si le IP addresses ne faites pas match, il signifie que le host nom est fake.” Yandex aussi mentions an official “IP adresse vérifier outil” as an alternative à running le lookups par hand.

Ce est le même forward-confirmed reverse-DNS (FCrDNS) modèle tout three major moteurs land on — Google verifies contre googlebot.com/google.com/ googleusercontent.com, Bing contre *.search.msn.com, et Yandex contre yandex.ru/yandex.net/yandex.com. None de les treat a publié IP liste as trustworthy suffisant on son propre. Le commands sont dans le Scripts tab; le domain suffixes sont le seulement chose que changements entre moteurs. (Pour le Google et Bing versions, voir le Googlebot et Bingbot siblings.)

Controlling YandexBot avec robots.txt

Yandex recognizes a familiar core définir of directives, chaque défini in its propre docs:

• Utilisateur-agent — “Indicates le robot à qui le règles listed dans robots.txt appliquer.”
• Disallow — “Prohibits crawling of sections or individual pages of the site.”
• Autoriser — “Allows indexing site sections or individual pages.”
• Sitemap — “Specifies le chemin à le Sitemap fichier que est posted on le site.”
• Clean-param — “Indicates à le robot que lune page URL contient parameters (comme UTM balises) que devrait être ignored quand indexation il.” (Yandex-seulement — voir ci-dessous.)

A quelques fichier requirements worth knowing: le fichier doit être “a TXT fichier named “robots”, robots.txt,” son size doit pas exceed 500 KB, et le serveur doit retourner an HTTP 200 OK status pour il à être lire.

Disallow ≠ noindex — the même trap as Google

«The single most misunderstood robots.txt fact carries straight over to Yandex, and Yandex states it plainly: “Pages restricted in robots.txt can participate in Yandex search. To remove pages from search, specify the noindex directive in the HTML code of the page or configure the HTTP header.” In other words, Disallow controls crawling, not indexing — a disallowed URL can still show up in Yandex’s results. This is the same conceptual trap Google has (I’ve written it up for Google in Indexed, though blocked by robots.txt), and the fix is identical: to actually remove a page, allow crawling and add noindex. Yandex spells out exactly why in the same section: “Do not restrict such pages in robots.txt, or the Yandex bot can’t index them and detect your instructions.” An index-control directive only works if the crawler can fetch the page to see it — Disallow and noindex on the same URL is a contradiction: the Disallow stops Yandex from ever reading the noindex tag, so the page stays exactly where it was. » (Traduction) (Résumé en français de la section quarante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«### Clean-param — Yandex’s unique parameter directive » (Traduction) (Résumé en français de la section quarante-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Clean-param est le unique la plupart Yandex-spécifique directive pour an public utilisé à Google et Bing, et il a aucun Google or Bing equivalent. Son objectif, per Yandex: “Le Yandex robot utilise ce directive à éviter reloading duplicate information. Ce améliore le robot’s efficiently et reduces le serveur charger.” (Que “efficiently” est a genuine typo on Yandex’s actif page — Je’m quoting il as-est plutôt que silently fixing il.)

Le problème il solves: “Le nouveau parameter que ne fait pas affecter lune page contenu peut résultat dans duplicate pages que ne doit pas être inclus dans le recherche.” Le syntax:

Clean-param: p0[&p1&p2&..&pn] [path]

Yandex’s propre worked exemple — three URLs que differ seulement by a ref tracking parameter:

www.example.com/some_dir/get_book.pl?ref=site_1&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_2&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_3&book_id=123

…collapse to un URL canonique (www.example.com/some_dir/get_book.pl?book_id=123) with a unique directive:

User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl

Deux details faire Clean-param facile à obtenir incorrect. Premier, “Le Clean-param directive ne fait pas exiger mandatory combination avec le Disallow directive” — il stands on son propre; vous ne pas Disallow le parameter URLs. Deuxième, c’est intersectional: per Yandex il “est intersectional, donc il peut être specified anywhere dans le fichier, regardless de le emplacement.” Unlike Allow/Disallow, qui sont anchored à a chemin, Clean-param est a mondial directive vous pouvez drop anywhere dans le fichier.

Yandex aussi notes il peut handle some parameters automatiquement: “Parameters pour analytics et tracking que ne pas affecter lune page contenu peut être automatiquement supprimé par le moteur de recherche si le algorithms determine que ceux parameters sont insignificant.” Mais relying on Clean-param pour le ones que matter à vous est le deterministic déplacer. Ce est le Yandex analog à comment Google maintenant leans on canonicalization signaux (balise canonical, maillage interne) since il deprecated son old URL Parameters outil — Yandex simplement donne vous an explicit robots.txt directive où Google ne fait pas.

Explorer-delay est dead (since Feb 2018)

Si vous avez lire que Crawl-delay fonctionne dans Yandex’s robots.txt, que information est stale. Yandex’s propre dedicated page est unambiguous: “Depuis February 22, 2018, Yandex ne fait pas prendre dans account le Explorer-delay directive.”

«This is worth flagging because at least one widely-read SEO resource still says the opposite. Ahrefs’ robots.txt guide (authored by Joshua Hardwick, not me) currently states “Google no longer supports this directive, but Bing and Yandex do.” On the Yandex half, that’s contradicted by Yandex’s own current documentation. I’d treat Yandex’s dedicated, dated page as authoritative here — but the broader lesson is the useful one: verify a crawl-behavior claim against the engine’s live docs before you trust a secondhand guide, because these details drift and even good sources go stale. (Note the contrast with Bing, which does still honor crawl-delay — one of the real Bingbot/YandexBot divergences.) » (Traduction) (Résumé en français de la section cinquante-six, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Le replacement est le Fréquence d’exploration paramètre dans Yandex Webmaster, qui lets vous influence comment rapide YandexBot récupère votre site. (Yandex’s Explorer-delay page est essentially un sentence plus a pointer à que paramètre.)

How YandexBot handles JavaScript

Yandex’s JavaScript rendu est explicitly labeled beta (β) par Yandex itself, et le par défaut behavior est “at the bot’s discretion” — le bot “va independently determine si à execute JavaScript code on le site’s pages.” Quand il fait, il peut “assess le qualité et completeness de le contenu on le pages avec et sans JavaScript” et servir whichever version est probable plus utile à le visitor.

«There’s a meaningful tension worth surfacing. The 2023 Yandex source-code leak (exposed internal engineering docs, not an official statement — I’ll cover it more below) suggested a simpler picture. As Mike King wrote in his Search Engine Land analysis of the leak: “Yandex has no separate rendering system for JavaScript. They say this in their documentation and, although they have Webdriver-based system for visual regression testing called Gemini, they limit themselves to text-based crawl.” (That internal “Gemini” is a Yandex visual-regression testing tool — completely unrelated to Google’s Gemini AI model, despite the shared name. Worth disambiguating so nobody conflates the two.) And Dan Taylor’s Search Engine Journal write-up concluded there’s “nothing new to suggest Yandex can crawl JavaScript yet outside of already publicly documented processes.” » (Traduction) (Résumé en français de la section soixante, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Donc le honest réponse est aucun “YandexBot renders JS simplement like Googlebot” nor “YandexBot jamais touches JavaScript.” c’est selective et beta, par Yandex’s propre description. Le leak’s “no separate rendering system” account est consistent avec que framing, mais c’est leaked internal material relayed via industry coverage, pas a Yandex disclosure — donc treat “architecturally simpler que Google” as a plausible reading de deux consistent signaux, pas a documented fact. ne pas prendre soit account on faith pour a route que matters à vous; tester il directement:

• Rendu sortie: récupérer lune page avec JavaScript disabled et comparer il à le JS-rendu version. Si le deux differ meaningfully, ne pas assume Yandex saw le rendu un.
• Resource accès: confirmer le JS, CSS, et API endpoints lune page dépend on ne sont pas bloqué dans robots.txt. Yandex’s YandexRenderResourcesBot récupère rendre-time resources, mais (per Yandex’s propre documentation de il) seulement pour pages le principal indexation bot peut déjà reach — a bloqué resource on an allowed page encore ne va pas charger.
• Delayed et interactive contenu: n’importe quoi que charge après le DOMContentLoaded event or behind a click n’est pas guaranteed à rendre. Yandex’s avancé rendu paramètres (window.YandexRotorSettings) exist précisément pour sites où “content loads with a delay” — c’est a signal worth reading, pas simplement a config option.

Le practical takeaway: Yandex’s propre docs recommend vous “Prohibit rendu si SSR (Rendu côté serveur) or pre-rendu est implemented on le site,” et remarque que “Executing JavaScript code peut créer additional charger on votre serveur.” Si vous vouloir fiable Yandex indexation de JS-heavy contenu, servir il serveur-side plutôt que testing votre luck on rendu côté client.

Pour AJAX-style sites, Yandex dit “Quand indexation an AJAX site, le Yandex bot scans le original URLs et executes JavaScript code on les” — et il a déplacé away depuis le old HTML-snapshot hack: si vous encore utiliser le deprecated meta name="fragment" approche, “le bot va ignore il et indexer le original page.” Son modern recommendation mirrors Google’s: “Si le liens on AJAX pages utiliser le # character, modifier le addresses à URLs sans ce character. Par exemple, vous peut utiliser le History API.”

Ce que le 2023 source-code leak revealed à propos de le robot d’exploration

Dans January 2023, Yandex’s internal code source leaked — a well-corroborated event covered à travers Moteur de recherche Land, Moteur de recherche Journal, et others. Treat ce as leaked internal documentation, pas a Yandex statement, mais il exposed réel detail à propos de comment le robot d’exploration fonctionne. Per Mike King’s SEL analysis: “Yandex’s documentation discusses a dual-distributed robot d’exploration système. Un pour en temps réel exploration appelé le ‘Orange Robot d’exploration’ et un autre pour general exploration.” Il drew a parallel à Google, qui “est said à ont avait an indexer stratified dans three buckets, un pour housing en temps réel explorer, un pour regularly exploré et un pour rarely exploré.” Les deux moteurs, En d’autres termes, apparaître à embrace segmented exploration driven par comment souvent contenu mises à jour.

Le leak aussi tied exploration directement à architecture du site. Per Dan Taylor’s SEJ coverage, “URLs que sont reachable depuis le homepage ont a ‘plus élevé’ level de importance.” c’est a clean bridge depuis “robot d’exploration mechanics” à “pourquoi internal linking matters” — le même explorer depth logic que s’applique à Googlebot.

(Pour scale: coverage noted le widely-cited “1,922 ranking factors” figure était spécifique à un archive fichier, avec le fuller codebase reportedly containing far plus à travers plusieurs fichiers — garder a date et a source on quelconque spécifique number si vous cite un.)

Pourquoi YandexBot encore matters — and how courant it is in robots.txt

Yandex’s mondial share est tiny, mais son Russia share n’est pas: ~71% dans Russia vs. Google’s ~27% as de June 2026 (StatCounter). Que stability est le entier raison YandexBot deserves séparé treatment. Si vous ont quelconque Russia/CIS-facing entreprise, blocking YandexBot forecloses le dominant moteur dans que market.

«How often do sites even bother configuring for it? Rarely, but rising. In the Web Almanac 2022 SEO chapter (I was a reviewer that year; I was lead author of the 2021 chapter): YandexBot appeared in “just 0.5% of robots.txt files in 2021. By 2022, there was a six-fold increase, with 3% of files specifying Yandexbot.” Small, but a clear upward trend — and a useful “how common is this in the wild” baseline. » (Traduction) (Résumé en français de la section soixante-onze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Si vous êtes deciding si à bloquer il, le honest framing est a entreprise question, pas a technique un — et c’est a réel debate que plays out dans webmaster forums. Pour le broader mechanics YandexBot lives à l’intérieur — URL discovery, le explorer scheduler, rendu, et le explorer-vs-indexer-vs-classer distinctions — voir le exploration hub. Et pour configuring Yandex précisément as partie de a Russia/CIS stratégie, le international-SEO et market-spécifique-SEO material ties il ensemble.

AI summary

A condensed prendre on the Avancé version:

«- YandexBot = Yandex Search’s main indexing crawler — the Yandex equivalent of Googlebot/Bingbot. UA string: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268 (don’t match on the Chrome version — it changes). » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- Two robots.txt tokens, different scopes: YandexBot = main indexing bot only; Yandex = the broader bot family. A User-agent: Yandex block makes Yandex ignore User-agent: *. Some Yandex bots may ignore robots.txt entirely. » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- Clean-param is Yandex-only — consolidates URL parameters that don’t change content (no Google/Bing equivalent). It doesn’t require Disallow, and it’s intersectional (can go anywhere in the file). » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- Crawl-delay is dead — Yandex stopped honoring it on February 22, 2018; use the Crawl rate tool instead. Some SEO guides still wrongly claim Yandex supports it. (Bing does; Yandex doesn’t.) » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.) «- Disallow ≠ noindex — disallowed pages “can participate in Yandex search.” Use noindex (meta or HTTP header) to actually remove a page. » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.) «- JavaScript rendering is beta and “at the bot’s discretion.” The 2023 leak suggested “no separate rendering system for JavaScript” — so it’s selective and simpler than Google’s two-wave pipeline. Prefer SSR/pre-rendering; avoid hash-bang URLs (use the History API). » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie six : le texte source est conservé pour vérification lors de la relecture francophone.) «- 2023 source-code leak (leaked, not official): revealed a dual-crawler system (real-time “Orange Crawler” + general crawler) and that homepage-reachable URLs carry higher importance (crawl-depth as a signal). » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie sept : le texte source est conservé pour vérification lors de la relecture francophone.) «- Verify with reverse-then-forward DNS to a yandex.ru/yandex.net/ yandex.com host — the same FCrDNS technique Google and Bing use — never the spoofable user-agent. » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie huit : le texte source est conservé pour vérification lors de la relecture francophone.) «- Why care: ~71% Russia search share (vs. Google ~27%, June 2026). Tiny globally, dominant regionally. In robots.txt: ~0.5% of files (2021) → 3% (2022) per the Web Almanac. » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie neuf : le texte source est conservé pour vérification lors de la relecture francophone.)

Documentation officielle

Primary-source documentation, mostly depuis Yandex Webmaster Aider, avec Google/Bing contrast liens. Heads up: plusieurs Yandex Webmaster outil pages (Fréquence d’exploration, le robots.txt analyzer) sont app pages que besoin a logged-dans navigateur à voir entièrement, et Google’s/Bing’s verification pages sont JavaScript-rendu — confirmer details actif si a lien bounces.

Yandex

• Le Utilisateur-agent directive — le YandexBot vs. Yandex token scoping et precedence règles.
• Comment vérifier que a robot belongs à Yandex — le complet utilisateur-agent string et le reverse-DNS verification méthode.
• En utilisant robots.txt — le directives Yandex recognizes, le 500 KB / HTTP 200 fichier requirements, et le Disallow ≠ indexer remarque.
• Le Clean-param directive — Yandex’s unique parameter-consolidation directive (syntax + worked exemple).
• Le Explorer-delay directive — lune page stating Explorer-delay a été ignored since February 22, 2018.
• Site fréquence d’exploration — le Explorer-delay replacement dans Yandex Webmaster.
• Indexation pages avec JavaScript (β) — le “at the bot’s discretion” par défaut et le SSR recommendation.
• Indexation AJAX sites — JS execution on original URLs et le History-API recommendation.

Google / Bing (pour contrast)

• Vérifier Requêtes depuis Google Robots d’exploration et Fetchers — Google’s reverse/forward-DNS méthode (contre googlebot.com/google.com/googleusercontent.com) — le même FCrDNS modèle Yandex utilise.
• Qui robots d’exploration fait Bing utiliser? — Bing’s robot d’exploration liste; Bing verifies contre *.search.msn.com et encore honors crawl-delay (Yandex ne fait pas).

Quotes from the source

On-le-record statements depuis Yandex’s propre documentation, plus le leaked-internal material relayed via industry coverage. Chaque lien est a deep lien que jumps à le quoted passage. Yandex’s docs sont English translations publié par Yandex itself — quoted verbatim depuis ceux pages.

Yandex — robots.txt tokens et precedence

«- “If the User-agent: Yandex string is detected, the User-agent: * string is ignored.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Some Yandex robots may ignore directives in robots.txt, including those for User-agent: Yandex.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-neuf, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “YandexAdditionalBot … Helps process robots.txt to prevent page content from appearing in Search with Yandex AI responses. Applies to the pages that have been indexed by the primary crawler.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-neuf, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Yandex — verifying the bot

«- “Some robots can disguise themselves as Yandex robots by indicating the relevant User Agent. You can check the authenticity of a robot using a reverse DNS lookup.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-onze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Check whether the host belongs to Yandex. All Yandex robots have names ending in yandex.ru, yandex.net or yandex.com.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-onze, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “If the IP addresses do not match, it means that the host name is fake.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-onze, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Yandex — robots.txt et Clean-param

«- “Pages restricted in robots.txt can participate in Yandex search. To remove pages from search, specify the noindex directive in the HTML code of the page or configure the HTTP header.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-treize, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “The Yandex robot uses this directive to avoid reloading duplicate information. This improves the robot’s efficiently and reduces the server load.” [sic — “efficiently” is Yandex’s own typo] Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-treize, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “The Clean-param directive does not require mandatory combination with the Disallow directive.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-treize, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Do not restrict such pages in robots.txt, or the Yandex bot can’t index them and detect your instructions.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-treize, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.)

Yandex — Crawl-delay and JavaScript

«- “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-quinze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Prohibit rendering if SSR (Server-Side Rendering) or pre-rendering is implemented on the site.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-quinze, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “When indexing an AJAX site, the Yandex bot scans the original URLs and executes JavaScript code on them.” Jump to quote » (Traduction) (Résumé en français de la section quatre-vingt-quinze, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Le 2023 Yandex source-code leak (leaked internal documentation, relayed via industry coverage — pas an official Yandex statement)

«- “Yandex has no separate rendering system for JavaScript. They say this in their documentation and, although they have Webdriver-based system for visual regression testing called Gemini, they limit themselves to text-based crawl.” — Mike King, iPullRank, via Search Engine Land. Read the coverage » (Traduction) (Résumé en français de la section quatre-vingt-dix-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Yandex’s documentation discusses a dual-distributed crawler system. One for real-time crawling called the ‘Orange Crawler’ and another for general crawling.” — Search Engine Land. Read the coverage » (Traduction) (Résumé en français de la section quatre-vingt-dix-sept, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “There’s nothing new to suggest Yandex can crawl JavaScript yet outside of already publicly documented processes.” — Dan Taylor, via Search Engine Journal. Read the coverage » (Traduction) (Résumé en français de la section quatre-vingt-dix-sept, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Web Almanac 2022, SEO chapter (Je était a reviewer)

• “Yandexbot was specified in just 0.5% of robots.txt files in 2021. By 2022, there was a six-fold increase, with 3% of files specifying Yandexbot.” Jump à citation

«## Should I block, allow, or throttle YandexBot? » (Traduction) (Résumé en français de la section cent trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«The YandexBot question is almost always a business question wearing a technical costume. Work through it. » (Traduction) (Résumé en français de la section cent quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

YandexBot Mythes et erreurs à éviter

Le traps que come up la plupart souvent — plusieurs sont widely-repeated et worth correcting:

«- “Crawl-delay slows YandexBot down.” No. Yandex stopped honoring Crawl-delay on February 22, 2018 (“Yandex doesn’t take into account the Crawl-delay directive”). Some SEO guides still claim Yandex supports it — that’s stale. Use the Crawl rate setting in Yandex Webmaster instead. (Do-instead: verify crawl-behavior claims against Yandex’s live docs, and throttle via Crawl rate, not Crawl-delay.) » (Traduction) (Résumé en français de la section cent dix, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Disallow in robots.txt removes the page from Yandex.” No — Yandex’s own docs say disallowed pages “can participate in Yandex search.” Disallow stops crawling, not indexing. (Do-instead: use noindex in the HTML or an HTTP header to actually exclude a page; let Yandex crawl it so it can see the tag.) » (Traduction) (Résumé en français de la section cent dix, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “User-agent: YandexBot and User-agent: Yandex are the same thing.” No — YandexBot targets only the main indexing bot; Yandex targets the broader family. And a User-agent: Yandex block makes Yandex ignore your User-agent: * block entirely. (Do-instead: pick the token that matches the scope you actually intend, and don’t assume * rules reach Yandex bots.) » (Traduction) (Résumé en français de la section cent dix, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- “YandexBot renders JavaScript just like Googlebot.” Not established. Yandex’s rendering is beta and “at the bot’s discretion,” and the 2023 leak suggested “no separate rendering system for JavaScript.” (Do-instead: serve JS-dependent content via SSR/pre-rendering rather than assuming client-side rendering will be indexed.) » (Traduction) (Résumé en français de la section cent dix, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.) «- “The user-agent string proves it’s YandexBot.” No — it’s trivially spoofed. (Do-instead: verify with reverse-then-forward DNS to a yandex.ru/yandex.net/ yandex.com host, exactly as you’d verify Googlebot or Bingbot.) » (Traduction) (Résumé en français de la section cent dix, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Any YandexBot traffic on a non-Russian site is inherently suspicious/fake.” Not necessarily — legitimate YandexBot crawls globally-facing sites too, not just .ru domains. (Do-instead: verify by DNS before deciding it’s spoofed; a real Yandex host is real regardless of your audience.) » (Traduction) (Résumé en français de la section cent dix, sous-partie six : le texte source est conservé pour vérification lors de la relecture francophone.) «- “The 2023 leak proved Yandex has a secret superior JS crawler.” No — coverage concluded there’s “nothing new to suggest Yandex can crawl JavaScript yet outside of already publicly documented processes.” (Do-instead: don’t over-read the leak; it corroborated the limited-rendering picture, it didn’t overturn it.) » (Traduction) (Résumé en français de la section cent dix, sous-partie sept : le texte source est conservé pour vérification lors de la relecture francophone.)

«## YandexBot — cheat sheet » (Traduction) (Résumé en français de la section cent treize, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«User-agent string (main indexing bot) » (Traduction) (Résumé en français de la section cent quatorze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268

«Match on the YandexBot token, not the Chrome/81.0.4044.268 version — Yandex says the browser version may change. » (Traduction) (Résumé en français de la section cent seize, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«The two robots.txt tokens » (Traduction) (Résumé en français de la section cent dix-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«| Token | Scope | | --- | --- | | User-agent: YandexBot | The main indexing bot only | | User-agent: Yandex | Yandex’s broader bot family | » (Traduction) (Résumé en français de la section cent dix-huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

A User-agent: Yandex block causes Yandex to ignore votre User-agent: * block. Some Yandex bots may ignore robots.txt entirely.

Directives Yandex recognizes

Clean-param rapide formulaire

User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl

Consolidates ?ref=… variants to un URL. Doesn’t besoin Disallow; intersectional (peut go anywhere in the fichier).

Vérifier vs. Google vs. Bing (tout utiliser forward-confirmed reverse DNS)

Rapide facts

• Explorer-delay: dead since Feb 22, 2018 — utiliser le Fréquence d’exploration outil. (Bing encore honors crawl-delay; Yandex ne fait pas.)
• robots.txt doit être named robots.txt, être ≤ 500 KB, et retourner HTTP 200.
• JavaScript rendu: beta, “at the bot’s discretion” — préférer SSR.
• Russia share: ~71% (vs. Google ~27%), June 2026 (StatCounter).
• Dans robots.txt: 0,5% (2021) → 3% (2022) de fichiers (Web Almanac).

Vérifier a bot is really YandexBot

Le utilisateur-agent est trivially spoofed, donc confirmer avec a reverse-DNS lookup (doit fin dans a Yandex domain) followed par a forward-DNS lookup (doit resolve back à le même IP). Ce est le exact FCrDNS modèle vous’d utiliser pour Googlebot or Bingbot — seulement le domain suffixes differ (yandex.ru / yandex.net / yandex.com).

macOS / Linux

# 1) Reverse-DNS the IP from your logs — the host must end in
#    yandex.ru, yandex.net, or yandex.com
host 5.255.253.1
# → 1.253.255.5.in-addr.arpa domain name pointer <something>.yandex.com  (illustrative)

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host <the-hostname-from-step-1>.yandex.com

Windows

nslookup 5.255.253.1
nslookup <the-hostname-from-step-1>.yandex.com

Si le reverse lookup ne fait pas fin dans a Yandex domain, or le forward lookup ne fait pas retourner le original IP, il n’est pas YandexBot — drop or rate-limit il.

Extract verified-vs-spoofed YandexBot hits depuis a log fichier

A rapide shell réussir à pull “YandexBot” lines et vérifier chaque source IP’s PTR. Adjust champ positions pour votre log format (ce assumes a courant combined format avec le IP premier).

# Pull unique IPs that claimed to be YandexBot, then reverse-resolve each
grep -i 'YandexBot' access.log \
  | awk '{print $1}' | sort -u \
  | while read ip; do
      host="$(host "$ip" 2>/dev/null | awk '/pointer/{print $NF}' | sed 's/\.$//')"
      case "$host" in
        *.yandex.ru|*.yandex.net|*.yandex.com) echo "REAL   $ip  $host" ;;
        "" )                                    echo "NO-PTR $ip" ;;
        * )                                     echo "FAKE   $ip  $host" ;;
      esac
    done

REAL lines encore deserve a forward-lookup confirmation pour n’importe quoi vous’ll act on (host "$host" devrait retourner le original IP), mais ce triages le obvious impostors premier.

Regex à match le YandexBot token dans a utilisateur-agent

Match the product token, pas the Chrome version (qui changements). Case-insensitive:

YandexBot/\d+(\.\d+)?

«Broader “any Yandex robot” match (catches YandexImages, YandexMobileBot, etc.): » (Traduction) (Résumé en français de la section cent quarante-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Yandex[A-Za-z]*/\d

Remember: a matching utilisateur-agent est necessary mais pas sufficient — pair quelconque regex match avec le DNS vérifier ci-dessus avant trusting il.

A robots.txt starting point pour Yandex

# Slow/duplicate-parameter cleanup for all Yandex bots
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign /

# Block only the main indexing bot from a low-value space
User-agent: YandexBot
Disallow: /internal-search/

Sitemap: https://example.com/sitemap.xml

Remember: Disallow blocks exploration, pas indexation — utiliser noindex to supprimer a page from Yandex search. To entièrement block tout Yandex bots (some ignore robots.txt), block by verified IP at le serveur.

YandexBot readiness checklist

A rapide réussir to confirmer you’re handling YandexBot deliberately, pas by accident:

«- [ ] You’ve decided whether Yandex matters for your site (any Russia/CIS audience or business?) — the whole block/allow question hinges on this. » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] Bot verification uses reverse + forward DNS to a yandex.ru/yandex.net/ yandex.com host — not the spoofable user-agent, and not a hardcoded IP list. » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] You’re using the right robots.txt token for your intent: YandexBot (main indexing bot only) vs. Yandex (the broader family). » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] You know a User-agent: Yandex block makes Yandex ignore your User-agent: * block. » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] You’re not relying on Crawl-delay (dead since Feb 22, 2018) — throttle via the Crawl rate tool in Yandex Webmaster instead. » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] You’re not using Disallow to deindex — that’s noindex’s job (with crawling allowed). » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie six : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] Duplicate URL parameters are consolidated with Clean-param where relevant (it doesn’t need Disallow, and it can go anywhere in the file). » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie sept : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] JS-dependent content is served via SSR/pre-rendering, since Yandex’s rendering is beta and “at the bot’s discretion.” » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie huit : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] AJAX routes use clean URLs / the History API, not hash-bang (#!) URLs. » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie neuf : le texte source est conservé pour vérification lors de la relecture francophone.) «- [ ] For full exclusion of all Yandex bots (some ignore robots.txt), you’re blocking by verified IP at the server, not just in robots.txt. » (Traduction) (Résumé en français de la section cent cinquante-deux, sous-partie dix : le texte source est conservé pour vérification lors de la relecture francophone.)

Outils pour verifying and monitoring YandexBot

Le deux jobs que come up la plupart avec YandexBot sont confirming a hit est réel et seeing comment beaucoup c’est en réalité exploration vous. Commencer ici:

• Googlebot Verifier — paste an IP depuis votre logs et il exécute le forward-confirmed reverse-DNS vérifier pour vous (le même méthode Yandex documents pour confirming a yandex.ru/yandex.net/yandex.com host), naming le réel network owner quand c’est a spoofer à la place. Faster que running host/nslookup par hand pour chaque suspicious hit, et il aussi covers Googlebot, Bingbot, et le major AI robots d’exploration si vous êtes checking a mixed log.
• Log Fichier Analyzer — drop dans a serveur accès log (nginx, Apache, IIS/W3C, or JSON) et voir YandexBot’s réel explorer footprint: comment beaucoup de votre site c’est hitting, qui sections, status-code waste, et a spoofer rapport flagging IPs que claim à être YandexBot mais ne pas vérifier out. Utile pour le “is this crawling actually straining my server” question depuis le décision tree ci-dessus — tout exécute dans votre navigateur, rien est uploaded.

Depuis Yandex itself

• Yandex Webmaster — le Fréquence d’exploration paramètre (le Explorer-delay replacement) et le robots.txt analyzer actif ici; vous’ll besoin a verified, logged-dans Yandex Webmaster account à utiliser soit.

Ressources utiles

Mon connexe writing

• Indexé, though bloqué par robots.txt — pourquoi a robots-bloqué URL encore obtient indexé; le même Disallow ≠ noindex trap s’applique à Yandex.
• Robots.txt et SEO: Tout Vous devez Know — le general robots.txt référence (remarque: son Yandex Crawl-delay claim est outdated, per Yandex’s propre dated docs — a bon exemple de verifying contre le source).
• Le Story de Blocking 2 Élevé-Classement Pages Avec Robots.txt — mon premier-party experiment on ce que en réalité se produit quand vous bloquer classement pages.
• Meet le Nouveau Web Robots d’exploration: AI Bots Sont Closing dans on Moteur de recherche Bots — comment le robot d’exploration cast dans votre logs a modifié.
• Le SEO Bots Que ~140 Million Sites web Bloquer le La plupart — mon study avec Xibeijia Guan on robots.txt bloquer rates (il covers Western SEO-outil bots, pas YandexBot — cited pour le methodology et as a contrast à comment rarely sites configurer pour Yandex).

Mon speaking

• Comment Recherche Fonctionne (SlideShare) — mon walkthrough de exploration, rendu, indexation, et classement. (Standing disclaimer s’applique: “This is my understanding of systems… not going to be 100% complete or accurate.”)

Depuis autour le industry

• Yandex scrapes Google et autre SEO learnings depuis le code source leak (Mike King / iPullRank, Moteur de recherche Land, Jan 30, 2023) — le “Orange Crawler” dual-robot système et “aucun séparé rendu système pour JavaScript” findings.
• Yandex Données Leak: Le Facteurs de classement & Le Myths Nous Trouvé (Dan Taylor, Moteur de recherche Journal, Feb 1, 2023) — le explorer-depth-as-importance signal et le “rien new on JavaScript exploration” conclusion.
• Yandex ‘leak’ reveals 1 922 recherche facteurs de classement (Moteur de recherche Land) — context et dating pour le leak’s scale.
• Fait le Yandex Code Leak Tell Us N’importe quoi À propos de Google? (seoClarity) — a mesuré cross-moteur lire de le leak.
• Le Ultimate Guide à Yandex SEO (Moteur de recherche Journal) — broader Yandex-optimization context au-delà le robot d’exploration.
• Web Almanac 2022 — SEO chapter (HTTP Archive) — le source de le YandexBot-dans-robots.txt adoption stat.

Stats worth citing

«- ~71% Russia search share — Yandex’s share of the Russian search market versus Google’s ~27%, per StatCounter (data reported for June 2026; time-sensitive, so cite the month/year and expect drift). This is the entire reason YandexBot warrants separate treatment from “block all non-Google bots.” Source » (Traduction) (Résumé en français de la section cent soixante-huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- 0.5% → 3% of robots.txt files — YandexBot went from being specified in “just 0.5% of robots.txt files in 2021” to “3% of files specifying Yandexbot” in 2022 — a six-fold increase, though still small (Web Almanac 2022 SEO chapter, which I reviewed). Useful as a historical baseline for “how common is this in the wild.” Source » (Traduction) (Résumé en français de la section cent soixante-huit, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- February 22, 2018 — the date Yandex stopped honoring Crawl-delay, per its own documentation. A precise, citable deprecation date to counter stale guides claiming Yandex still supports the directive. Source » (Traduction) (Résumé en français de la section cent soixante-huit, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Testez vos connaissances: YandexBot

Five rapide questions on YandexBot, son robots.txt behavior, et comment il compare à Googlebot et Bingbot. Pick an réponse pour chaque, alors vérifier.

Journal des modifications