Panduan YandexBot

TL;DR — YandexBot adalah perayap Yandex Search—perannya sama seperti Googlebot untuk Google dan Bingbot untuk Bing. Bot ini mengunjungi halaman, mengunduhnya, lalu memasukkannya ke indeks Yandex. Relevansinya bergantung pada satu pertanyaan: apakah Anda memiliki audiens atau bisnis di pasar tempat Yandex penting? Jika ya, YandexBot perlu diperhatikan. Jika tidak, aktivitasnya biasanya hanya lalu lintas dalam log server.

Apa itu YandexBot

Saat YandexBot muncul dalam log server, itu adalah perayap Yandex—mesin pencari yang mendominasi pencarian di Rusia sebagaimana Google mendominasi sebagian besar wilayah lain. Seperti Googlebot dan Bingbot, YandexBot mengikuti tautan, membaca sitemap, mengunduh halaman, lalu menyerahkannya untuk dimasukkan ke indeks pencarian Yandex.

Alasan bot ini dibahas tersendiri—bukan sekadar dimasukkan ke kelompok “blokir semua bot selain Google”—adalah faktor geografis. Pangsa Yandex secara global sangat kecil, tetapi di Rusia sekitar 71 % dibandingkan sekitar 27 % untuk Google (StatCounter, Juni 2026). Jika Anda menjual atau melayani pengguna di Rusia, dan secara historis di beberapa pasar sekitarnya, YandexBot menjadi pintu masuk menuju sebagian besar lalu lintas pencarian tersebut.

Cara mengenalinya

Pemeriksaan identitas YandexBot yang dapat diandalkan adalah pencarian DNS, bukan string user-agent. Berikut alasan dan caranya.

User-agent YandexBot memuat kata YandexBot. Dokumentasi Yandex mencantumkan string lengkap berikut:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268

Namun, string itu saja tidak membuktikan apa pun: siapa pun dapat memalsukannya. Scraper dan bot jahat sering menyamar sebagai YandexBot. Karena itu, user-agent hanya berguna untuk menyaring baris log yang perlu diperiksa. Bukti sebenarnya adalah pencarian DNS balik lalu maju yang mengonfirmasi bahwa permintaan berasal dari host Yandex asli, dengan teknik yang sama seperti untuk Googlebot dan Bingbot (dibahas pada tab Advanced).

Haruskah Anda memblokirnya?

Inilah pertanyaan utama bagi kebanyakan orang. Cara cepat menentukannya:

• Punya bisnis yang menyasar Rusia/CIS? Jangan blokir YandexBot karena Anda akan menutup akses ke mesin pencari dominan di sana.
• Tidak punya audiens di Rusia dan perayapannya membebani server? Memblokir atau memperlambatnya dapat dibenarkan. Beberapa baris di robots.txt dapat meminta bot tersebut menjauh.

Ada satu catatan: aturan robots.txt adalah permintaan, bukan pemaksaan. Dokumentasi Yandex memperingatkan bahwa beberapa robotnya dapat mengabaikan arahan robots.txt. Jika Anda membutuhkan pengecualian yang terjamin—bukan sekadar “tolong jangan”—blokir IP yang telah diverifikasi pada tingkat server atau firewall (lihat tab Advanced untuk robot Yandex yang terdampak).

Satu hal penting, sama seperti pada Google: memasukkan halaman ke robots.txt tidak menghapusnya dari hasil pencarian Yandex; tindakan itu hanya mencegah Yandex membaca halaman. Yandex juga memberikan syarat penting: jika halaman turut diblokir di robots.txt, Yandex “can’t index them and detect your instructions” (terjemahan) “tidak dapat mengindeksnya dan mendeteksi arahan Anda”. Artinya, tag noindex hanya berfungsi jika Yandex diizinkan mengambil halaman untuk melihatnya. Memblokir perayapan sekaligus menambahkan noindex pada URL yang sama membuat noindex tidak terbaca. Untuk benar-benar mengeluarkan halaman, izinkan perayapan dan tambahkan tag noindex.

Ingin versi teknisnya—token robots.txt yang tepat, arahan Clean-param khusus Yandex, cara memverifikasi YandexBot asli, dan penanganan JavaScript? Beralihlah ke tab Advanced.

TL;DR — YandexBot adalah perayap pengindeksan utama Yandex Search. Di robots.txt, token YandexBot hanya menargetkan bot pengindeksan utama, sedangkan Yandex menargetkan keluarga bot yang lebih luas. Arahan khusus Yandex, Clean-param, menggabungkan parameter URL dan tidak memiliki padanan di Google atau Bing. Yandex berhenti mematuhi Crawl-delay pada 22 Februari 2018; gunakan alat Crawl rate. Rendering JavaScript dilakukan atas kebijakan perayap, sehingga SSR atau prarender lebih aman untuk konten penting. Disallow bukan noindex. Verifikasi YandexBot asli melalui DNS balik lalu maju ke host yandex.ru, yandex.net, atau yandex.com—bukan dari user-agent saja.

Apa sebenarnya YandexBot

YandexBot adalah perayap web utama Yandex, mesin pencari Rusia. Bot ini menemukan URL, mengambil halaman, dan memasok indeks Yandex—peran yang sama dengan Googlebot dan Bingbot pada mesin masing-masing. String user-agent yang didokumentasikan Yandex pada halaman “check that a robot belongs to Yandex” (terjemahan) “memeriksa apakah robot benar-benar milik Yandex” adalah:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268

Yandex menambahkan catatan penting: karena “the browser’s version may change” (terjemahan) “versi browser dapat berubah”, jangan mencocokkan versi Chrome yang tetap saat mengidentifikasi bot. Cocokkan token YandexBot, bukan Chrome/81.0.4044.268.

Yang perlu dipahami, “YandexBot” sebenarnya hanya anggota pengindeksan utama dari satu keluarga robot Yandex—YandexImages, YandexMetrika, YandexDirect, YandexMobileBot, YandexAccessibilityBot, YandexRenderResourcesBot, YandexCalendar, dan lainnya. Masing-masing dapat dikendalikan secara mandiri di robots.txt. Banyak artikel menyamakan “YandexBot” dengan “semua perayap Yandex”, padahal itu tidak tepat.

Ada satu robot lain yang perlu diketahui. Tabel log server Yandex kini mendokumentasikan YandexAdditionalBot (serta token yang hampir sama, YandexAdditional) sebagai robot yang “helps process robots.txt to prevent page content from appearing in Search with Yandex AI responses” (terjemahan) “membantu memproses robots.txt agar konten halaman tidak muncul dalam Penelusuran dengan respons AI Yandex”. Robot ini diterapkan pada halaman yang telah diindeks perayap utama. Menurut tabel yang sama, robot tersebut tidak memperhitungkan aturan umum User-agent: *. Untuk mengecualikan halaman secara khusus dari fitur AI Yandex, Anda memerlukan blok User-agent: YandexAdditionalBot yang eksplisit, serupa dengan pola opt-out perayap AI mesin lain.

YandexBot vs. “Yandex” di robots.txt—token yang berbeda

Ini adalah salah satu keunikan robots.txt Yandex yang paling tidak kentara dan sering menjebak orang yang berpindah dari SEO teknis berpusat pada Google. Mulailah dari contoh resmi Yandex berikut; komentar di dalamnya menjelaskan pembagian cakupan secara eksplisit:

User-agent: YandexBot # will be used only by the main indexing bot
Disallow: /*id=

User-agent: Yandex # will be used by all Yandex bots
Disallow: /*sid= # except the main indexing bot

User-agent: * # will not be used by Yandex bots
Disallow: /cgi-bin

Jika dibaca apa adanya, komentar pada contoh tersebut merupakan dokumentasinya:

• User-agent: YandexBot—digunakan hanya oleh bot pengindeksan utama.
• User-agent: Yandex—digunakan oleh bot Yandex secara lebih luas. Namun, komentar pada blok kedua menyebut “except the main indexing bot” (terjemahan) “kecuali bot pengindeksan utama”. Jadi token yang lebih luas pun tidak bersifat universal di dalam keluarga Yandex.

Ada dua konsekuensi dari aturan ini. Pertama, prioritas: “If the User-agent: Yandex string is detected, the User-agent: * string is ignored.” (terjemahan) “Jika string User-agent: Yandex terdeteksi, string User-agent: * diabaikan.” Jadi blok umum User-agent: * tidak berlaku bagi bot Yandex jika Anda juga menulis blok Yandex. Kedua, Yandex memperingatkan: “Some Yandex robots may ignore directives in robots.txt, including those for User-agent: Yandex.” (terjemahan) “Beberapa robot Yandex dapat mengabaikan arahan dalam robots.txt, termasuk arahan untuk User-agent: Yandex.” Tidak semua bot Yandex dijamin mematuhi aturan menyeluruh. Karena itu, verifikasi dan pemblokiran tingkat server penting untuk pengecualian penuh.

Memverifikasi bahwa bot tersebut benar-benar YandexBot

Karena user-agent dapat dipalsukan, Yandex meminta verifikasi melalui DNS, persis seperti Google dan Bing. Yandex menyatakan: “Some robots can disguise themselves as Yandex robots by indicating the relevant User Agent. You can check the authenticity of a robot using a reverse DNS lookup.” (terjemahan) “Robot tertentu dapat menyamar sebagai robot Yandex dengan mencantumkan User Agent terkait; keasliannya dapat diperiksa melalui pencarian DNS balik.” Metode yang didokumentasikan adalah:

1. “Determine the IP address of the user agent in question using your server logs.” (terjemahan) “Cari alamat IP user agent terkait dari log server.”
2. “Use a reverse DNS lookup of the IP address to determine the host domain name.” (terjemahan) “Lakukan pencarian DNS balik pada alamat IP untuk mendapatkan nama domain host.”
3. “Check whether the host belongs to Yandex. All Yandex robots have names ending in yandex.ru, yandex.net or yandex.com.” (terjemahan) “Pastikan host itu milik Yandex; nama semua robotnya berakhiran yandex.ru, yandex.net, atau yandex.com.” Jika akhiran nama host berbeda, bot itu bukan Yandex.
4. “Make sure that the name is correct. Use a forward DNS lookup to get the IP address corresponding to the host name. It should match the IP address used in the reverse DNS lookup.” (terjemahan) “Pastikan nama tersebut benar dengan pencarian DNS maju; IP hasilnya harus sama dengan IP pada pencarian DNS balik.”

Kondisi gagalnya, menurut Yandex: “If the IP addresses do not match, it means that the host name is fake.” (terjemahan) “Jika alamat IP tidak cocok, berarti nama host tersebut palsu.” Yandex juga menyebut alat resmi pemeriksaan alamat IP sebagai alternatif menjalankan pencarian secara manual.

Ini adalah pola DNS balik yang dikonfirmasi DNS maju (FCrDNS) yang sama pada ketiga mesin utama. Google memverifikasi googlebot.com, google.com, atau googleusercontent.com; Bing memverifikasi *.search.msn.com; dan Yandex memverifikasi yandex.ru, yandex.net, atau yandex.com. Tidak satu pun menganggap daftar IP terbitan cukup tepercaya tanpa pemeriksaan lain. Perintahnya ada pada tab Scripts; hanya akhiran domain yang berbeda. Untuk versi Google dan Bing, lihat artikel saudara Googlebot dan Bingbot.

Mengendalikan YandexBot dengan robots.txt

Yandex mengenali serangkaian arahan inti yang lazim, masing-masing dijelaskan dalam dokumentasinya:

• User-agent—“Indicates the robot to which the rules listed in robots.txt apply.” (terjemahan) “Menunjukkan robot yang dikenai aturan dalam robots.txt.”
• Disallow—“Prohibits crawling of sections or individual pages of the site.” (terjemahan) “Melarang perayapan bagian atau halaman tertentu pada situs.”
• Allow—“Allows indexing site sections or individual pages.” (terjemahan) “Mengizinkan pengindeksan bagian situs atau halaman tertentu.”
• Sitemap—“Specifies the path to the Sitemap file that is posted on the site.” (terjemahan) “Menentukan jalur ke file Sitemap yang dipasang di situs.”
• Clean-param—“Indicates to the robot that the page URL contains parameters (like UTM tags) that should be ignored when indexing it.” (terjemahan) “Memberi tahu robot bahwa URL halaman memuat parameter, seperti tag UTM, yang harus diabaikan saat mengindeks.” Arahan ini khusus Yandex.

Beberapa persyaratan file perlu diketahui: file harus berupa “a TXT file named “robots”, robots.txt” (terjemahan) “file TXT bernama ‘robots’, yaitu robots.txt”; ukurannya tidak boleh melebihi 500 KB; dan server harus mengembalikan status HTTP 200 OK agar file dapat dibaca.

Disallow ≠ noindex—jebakan yang sama seperti pada Google

Kesalahpahaman terbesar tentang robots.txt juga berlaku pada Yandex. Yandex menyatakannya dengan jelas: “Pages restricted in robots.txt can participate in Yandex search. To remove pages from search, specify the noindex directive in the HTML code of the page or configure the HTTP header.” (terjemahan) “Halaman yang dibatasi dalam robots.txt dapat muncul di pencarian Yandex. Untuk menghapus halaman dari pencarian, tentukan arahan noindex dalam kode HTML halaman atau konfigurasikan header HTTP.” Jadi Disallow mengendalikan perayapan, bukan pengindeksan; URL yang dilarang masih dapat muncul dalam hasil Yandex. Ini sama dengan jebakan Google yang saya bahas di Indexed, though blocked by robots.txt. Untuk menghapus halaman, izinkan perayapan dan tambahkan noindex. Yandex menjelaskan alasannya: “Do not restrict such pages in robots.txt, or the Yandex bot can’t index them and detect your instructions.” (terjemahan) “Jangan batasi halaman tersebut dalam robots.txt, atau bot Yandex tidak dapat mengindeksnya dan mendeteksi arahan Anda.” Arahan pengendalian indeks hanya berfungsi jika perayap dapat mengambil halaman. Memasang Disallow dan noindex pada URL yang sama adalah kontradiksi: Disallow mencegah Yandex membaca tag noindex.

Clean-param—arahan parameter khusus Yandex

Clean-param adalah arahan paling khas Yandex bagi pengguna yang terbiasa dengan Google dan Bing, serta tidak memiliki padanan di Google atau Bing. Menurut Yandex: “The Yandex robot uses this directive to avoid reloading duplicate information. This improves the robot’s efficiently and reduces the server load.” (terjemahan) “Arahan ini dipakai robot Yandex agar informasi duplikat tidak dimuat ulang, sehingga kerja robot lebih efisien dan beban server berkurang.” Kata “efficiently” memang salah ketik pada halaman Yandex; kutipan sumber dipertahankan apa adanya.

Masalah yang diatasinya: “The new parameter that doesn’t affect the page content may result in duplicate pages that should not be included in the search.” (terjemahan) “Parameter baru yang tidak memengaruhi konten halaman dapat menghasilkan halaman duplikat yang seharusnya tidak disertakan dalam pencarian.” Sintaksnya:

Clean-param: p0[&p1&p2&..&pn] [path]

Contoh resmi Yandex menggunakan tiga URL yang hanya berbeda pada parameter pelacakan ref:

www.example.com/some_dir/get_book.pl?ref=site_1&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_2&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_3&book_id=123

…digabungkan menjadi satu URL kanonis (www.example.com/some_dir/get_book.pl?book_id=123) dengan satu arahan:

User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl

Dua detail membuat Clean-param mudah disalahgunakan. Pertama, “The Clean-param directive does not require mandatory combination with the Disallow directive” (terjemahan) “Arahan Clean-param tidak wajib digabungkan dengan arahan Disallow.” Arahan ini berdiri sendiri; URL berparameter tidak perlu diberi Disallow. Kedua, arahan ini bersifat interseksional. Menurut Yandex, “is intersectional, so it can be specified anywhere in the file, regardless of the location.” (terjemahan) “Arahan ini bersifat interseksional sehingga dapat ditentukan di mana saja dalam file, tanpa bergantung pada lokasinya.” Berbeda dari Allow dan Disallow yang terkait jalur, Clean-param merupakan arahan global yang dapat ditempatkan di mana saja dalam file.

Yandex juga menyatakan bahwa beberapa parameter dapat ditangani otomatis: “Parameters for analytics and tracking that don’t affect the page content may be automatically removed by the search engine if the algorithms determine that those parameters are insignificant.” (terjemahan) “Parameter analitik dan pelacakan yang tidak memengaruhi konten halaman dapat dihapus otomatis oleh mesin pencari jika algoritme menilainya tidak penting.” Namun, memakai Clean-param untuk parameter yang penting bagi Anda memberikan hasil yang deterministik. Ini setara dengan cara Google mengandalkan sinyal kanonisisasi—tag kanonis dan tautan internal—sejak alat URL Parameters dihentikan, sedangkan Yandex masih memberi arahan robots.txt yang eksplisit.

Crawl-delay tidak lagi berlaku sejak Februari 2018

Jika Anda membaca bahwa Crawl-delay berfungsi di robots.txt Yandex, informasi itu sudah usang. Halaman khusus Yandex menyatakannya tanpa ambigu: “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (terjemahan) “Sejak 22 Februari 2018, Yandex tidak memperhitungkan arahan Crawl-delay.”

Hal ini perlu ditandai karena setidaknya satu sumber SEO populer masih menyatakan sebaliknya. Panduan robots.txt Ahrefs, yang ditulis Joshua Hardwick, saat ini menyebut “Google no longer supports this directive, but Bing and Yandex do.” (terjemahan) “Google tidak lagi mendukung arahan ini, tetapi Bing dan Yandex masih mendukungnya.” Untuk Yandex, klaim itu bertentangan dengan dokumentasi terkininya. Halaman khusus Yandex yang bertanggal layak dijadikan rujukan utama. Pelajaran umumnya: verifikasi klaim perilaku perayapan pada dokumentasi aktif mesin sebelum memercayai panduan pihak kedua, karena detail semacam ini berubah dan sumber yang baik pun dapat usang. Bing masih mematuhi crawl-delay; Yandex tidak—salah satu perbedaan nyata Bingbot dan YandexBot.

Penggantinya adalah pengaturan Crawl rate di Yandex Webmaster, yang memungkinkan Anda memengaruhi kecepatan YandexBot mengambil situs. Halaman Crawl-delay Yandex pada dasarnya hanya berisi satu kalimat dan tautan ke pengaturan tersebut.

Cara YandexBot menangani JavaScript

Yandex sendiri memberi label rendering JavaScript-nya sebagai beta (β), dengan perilaku default “at the bot’s discretion” (terjemahan) “atas kebijakan bot”. Bot “will independently determine whether to execute JavaScript code on the site’s pages” (terjemahan) “akan menentukan sendiri apakah akan menjalankan kode JavaScript pada halaman situs”. Ketika menjalankannya, bot dapat “assess the quality and completeness of the content on the pages with and without JavaScript” (terjemahan) “menilai kualitas dan kelengkapan konten halaman dengan dan tanpa JavaScript”, lalu menyajikan versi yang dinilai lebih bermanfaat bagi pengunjung.

Ada ketegangan penting di sini. Kebocoran kode sumber Yandex 2023—dokumen rekayasa internal yang bocor, bukan pernyataan resmi—menunjukkan gambaran yang lebih sederhana. Mike King menulis dalam analisis Search Engine Land tentang kebocoran tersebut: “Yandex has no separate rendering system for JavaScript. They say this in their documentation and, although they have Webdriver-based system for visual regression testing called Gemini, they limit themselves to text-based crawl.” (terjemahan) “Tidak ada sistem khusus untuk merender JavaScript di Yandex. Dokumentasinya menyebut hal itu; meski mempunyai Gemini, sistem pengujian regresi visual berbasis Webdriver, Yandex membatasi perayapan pada teks.” “Gemini” internal ini adalah alat pengujian regresi visual Yandex, bukan model AI Gemini milik Google. Dan Taylor, dalam ulasan Search Engine Journal, menyimpulkan bahwa “nothing new to suggest Yandex can crawl JavaScript yet outside of already publicly documented processes.” (terjemahan) “Belum ada bukti baru bahwa Yandex merayapi JavaScript di luar proses yang telah diumumkan kepada publik.”

Jawaban yang jujur bukan “YandexBot merender JavaScript seperti Googlebot” dan bukan pula “YandexBot tidak pernah menyentuh JavaScript”. Menurut Yandex sendiri, prosesnya selektif dan masih beta. Keterangan kebocoran bahwa tidak ada sistem rendering terpisah konsisten dengan kerangka itu, tetapi sumbernya adalah materi internal bocor yang disampaikan melalui liputan industri, bukan pengungkapan Yandex. Anggap “arsitekturnya lebih sederhana daripada Google” sebagai pembacaan yang masuk akal atas dua sinyal konsisten, bukan fakta terdokumentasi. Untuk rute yang penting, jangan percaya begitu saja; uji langsung:

• Output terender: ambil halaman dengan JavaScript dinonaktifkan lalu bandingkan dengan versi yang dirender JS. Jika berbeda secara bermakna, jangan berasumsi Yandex melihat versi terender.
• Akses sumber daya: pastikan endpoint JS, CSS, dan API yang dibutuhkan halaman tidak diblokir di robots.txt. YandexRenderResourcesBot mengambil sumber daya rendering, tetapi menurut dokumentasi Yandex hanya untuk halaman yang sudah dapat dijangkau bot pengindeksan utama. Sumber daya terblokir pada halaman yang diizinkan tetap tidak akan dimuat.
• Konten tertunda dan interaktif: konten yang dimuat setelah peristiwa DOMContentLoaded atau setelah klik tidak dijamin terender. Pengaturan rendering lanjutan Yandex (window.YandexRotorSettings) dibuat khusus untuk situs tempat “content loads with a delay” (terjemahan) “konten dimuat dengan penundaan”. Itu adalah sinyal yang perlu dipahami, bukan sekadar opsi konfigurasi.

Kesimpulan praktisnya: dokumentasi Yandex menyarankan “Prohibit rendering if SSR (Server-Side Rendering) or pre-rendering is implemented on the site” (terjemahan) “Larang rendering jika SSR (Server-Side Rendering) atau prarender diterapkan pada situs,” dan mencatat “Executing JavaScript code may create additional load on your server.” (terjemahan) “Menjalankan kode JavaScript dapat menambah beban server.” Untuk pengindeksan konten sarat JS yang andal, sajikan konten dari sisi server daripada mengandalkan rendering sisi klien.

Untuk situs bergaya AJAX, Yandex menyatakan “When indexing an AJAX site, the Yandex bot scans the original URLs and executes JavaScript code on them” (terjemahan) “Saat mengindeks situs AJAX, bot Yandex memindai URL asli dan menjalankan kode JavaScript di sana.” Yandex juga telah meninggalkan cara lama berupa snapshot HTML. Jika Anda masih memakai pendekatan meta name="fragment" yang sudah usang, “the bot will ignore it and index the original page” (terjemahan) “bot akan mengabaikannya dan mengindeks halaman asli”. Rekomendasi modernnya sejalan dengan Google: “If the links on AJAX pages use the # character, change the addresses to URLs without this character. For example, you may use the History API.” (terjemahan) “Jika tautan pada halaman AJAX memakai karakter pagar, ubah alamat menjadi URL tanpa karakter itu. Misalnya, gunakan History API.”

Temuan kebocoran kode sumber 2023 tentang perayap

Pada Januari 2023, kode sumber internal Yandex bocor—peristiwa yang dikonfirmasi luas oleh Search Engine Land, Search Engine Journal, dan sumber lain. Perlakukan materi ini sebagai dokumentasi internal bocor, bukan pernyataan Yandex, tetapi materi tersebut mengungkap detail nyata tentang perayap. Menurut analisis Mike King: “Yandex’s documentation discusses a dual-distributed crawler system. One for real-time crawling called the ‘Orange Crawler’ and another for general crawling.” (terjemahan) “Dokumentasi Yandex membahas sistem perayap terdistribusi ganda: satu untuk perayapan waktu nyata yang disebut ‘Orange Crawler’, dan satu lagi untuk perayapan umum.” Ia membandingkannya dengan Google, yang “is said to have had an index stratified into three buckets, one for housing real-time crawl, one for regularly crawled and one for rarely crawled.” (terjemahan) “disebut memiliki indeks yang dibagi ke tiga kelompok: perayapan waktu nyata, perayapan rutin, dan perayapan jarang.” Keduanya tampak memakai perayapan tersegmentasi menurut frekuensi pembaruan konten.

Kebocoran itu juga menghubungkan perayapan langsung dengan arsitektur situs. Menurut liputan Dan Taylor, “URLs that are reachable from the homepage have a ‘higher’ level of importance.” (terjemahan) “URL yang dapat dijangkau dari halaman beranda memiliki tingkat kepentingan yang ‘lebih tinggi’.” Ini menghubungkan mekanisme perayap dengan alasan pentingnya tautan internal—logika kedalaman perayapan yang juga berlaku pada Googlebot.

(Untuk skalanya, liputan menyebut angka “1.922 faktor peringkat” yang sering dikutip hanya berlaku pada satu file arsip. Keseluruhan basis kode dilaporkan memuat jauh lebih banyak faktor di beberapa file. Sertakan tanggal dan sumber bila mengutip angka tertentu.)

Mengapa YandexBot masih penting—dan seberapa umum di robots.txt

Pangsa global Yandex kecil, tetapi pangsanya di Rusia tidak: sekitar 71 % di Rusia dibandingkan sekitar 27 % untuk Google pada Juni 2026 (StatCounter). Stabilitas itu menjadi alasan YandexBot layak dibahas terpisah. Jika bisnis Anda menyasar Rusia atau CIS, memblokir YandexBot menutup akses ke mesin dominan di pasar tersebut.

Seberapa sering situs mengonfigurasikannya? Jarang, tetapi meningkat. Dalam bab SEO Web Almanac 2022—saya menjadi peninjau tahun itu dan penulis utama bab 2021—YandexBot muncul dalam “just 0.5% of robots.txt files in 2021. By 2022, there was a six-fold increase, with 3% of files specifying Yandexbot.” (terjemahan) “Pada 2021 hanya 0,5 % file robots.txt yang menyebut YandexBot; setahun kemudian proporsinya naik enam kali lipat menjadi 3 %.” Angkanya kecil, tetapi trennya jelas dan berguna sebagai tolok ukur penggunaan di lapangan.

Jika Anda sedang memutuskan apakah bot ini perlu diblokir, kerangka yang jujur adalah pertanyaan bisnis, bukan pertanyaan teknis. Perdebatan itu nyata di forum webmaster. Untuk mekanisme lebih luas—penemuan URL, penjadwal perayapan, rendering, serta perbedaan merayapi, mengindeks, dan memberi peringkat—lihat hub crawling. Untuk konfigurasi Yandex sebagai bagian dari strategi Rusia/CIS, materi SEO internasional dan SEO khusus pasar menyatukan konteksnya.

Ringkasan AI

Ringkasan padat dari versi Advanced:

• YandexBot adalah perayap pengindeksan utama Yandex Search, setara dengan Googlebot atau Bingbot. String UA: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268. Jangan cocokkan versi Chrome karena dapat berubah.
• Dua token robots.txt dengan cakupan berbeda: YandexBot hanya untuk bot pengindeksan utama; Yandex untuk keluarga bot yang lebih luas. Blok User-agent: Yandex membuat Yandex mengabaikan User-agent: *. Beberapa bot Yandex dapat mengabaikan robots.txt sepenuhnya.
• Clean-param hanya ada di Yandex. Arahan ini menggabungkan parameter URL yang tidak mengubah konten dan tidak memiliki padanan di Google atau Bing. Arahan ini tidak memerlukan Disallow dan dapat ditempatkan di mana saja dalam file.
• Crawl-delay sudah tidak berlaku. Yandex berhenti mematuhinya pada 22 Februari 2018; gunakan alat Crawl rate. Beberapa panduan SEO masih salah menyatakan Yandex mendukungnya. Bing masih mendukung; Yandex tidak.
• Disallow bukan noindex. Halaman yang dilarang masih “can participate in Yandex search” (terjemahan) “dapat muncul dalam pencarian Yandex”. Gunakan noindex melalui meta atau header HTTP untuk menghapus halaman.
• Rendering JavaScript masih beta dan “atas kebijakan bot”. Kebocoran 2023 menunjukkan tidak ada sistem rendering JavaScript terpisah. Prosesnya selektif dan lebih sederhana daripada pipeline dua gelombang Google. Pilih SSR atau prarender dan hindari URL hash-bang; gunakan History API.
• Kebocoran kode sumber 2023, bukan sumber resmi, mengungkap sistem dua perayap: “Orange Crawler” waktu nyata dan perayap umum. URL yang dapat dijangkau dari beranda juga memiliki kepentingan lebih tinggi, sehingga kedalaman perayapan menjadi sinyal.
• Verifikasi melalui DNS balik lalu maju ke host yandex.ru, yandex.net, atau yandex.com. Ini teknik FCrDNS yang sama seperti Google dan Bing; jangan percaya user-agent yang dapat dipalsukan.
• Mengapa perlu diperhatikan: pangsa pencarian Rusia sekitar 71 % dibandingkan sekitar 27 % untuk Google pada Juni 2026. Secara global kecil, secara regional dominan. Dalam robots.txt, pemakaiannya naik dari sekitar 0,5 % file pada 2021 menjadi 3 % pada 2022 menurut Web Almanac.

Dokumentasi resmi

Dokumentasi sumber primer berikut sebagian besar berasal dari Yandex Webmaster Help, disertai tautan pembanding Google dan Bing. Beberapa halaman alat Yandex Webmaster—Crawl rate dan penganalisis robots.txt—merupakan halaman aplikasi yang memerlukan browser dalam keadaan login. Halaman verifikasi Google dan Bing juga dirender dengan JavaScript. Konfirmasikan detail secara langsung jika tautan bermasalah.

Yandex

• Arahan User-agent — cakupan token YandexBot versus Yandex dan aturan prioritasnya.
• Cara memeriksa apakah robot milik Yandex — string user-agent lengkap dan metode verifikasi DNS balik.
• Menggunakan robots.txt — arahan yang dikenali Yandex, persyaratan file 500 KB dan HTTP 200, serta catatan bahwa Disallow bukan penghapusan indeks.
• Arahan Clean-param — penggabungan parameter khusus Yandex beserta sintaks dan contoh.
• Arahan Crawl-delay — pernyataan bahwa Crawl-delay diabaikan sejak 22 Februari 2018.
• Laju perayapan situs — pengganti Crawl-delay di Yandex Webmaster.
• Mengindeks halaman dengan JavaScript (β) — default “atas kebijakan bot” dan rekomendasi SSR.
• Mengindeks situs AJAX — eksekusi JS pada URL asli dan rekomendasi History API.

Google/Bing sebagai pembanding

• Memverifikasi permintaan dari perayap dan pengambil Google — metode DNS balik/maju Google terhadap googlebot.com, google.com, atau googleusercontent.com; pola FCrDNS yang sama dengan Yandex.
• Perayap apa yang digunakan Bing? — daftar perayap Bing; Bing memverifikasi *.search.msn.com dan masih mematuhi crawl-delay, sedangkan Yandex tidak.

Kutipan dari sumber

Berikut pernyataan resmi dari dokumentasi Yandex, ditambah materi internal bocor yang disampaikan melalui liputan industri. Setiap tautan mendalam menuju bagian yang dikutip. Dokumentasi Yandex merupakan terjemahan bahasa Inggris yang diterbitkan Yandex sendiri; kutipan dipertahankan persis seperti pada halaman tersebut.

Yandex—token dan prioritas robots.txt

• “If the User-agent: Yandex string is detected, the User-agent: * string is ignored.” (terjemahan) “Jika string User-agent: Yandex terdeteksi, string User-agent: * diabaikan.” Lompat ke kutipan
• “Some Yandex robots may ignore directives in robots.txt, including those for User-agent: Yandex.” (terjemahan) “Beberapa robot Yandex dapat mengabaikan arahan dalam robots.txt, termasuk arahan untuk User-agent: Yandex.” Lompat ke kutipan
• “YandexAdditionalBot … Helps process robots.txt to prevent page content from appearing in Search with Yandex AI responses. Applies to the pages that have been indexed by the primary crawler.” (terjemahan) “YandexAdditionalBot membantu memproses robots.txt agar konten halaman tidak muncul dalam Penelusuran dengan respons AI Yandex; aturan ini berlaku pada halaman yang telah diindeks perayap utama.” Lompat ke kutipan

Yandex—memverifikasi bot

• “Some robots can disguise themselves as Yandex robots by indicating the relevant User Agent. You can check the authenticity of a robot using a reverse DNS lookup.” (terjemahan) “Beberapa robot dapat menyamar sebagai robot Yandex dengan mencantumkan User Agent yang sesuai. Anda dapat memeriksa keaslian robot menggunakan pencarian DNS balik.” Lompat ke kutipan
• “Check whether the host belongs to Yandex. All Yandex robots have names ending in yandex.ru, yandex.net or yandex.com.” (terjemahan) “Periksa apakah host itu milik Yandex. Nama semua robot Yandex berakhiran yandex.ru, yandex.net, atau yandex.com.” Lompat ke kutipan
• “If the IP addresses do not match, it means that the host name is fake.” (terjemahan) “Jika alamat IP tidak cocok, berarti nama host tersebut palsu.” Lompat ke kutipan

Yandex—robots.txt dan Clean-param

• “Pages restricted in robots.txt can participate in Yandex search. To remove pages from search, specify the noindex directive in the HTML code of the page or configure the HTTP header.” (terjemahan) “Halaman yang dibatasi dalam robots.txt dapat muncul dalam pencarian Yandex. Untuk menghapus halaman, tentukan noindex dalam kode HTML atau konfigurasikan header HTTP.” Lompat ke kutipan
• “The Yandex robot uses this directive to avoid reloading duplicate information. This improves the robot’s efficiently and reduces the server load.” (terjemahan) “Robot Yandex menggunakan arahan ini untuk menghindari pemuatan ulang informasi duplikat, meningkatkan efisiensi, dan mengurangi beban server.” [sic—“efficiently” adalah salah ketik Yandex] Lompat ke kutipan
• “The Clean-param directive does not require mandatory combination with the Disallow directive.” (terjemahan) “Arahan Clean-param tidak wajib digabungkan dengan arahan Disallow.” Lompat ke kutipan
• “Do not restrict such pages in robots.txt, or the Yandex bot can’t index them and detect your instructions.” (terjemahan) “Jangan batasi halaman itu dalam robots.txt; jika dibatasi, bot Yandex tidak dapat mengindeksnya dan mendeteksi arahan Anda.” Lompat ke kutipan

Yandex—Crawl-delay dan JavaScript

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (terjemahan) “Sejak 22 Februari 2018, Yandex tidak memperhitungkan arahan Crawl-delay.” Lompat ke kutipan
• “Prohibit rendering if SSR (Server-Side Rendering) or pre-rendering is implemented on the site.” (terjemahan) “Larang rendering jika SSR (Server-Side Rendering) atau prarender diterapkan pada situs.” Lompat ke kutipan
• “When indexing an AJAX site, the Yandex bot scans the original URLs and executes JavaScript code on them.” (terjemahan) “Saat mengindeks situs AJAX, bot Yandex memindai URL asli dan menjalankan kode JavaScript di sana.” Lompat ke kutipan

Kebocoran kode sumber Yandex 2023 (dokumentasi internal bocor yang disampaikan melalui liputan industri—bukan pernyataan resmi Yandex)

• “Yandex has no separate rendering system for JavaScript. They say this in their documentation and, although they have Webdriver-based system for visual regression testing called Gemini, they limit themselves to text-based crawl.” (terjemahan) “Yandex tidak memiliki sistem rendering JavaScript terpisah. Mereka menyatakannya dalam dokumentasi dan, walaupun memiliki sistem berbasis Webdriver untuk pengujian regresi visual bernama Gemini, mereka membatasi diri pada perayapan berbasis teks.” — Mike King, iPullRank, melalui Search Engine Land. Baca liputannya
• “Yandex’s documentation discusses a dual-distributed crawler system. One for real-time crawling called the ‘Orange Crawler’ and another for general crawling.” (terjemahan) “Dokumentasi Yandex membahas sistem perayap terdistribusi ganda: satu untuk perayapan waktu nyata yang disebut ‘Orange Crawler’, dan satu lagi untuk perayapan umum.” — Search Engine Land. Baca liputannya
• “There’s nothing new to suggest Yandex can crawl JavaScript yet outside of already publicly documented processes.” (terjemahan) “Tidak ada hal baru yang menunjukkan Yandex dapat merayapi JavaScript di luar proses yang telah didokumentasikan secara publik.” — Dan Taylor, melalui Search Engine Journal. Baca liputannya

Web Almanac 2022, bab SEO (saya menjadi peninjau)

• “Yandexbot was specified in just 0.5% of robots.txt files in 2021. By 2022, there was a six-fold increase, with 3% of files specifying Yandexbot.” (terjemahan) “YandexBot disebut hanya dalam 0,5 % file robots.txt pada 2021. Pada 2022 terjadi peningkatan enam kali lipat, dengan 3 % file mencantumkan YandexBot.” Lompat ke kutipan

Haruskah saya memblokir, mengizinkan, atau memperlambat YandexBot?

Pertanyaan tentang YandexBot hampir selalu merupakan pertanyaan bisnis yang menyamar sebagai persoalan teknis. Ikuti alurnya.

Mitos dan kesalahan YandexBot yang perlu dihindari

Berikut jebakan yang paling sering muncul; beberapa di antaranya tersebar luas dan perlu diluruskan:

• “Crawl-delay memperlambat YandexBot.” Tidak. Yandex berhenti mematuhi Crawl-delay pada 22 Februari 2018. Beberapa panduan SEO masih menyatakan sebaliknya. Gunakan pengaturan Crawl rate di Yandex Webmaster. (Lakukan: verifikasi klaim perilaku perayapan pada dokumentasi aktif Yandex dan batasi melalui Crawl rate, bukan Crawl-delay.)
• “Disallow di robots.txt menghapus halaman dari Yandex.” Tidak. Menurut Yandex, halaman yang dilarang masih dapat muncul dalam pencarian. Disallow menghentikan perayapan, bukan pengindeksan. (Lakukan: gunakan noindex dalam HTML atau header HTTP dan izinkan Yandex merayapi halaman agar tag terbaca.)
• “User-agent: YandexBot dan User-agent: Yandex sama.” Tidak. YandexBot hanya menargetkan bot pengindeksan utama; Yandex menargetkan keluarga yang lebih luas. Blok User-agent: Yandex juga membuat Yandex mengabaikan blok User-agent: *. (Lakukan: pilih token sesuai cakupan dan jangan berasumsi aturan * menjangkau bot Yandex.)
• “YandexBot merender JavaScript seperti Googlebot.” Belum terbukti. Rendering Yandex masih beta dan atas kebijakan bot; kebocoran 2023 menunjukkan tidak ada sistem rendering JavaScript terpisah. (Lakukan: sajikan konten bergantung JS melalui SSR atau prarender.)
• “String user-agent membuktikan bot itu YandexBot.” Tidak; string mudah dipalsukan. (Lakukan: verifikasi dengan DNS balik lalu maju ke host yandex.ru, yandex.net, atau yandex.com.)
• “Lalu lintas YandexBot pada situs non-Rusia pasti mencurigakan atau palsu.” Tidak selalu. YandexBot asli juga merayapi situs global, bukan hanya domain .ru. (Lakukan: verifikasi DNS sebelum menyimpulkan; host Yandex asli tetap asli apa pun audiens Anda.)
• “Kebocoran 2023 membuktikan Yandex memiliki perayap JS rahasia yang lebih unggul.” Tidak. Liputan menyimpulkan tidak ada hal baru di luar proses yang sudah didokumentasikan. (Lakukan: jangan membaca kebocoran secara berlebihan; materi itu menguatkan gambaran rendering terbatas, bukan membaliknya.)

YandexBot—lembar ringkas

String user-agent bot pengindeksan utama

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268

Cocokkan token YandexBot, bukan versi Chrome/81.0.4044.268. Yandex menyatakan versi browser dapat berubah.

Dua token robots.txt

Blok User-agent: Yandex membuat Yandex mengabaikan blok User-agent: *. Sebagian robot Yandex bahkan mungkin sama sekali tidak mematuhi robots.txt.

Arahan yang dikenali Yandex

Format cepat Clean-param

User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl

Menggabungkan variasi ?ref=… menjadi satu URL. Tidak memerlukan Disallow dan dapat ditempatkan di mana saja dalam file.

Verifikasi Yandex, Google, dan Bing—semuanya memakai DNS balik yang dikonfirmasi DNS maju

Fakta cepat

• Crawl-delay tidak berlaku sejak 22 Februari 2018; gunakan alat Crawl rate. Bing masih mematuhi crawl-delay, sedangkan Yandex tidak.
• File robots.txt harus bernama robots.txt, berukuran ≤ 500 KB, dan mengembalikan HTTP 200.
• Rendering JavaScript masih beta dan atas kebijakan bot; pilih SSR.
• Pangsa Yandex di Rusia sekitar 71 %, dibandingkan sekitar 27 % untuk Google, pada Juni 2026 menurut StatCounter.
• YandexBot disebut dalam 0,5 % file pada 2021 dan 3 % pada 2022 menurut Web Almanac.

Memverifikasi bahwa bot benar-benar YandexBot

User-agent mudah dipalsukan. Konfirmasikan dengan pencarian DNS balik yang harus berakhir pada domain Yandex, lalu pencarian DNS maju yang harus kembali ke IP yang sama. Ini pola FCrDNS yang persis sama seperti pada Googlebot atau Bingbot; hanya akhiran domain yang berbeda: yandex.ru, yandex.net, atau yandex.com.

macOS / Linux

# 1) Reverse-DNS the IP from your logs — the host must end in
#    yandex.ru, yandex.net, or yandex.com
host 5.255.253.1
# → 1.253.255.5.in-addr.arpa domain name pointer <something>.yandex.com  (illustrative)

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host <the-hostname-from-step-1>.yandex.com

Windows

nslookup 5.255.253.1
nslookup <the-hostname-from-step-1>.yandex.com

Jika hasil DNS balik tidak berakhir pada domain Yandex, atau hasil DNS maju tidak mengembalikan IP asal, bot tersebut bukan YandexBot. Tolak atau batasi lajunya.

Mengekstrak akses YandexBot asli dan palsu dari file log

Perintah shell singkat berikut mengambil baris “YandexBot” dan memeriksa PTR setiap IP sumber. Sesuaikan posisi kolom dengan format log Anda; contoh ini mengasumsikan format gabungan umum dengan IP di kolom pertama.

# Pull unique IPs that claimed to be YandexBot, then reverse-resolve each
grep -i 'YandexBot' access.log \
  | awk '{print $1}' | sort -u \
  | while read ip; do
      host="$(host "$ip" 2>/dev/null | awk '/pointer/{print $NF}' | sed 's/\.$//')"
      case "$host" in
        *.yandex.ru|*.yandex.net|*.yandex.com) echo "REAL   $ip  $host" ;;
        "" )                                    echo "NO-PTR $ip" ;;
        * )                                     echo "FAKE   $ip  $host" ;;
      esac
    done

Baris REAL tetap perlu dikonfirmasi dengan pencarian DNS maju sebelum Anda bertindak; host "$host" harus mengembalikan IP asal. Pemeriksaan ini terlebih dahulu memilah penyamar yang jelas.

Regex untuk mencocokkan token YandexBot dalam user-agent

Cocokkan token produk, bukan versi Chrome yang dapat berubah. Abaikan besar-kecil huruf:

YandexBot/\d+(\.\d+)?

Pencocokan “robot Yandex apa pun” yang lebih luas, termasuk YandexImages dan YandexMobileBot:

Yandex[A-Za-z]*/\d

Ingat, user-agent yang cocok diperlukan tetapi tidak cukup. Pasangkan setiap kecocokan regex dengan pemeriksaan DNS sebelum memercayainya.

Titik awal robots.txt untuk Yandex

# Slow/duplicate-parameter cleanup for all Yandex bots
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign /

# Block only the main indexing bot from a low-value space
User-agent: YandexBot
Disallow: /internal-search/

Sitemap: https://example.com/sitemap.xml

Ingat, Disallow memblokir perayapan, bukan pengindeksan. Gunakan noindex untuk menghapus halaman dari pencarian Yandex. Untuk memblokir semua bot Yandex secara penuh—sebagian dapat mengabaikan robots.txt—blokir IP yang telah diverifikasi pada tingkat server.

Checklist kesiapan YandexBot

Pemeriksaan singkat untuk memastikan Anda menangani YandexBot secara sengaja, bukan kebetulan:

• Anda telah memutuskan apakah Yandex penting bagi situs—adakah audiens atau bisnis Rusia/CIS? Seluruh keputusan blokir atau izinkan bergantung pada ini.
• Verifikasi bot menggunakan DNS balik dan maju ke host yandex.ru, yandex.net, atau yandex.com, bukan user-agent yang dapat dipalsukan atau daftar IP statis.
• Anda memakai token robots.txt yang tepat: YandexBot hanya untuk bot pengindeksan utama, sedangkan Yandex untuk keluarga yang lebih luas.
• Anda tahu blok User-agent: Yandex membuat Yandex mengabaikan blok User-agent: *.
• Anda tidak mengandalkan Crawl-delay, yang tidak berlaku sejak 22 Februari 2018; batasi melalui alat Crawl rate di Yandex Webmaster.
• Anda tidak memakai Disallow untuk menghapus indeks; gunakan noindex dan izinkan perayapan.
• Parameter URL duplikat digabungkan dengan Clean-param bila relevan. Arahan ini tidak membutuhkan Disallow dan dapat ditempatkan di mana saja.
• Konten yang bergantung pada JS disajikan melalui SSR atau prarender karena rendering Yandex masih beta dan atas kebijakan bot.
• Rute AJAX memakai URL bersih atau History API, bukan URL hash-bang (#!).
• Untuk pengecualian penuh semua bot Yandex, Anda memblokir IP terverifikasi di server, bukan hanya melalui robots.txt.

Alat untuk memverifikasi dan memantau YandexBot

Dua kebutuhan utama terkait YandexBot adalah memastikan suatu akses benar-benar asli dan melihat seberapa banyak bot merayapi situs. Mulailah di sini:

• Googlebot Verifier—tempel IP dari log untuk menjalankan pemeriksaan DNS balik yang dikonfirmasi DNS maju. Metodenya sama seperti yang didokumentasikan Yandex untuk host yandex.ru, yandex.net, dan yandex.com. Jika bot palsu, alat menampilkan pemilik jaringan sebenarnya. Ini lebih cepat daripada menjalankan host atau nslookup secara manual, serta mencakup Googlebot, Bingbot, dan perayap AI utama pada log campuran.
• Log File Analyzer—masukkan log akses server nginx, Apache, IIS/W3C, atau JSON untuk melihat jejak perayapan YandexBot: bagian situs yang diakses, pemborosan kode status, dan laporan IP yang mengaku YandexBot tetapi gagal diverifikasi. Alat ini membantu menjawab apakah perayapan benar-benar membebani server. Semua proses berjalan di browser; tidak ada data yang diunggah.

Dari Yandex

• Yandex Webmaster menyediakan pengaturan Crawl rate, pengganti Crawl-delay, dan penganalisis robots.txt. Keduanya memerlukan akun Yandex Webmaster yang telah diverifikasi dan dalam keadaan login.

Sumber yang layak dibaca

Tulisan saya yang terkait

• Terindeks walaupun diblokir robots.txt — alasan URL yang diblokir robots.txt masih dapat diindeks; jebakan Disallow bukan noindex juga berlaku pada Yandex.
• Robots.txt dan SEO: semua yang perlu diketahui — referensi umum robots.txt. Klaim Yandex tentang Crawl-delay di sana sudah usang menurut dokumentasi bertanggal Yandex; ini contoh pentingnya memeriksa sumber utama.
• Kisah memblokir dua halaman berperingkat tinggi dengan robots.txt — eksperimen pihak pertama saya tentang dampak memblokir halaman berperingkat.
• Mengenal perayap web baru: bot AI mendekati bot mesin pencari — perubahan daftar perayap yang muncul dalam log.
• Bot SEO yang paling banyak diblokir sekitar 140 juta situs — studi saya bersama Xibeijia Guan tentang tingkat pemblokiran bot SEO. Studi ini membahas bot alat SEO Barat, bukan YandexBot, dan dicantumkan untuk metodologi serta pembanding.

Presentasi saya

• Cara kerja pencarian (SlideShare) — penjelasan saya tentang perayapan, rendering, pengindeksan, dan pemeringkatan. Peringatan tetap berlaku: “This is my understanding of systems… not going to be 100% complete or accurate.” (terjemahan) “Ini adalah pemahaman saya tentang sistem… tidak akan 100 % lengkap atau akurat.”

Dari industri

• Yandex mengambil data Google dan pelajaran SEO lain dari kebocoran kode sumber (Mike King/iPullRank, Search Engine Land, 30 Januari 2023) — sistem dua perayap “Orange Crawler” dan temuan “tidak ada sistem rendering JavaScript terpisah”.
• Kebocoran data Yandex: faktor peringkat dan mitos yang ditemukan (Dan Taylor, Search Engine Journal, 1 Februari 2023) — kedalaman perayapan sebagai sinyal kepentingan dan kesimpulan bahwa tidak ada hal baru tentang perayapan JavaScript.
• Kebocoran Yandex mengungkap 1.922 faktor peringkat pencarian (Search Engine Land) — konteks dan tanggal skala kebocoran.
• Apakah kebocoran kode Yandex memberi tahu kita sesuatu tentang Google? (seoClarity) — pembacaan lintas mesin yang terukur.
• Panduan lengkap SEO Yandex (Search Engine Journal) — konteks optimasi Yandex yang lebih luas.
• Web Almanac 2022—bab SEO (HTTP Archive) — sumber statistik adopsi YandexBot di robots.txt.

Statistik yang layak dikutip

• Pangsa pencarian Rusia sekitar 71 %—pangsa Yandex dibandingkan sekitar 27 % untuk Google menurut StatCounter pada Juni 2026. Angka ini peka waktu; kutip bulan dan tahun serta perkirakan akan berubah. Inilah alasan YandexBot perlu dibahas terpisah dari “blokir semua bot selain Google”. Sumber
• 0,5 % menjadi 3 % file robots.txt—YandexBot disebut dalam “just 0.5% of robots.txt files in 2021” (terjemahan) “hanya 0,5 % file robots.txt pada 2021”, lalu “3% of files specifying Yandexbot” (terjemahan) “3 % file mencantumkan YandexBot” pada 2022. Ini peningkatan enam kali lipat, walaupun masih kecil, menurut bab SEO Web Almanac 2022 yang saya tinjau. Angka tersebut berguna sebagai tolok ukur historis penggunaan di lapangan. Sumber
• 22 Februari 2018—tanggal Yandex berhenti mematuhi Crawl-delay menurut dokumentasinya. Ini tanggal penghentian yang presisi dan dapat dikutip untuk meluruskan panduan usang yang masih menyatakan arahan tersebut didukung. Sumber

Uji pemahaman: YandexBot

Lima pertanyaan singkat tentang YandexBot, perilaku robots.txt, dan perbandingannya dengan Googlebot serta Bingbot. Pilih jawaban, lalu periksa hasilnya.

Log perubahan