Panduan Baiduspider

TL;DR — Baiduspider adalah Baidu’s web crawler — bot itu visits Anda halaman, downloads them untuk Baidu Search. jika mainland China adalah sebuah penting market, Baiduspider belongs di Anda crawl monitoring. periksa Baidu’s saat ini webmaster documentation sebelum relying pada mesin-spesifik perilaku, terutama untuk JavaScript rendering dan crawler controls.

What Baiduspider adalah

Google tidak berfungsi di Tiongkok daratan. Baidu berfungsi—Baidu adalah mesin pencari yang paling banyak digunakan di sana, dan Baiduspider adalah crawler-nya. Ketika Baiduspider mengunjungi situs Anda, bot ini mengikuti tautan, membaca sitemap, mengunduh halaman, lalu menyerahkannya untuk membangun indeks Baidu—basis data yang dipakai Baidu ketika seseorang melakukan pencarian. Jika Baiduspider tidak dapat menjangkau dan membaca halaman, halaman itu tidak akan muncul di Baidu.

Menurut kata-kata Baidu sendiri (dari FAQ resmi berbahasa Inggrisnya): “Baiduspider is Baidu search engine program which is used to visit pages on the internet and build information into Baidu index. This enables users to locate your site when they perform a search.” (terjemahan) “Baiduspider adalah program mesin pencari Baidu yang digunakan untuk mengunjungi halaman di internet dan memasukkan informasinya ke indeks Baidu. Dengan begitu, pengguna dapat menemukan situs Anda ketika melakukan pencarian.” Tugasnya sama dengan yang dilakukan Googlebot untuk Google dan Bingbot untuk Bing.

Why ini mungkin penting untuk Anda

Baiduspider hanya really penting jika Anda ingin menjadi ditemukan inside mainland China. Baidu masih leads there while Google barely registers — so sebuah China-facing situs (atau sebuah global situs dengan sebuah China audience) perlu Baiduspider yang sama cara sebuah Western situs perlu Googlebot. jika Anda tidak sajikan customers di China di semua, Baiduspider adalah hanya lainnya bot hitting Anda server, dan beberapa situs choose untuk block ini untuk save resources.

catch: Baiduspider adalah buruk di JavaScript

Ini persoalan besar. Googlebot menjalankan versi Chrome modern dan membaca sebagian besar situs berat-JavaScript dengan baik. Baiduspider tidak demikian—berbagai laporan menunjukkan kemampuannya menjalankan JavaScript lemah. Jika konten atau tautan penting Anda baru muncul setelah JavaScript berjalan, Baidu mungkin tidak pernah melihatnya, meskipun halaman yang sama mendapat peringkat baik di Google. Langkah aman untuk situs yang menghadap Tiongkok: sajikan konten nyata dalam HTML biasa yang dikirim sebelum JavaScript apa pun berjalan.

cara help (atau stop) Baiduspider

• Untuk membiarkannya masuk: tautkan halaman penting Anda, kirimkan sitemap di Baidu Search Resource Platform (versi Baidu dari Search Console), dan jangan sampai memblokir halaman tersebut di robots.txt.
• Untuk menjauhkannya dari bagian tertentu situs: gunakan robots.txt—Baidu mengatakan bahwa aturan standar dipatuhi di sana.
• Untuk memperlambatnya: Baidu Search Resource Platform memiliki area frekuensi perayapan untuk melihat dan membatasi seberapa banyak Baiduspider merayapi situs.

ingin technical versi — exact pengguna-agent strings, cara verify sebuah nyata Baiduspider, robots.txt quirks, dan crawl-frequency controls? Switch untuk Advanced tab.

TL;DR — Baiduspider adalah Baidu’s crawler — Chinese-market Googlebot. ini runs named variants sharing Baiduspider token family (umum PC/mobile, plus -image, -video, -news, -favo, -cpro, -ads), dan sebuah Baiduspider-render JavaScript variant itu Baidu documents hanya di Chinese. Verify ini oleh bidirectional DNS untuk *.baidu.com/*.baidu.jp — Baidu’s own FAQ warns tentang impersonators. Baidu claims ini “strictly complies with robots.txt protocol,” (terjemahan) “strictly complies dengan robots.txt protocol,” dengan sebuah named exception: Baiduspider-cpro dan Baiduspider-ads run di bawah commercial agreements dan dapat ikuti berbeda access aturan; ini juga doesn’t document non-standard crawl-delay sebagai sebuah reliable control. Because rendering perilaku dapat perubahan, server-rendered HTML adalah conservative default untuk critical konten. Verify saat ini controls di Baidu Search Resource Platform (Ziyuan).

What Baiduspider actually adalah

Baiduspider (百度蜘蛛) adalah crawler operated oleh Baidu, mesin pencari itu dominates inside mainland China, where Google adalah largely inaccessible behind Great Firewall. -nya job adalah standard crawl → indeks → sajikan pipeline: menemukan URLs, fetch halaman, dan bangun indeks Baidu Search draws dari. Baidu’s official English FAQ, “FAQs of Baiduspider” (terjemahan) “FAQs dari Baiduspider” pada help.baidu.com, adalah rare piece dari primary English-language documentation here, dan ini adalah source untuk sebagian besar dari direct quotes below.

Asimetri inilah yang membingkai semuanya: Baidu penting di dalam negeri, bukan secara global. Snapshot Tiongkok StatCounter pada Juni 2026 menempatkan Baidu di 47,44%, Bing 23,24%, Haosou 14,02%, Sogou 2,62%, dan Google hanya 2,28% (StatCounter, pangsa pasar mesin pencari di Tiongkok). Perlakukan angka itu sebagai snapshot, bukan konstanta—angka Tiongkok StatCounter berubah cukup besar dari bulan ke bulan tergantung campuran perangkat dan metodologi (Baidu dilaporkan berada di kisaran 40% hingga 65% pada snapshot 2025–2026 yang berbeda), jadi periksa angka aktif alih-alih mengutip satu bulan selamanya. Kesimpulannya tetap sama: Baidu memimpin di dalam Tiongkok, sedangkan Google memimpin di seluruh dunia; karena itu, optimasi Baiduspider diperlakukan sebagai spesialisasi SEO internasional tersendiri, bukan catatan kaki Googlebot. Hub SEO khusus pasar kami membahas posisi Baidu bersama Yandex, Naver, dan mesin regional lainnya.

pengguna-agent strings dan crawler variants

Baidu’s English FAQ names crawler variants directly. Reproduced verbatim (dan yes, Baidu’s own copy repeats “Baiduspider” (terjemahan) “Baiduspider” untuk both PC dan mobile alih-alih giving distinct strings):

Name dari Products | pengguna-agent PC search | Baiduspider Mobile search | Baiduspider pencarian gambar | Baiduspider-image Video search | Baiduspider-video News search | Baiduspider-news Baidu bookmark | Baiduspider-favo Union baidu | Baiduspider-cpro Business search | Baiduspider-ads lainnya search | Baiduspider

So officially named variants di English FAQ adalah Baiduspider-image, -video, -news, -favo (bookmark), -cpro ( “union” (terjemahan) “union”/ad-network crawler), dan -ads (business search) — semua sharing Baiduspider family token. literal umum PC pengguna-agent string, given pada Baidu’s own situs, adalah:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

mobile UA embeds Baiduspider/2.0 inside sebuah Android WebKit string. setiap declared variant poin untuk yang sama http://www.baidu.com/search/spider.html reference URL — Baidu equivalent dari Googlebot’s google.com/bot.html.

Baiduspider-render — JS variant Baidu hanya documents di Chinese

Ada nuansa yang perlu tepat karena banyak tulisan keliru memahaminya: tabel FAQ berbahasa Inggris di atas memang tidak mencantumkan varian “Baiduspider-render”, sehingga sebagian panduan menyebutnya sekadar folklore pihak ketiga. Itu keliru. Baidu mendokumentasikan Baiduspider-render secara resmi—hanya pada halaman Ziyuan Academy berbahasa Tionghoa, “【官方说法】只需两步，正确识别百度蜘蛛（User-Agent）” (terjemahan) “【官方说法】只需两步，正确识别百度蜘蛛（User-Agent）” (“[Official statement] Two steps to correctly identify Baiduspider”) (terjemahan) “Pernyataan resmi: dua langkah untuk mengenali Baiduspider dengan benar”. Halaman itu membagi UA menjadi tiga kanal—移动 (mobile), PC, dan 小程序 (mini-program) —serta mencantumkan UA render alternatif di samping UA biasa:

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

dengan string seluler yang sesuai dan varian mini-program (Baiduspider-render/2.0;Smartapp). Jadi Baiduspider-render didokumentasikan secara resmi—hanya dalam bahasa Mandarin dan tidak tercantum di FAQ Inggris. Baidu tidak menerbitkan spesifikasi tentang perbedaan perilaku “-render”; tidak seperti Google, Baidu tidak mendokumentasikan kemampuan rendering JavaScript-nya. Kesenjangan itulah asal peringatan tentang rendering JS di bawah.

cara verify Baiduspider (dan not sebuah spoofed bot)

pengguna-agent string adalah trivially spoofed — anyone dapat kirim permintaan itu says Baiduspider. Baidu’s own FAQ warns tentang exactly ini, describing “spammers or other trouble makers who pretend to be Baiduspider,” (terjemahan) “spammers atau lainnya trouble makers who pretend untuk menjadi Baiduspider,” dan -nya guidance adalah untuk verify dengan DNS, not string. dari FAQ, verbatim:

kami recommend menggunakan reverse DNS lookup untuk verify Baiduspider. Verification metode adalah berbeda di bawah linux/windows/os environments.

ini gives per-OS commands — host pada Linux, nslookup pada Windows, dig -x pada macOS — dengan worked contoh, dan aturan itu penting:

hostname dari Baiduspider adalah *.baidu.com atau *.baidu.jp. Others adalah fake hostnames.

Dua domain *.baidu.com dan *.baidu.jp adalah keunikan yang perlu diingat—Baidu merayapi dari namespace reverse-DNS .com dan .jp, sehingga hostname Baiduspider yang sah dapat berakhir dengan salah satunya. Salah satu contoh Baidu bahkan mengarah ke BaiduMobaider-119-63-195-254.crawl.baidu.jp—perhatikan nama “BaiduMobaider,” bukan “Baiduspider,” pada hostname itu; ini keunikan nyata dalam dokumentasi Baidu, bukan salah ketik yang boleh diperbaiki diam-diam.

Baidu’s English FAQ menjelaskan out hanya reverse-lookup bagian di -nya prose, tetapi -nya Chinese Ziyuan Academy halaman adalah lebih eksplisit: ini menamai seluruh proses “双向DNS解析认证” (terjemahan) “双向DNS解析认证” (bidirectional DNS resolution authentication) dan memecah ini ke “第一步：DNS反查IP” (terjemahan) “第一步：DNS反查IP” (langkah 1: reverse-lookup IP) dan “第二步：对域名运行正向DNS查找” (terjemahan) “第二步：对域名运行正向DNS查找” (langkah 2: run sebuah forward DNS lookup pada hostname). itu’s lengkap, correct metode — reverse-lookup IP untuk confirm sebuah *.baidu.com/*.baidu.jp hostname, lalu forward-lookup itu hostname dan confirm ini resolves back untuk yang sama IP. ini adalah yang sama two-langkah approach Anda’d gunakan untuk verify Googlebot atau Bingbot — commands adalah di Scripts tab.

Baiduspider dan robots.txt

Baidu membuat sebuah unusually strong, quotable compliance claim di -nya own FAQ:

Baidu strictly complies dengan robots.txt protocol.

dan ini mendukung standard controls Anda’d expect. Per Baidu’s Ziyuan Academy material, Baiduspider mendukung wildcard matching dengan * dan $ di robots.txt paths (parity dengan Google dan Bing), dan melakukan exact, case-sensitive path matching. Anda dapat set per-pengguna-agent aturan — Baidu’s FAQ gives worked contoh, including ini one itu blocks everything untuk umum Baiduspider tetapi allows image crawler ke /image/:

User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/

(Baidu juga notes itu Baiduspider-video doesn’t currently mendukung ini aturan.)

Pengecualian bernama untuk klaim “kepatuhan ketat”

Ketegangannya menarik: Baidu mengklaim kepatuhan ketat, tetapi mendokumentasikan pengecualian resmi yang disebutkan namanya. Baiduspider-cpro (perayap jaringan iklan) dan Baiduspider-ads (pencarian bisnis) beroperasi berdasarkan perjanjian komersial terpisah dan mengabaikan robots.txt berdasarkan desain. FAQ menyatakannya secara verbatim: “Baiduspider-cpro will not work on the records set by robots.txt” (terjemahan) “Baiduspider-cpro tidak bekerja pada catatan yang ditetapkan oleh robots.txt”, dan hal yang sama berlaku untuk -ads. Jadi, pembingkaian yang jujur bukanlah klaim samar “Baidu doesn’t always respect robots.txt” (terjemahan) “Baidu tidak selalu mematuhi robots.txt” yang akan Anda lihat di situs agregator—melainkan bahwa perayap standar Baidu mematuhi aturan, dengan dua perayap iklan yang dikecualikan secara kontraktual sebagai satu-satunya celah konkret dan terdokumentasi.

Ada poin terpisah yang lebih sempit dan mudah tercampur: Baiduspider tidak mematuhi direktif nonstandar crawl-delay. Abby Hamilton dari pencarian Engine Journal mendokumentasikannya dalam Panduan Modern untuk Robots.txt (Nov 2024) —tabel perbandingan perayapnya mencantumkan “Baidu | Baiduspider | No” untuk dukungan crawl-delay (sebaliknya, YandexBot milik Yandex bernilai “Yes”). Klaim ini berbeda dari kepatuhan terhadap Allow/Disallow standar, dan perlu dijaga agar Anda tidak tanpa sengaja bertentangan dengan klaim robots.txt Baidu sendiri.

sebuah nyata contoh: baidu.com’s own robots.txt

Baidu practices robots.txt segmentation pada -nya own domain. -nya live robots.txt gives -nya own Baiduspider sebuah shorter disallow list daripada ini gives Googlebot, MSNBot, Sogou, dan Youdao (which additionally get /shifen/, /homepage/, dan /cpro blocked), dan blocks everything (Disallow: /) untuk apa pun unnamed pengguna-agent oleh default:

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

One operational detail dari FAQ worth knowing when Anda’re editing aturan: jika Anda tighten robots.txt setelah Baidu memiliki sudah terindeks sebuah situs, “it usually takes 48 hours for the updated robots.txt to take effect.” (terjemahan) “ini biasanya takes 48 hours untuk updated robots.txt untuk take effect.”

melakukan Baiduspider render JavaScript?

Inilah keterbatasan praktis terbesar Baiduspider dibanding Googlebot, dan penting untuk membedakan apa yang resmi dan apa yang bukan. FAQ Inggris Baidu sama sekali tidak membahas rendering JavaScript—tidak ada spesifikasi kemampuan seperti yang diterbitkan Google untuk Googlebot. Yang tersedia adalah pengujian industri yang konsisten. Dan Taylor menyatakannya dengan tegas dalam perbandingan Google vs. Baidu di Search Engine Journal (Maret 2021): “Baidu is notoriously bad when it comes to crawling JavaScript, so make sure that all your important content and links are served in plain HTML on both the mobile and desktop versions of your website.” (terjemahan) “Baidu terkenal sangat buruk dalam merayapi JavaScript, jadi pastikan semua konten dan tautan penting Anda disajikan dalam HTML biasa pada versi mobile dan desktop situs.”

itu aligns dengan position ini situs sudah takes. kami contentful SEO coverage notes itu Bing, Yandex, dan Baidu “may not index [client-side-rendered JS] at all,” (terjemahan) “dapat not indeks [client-side-rendered JS] di semua,” dan itu dynamic rendering adalah deprecated sebagai sebuah umum Google technique. Put three big crawler pada sebuah spectrum: Googlebot melakukan full evergreen-Chromium rendering, Bingbot melakukan solid Chromium/Edge rendering, dan Baiduspider adalah weakest dari three di JavaScript — dengan plain, server-rendered HTML menjadi universally safe fallback di seluruh semua dari them.

Untuk situs yang menghadap Tiongkok, jadikan server-side rendering atau HTML statis sebagai default agar konten, tautan, dan metadata penting sudah ada dalam respons awal sebelum JavaScript berjalan. Perlakukan konten yang hanya ada di sisi klien sebagai risiko indeksasi khusus Baidu, terlepas dari apakah konten itu mendapat peringkat baik di Google. Bingkai SSR sebagai praktik terbaik berdasarkan konsensus industri, bukan sebagai rekomendasi resmi Baidu, karena tidak ada pernyataan primer Baidu tentang rendering JavaScript yang dapat dikutip.

Controlling Baiduspider’s crawl frequency

Baidu presents crawl frequency sebagai algorithmically self-adjusted, not something Anda set directly. dari FAQ, verbatim:

di order untuk ensure hasil pencarian cover sebagian besar dari Anda halaman, Baiduspider harus pertahankan crawling di sebuah certain tingkat. kami memiliki telah trying kami best untuk hindari increasing memuat untuk Anda server, dan untuk adjust frequency berdasarkan combined factors, such sebagai Anda server’s capability, Anda situs’s quality dan update frequency dari Anda situs.

itu’s yang sama server-capability-plus-demand logic Google dan Bing describe. FAQ names sebuah feedback form (webmaster.baidu.com/feedback/index) sebagai official lever untuk reporting di atas-crawling — “If you find any unreasonable access from Baiduspider, please inform us.” (terjemahan) “jika Anda temukan apa pun unreasonable access dari Baiduspider, please inform us.”

Pada tingkat produk, Baidu Search Resource Platform (百度搜索资源平台, di ziyuan.baidu.com—konsol yang dahulu disebut “Baidu Webmaster Tools” (terjemahan) “Alat Webmaster Baidu”) adalah padanan Baidu untuk Google Search Console dan Bing Webmaster Tools. Indeks manualnya mengonfirmasi area produk “抓取频次” (terjemahan) “frekuensi perayapan”, tempat pemilik situs dapat melihat dan membatasi laju perayapan Baiduspider secara langsung, bersama alat robots dan diagnosis perayapan. Perlakukan formulir umpan balik sebagai jalur eskalasi resmi dalam dokumentasi Inggris Baidu, dan dasbor Frekuensi Perayapan Ziyuan sebagai kontrol praktis di tingkat antarmuka. (Jalur menu persis di dalam produk berada di balik akun Ziyuan yang sudah masuk, jadi konfirmasikan antarmuka saat ini sebelum mengutip langkah spesifik.)

hreflang dan lainnya Google-standard signals

Sinyal yang standar di Google tidak semuanya berlaku di Baidu—ini temuan industri/praktisi, bukan sesuatu yang didokumentasikan oleh salah satu perusahaan. Dokumentasi versi lokal milik Google sepenuhnya terbatas pada Google Search dan tidak mengklaim apakah Baidu, Bing, atau Yandex menghormati hreflang. Panduan hreflang di situs ini menyatakannya secara gamblang: Baidu sama sekali tidak mendukung hreflang—gunakan content-language dan <html lang> yang akurat agar Baidu setidaknya dapat membaca bahasa halaman. Ini melengkapi pekerjaan hreflang saya yang berlingkup Google (panduan tag hreflang Ahrefs dan studi terhadap 374 756 domain, yang keduanya hanya membahas implementasi Google), bukan bertentangan dengannya.

No English rep culture — why FAQ adalah unusually valuable

Satu hal yang benar-benar membedakan ekosistem Baidu: tidak seperti Google (Gary Illyes, John Mueller), Bing (Fabrice Canel), atau Yandex, Baidu tidak memiliki budaya tanya jawab publik dengan perwakilan berbahasa Inggris yang terlihat. Tidak ada juru bicara bernama yang berdialog dengan komunitas SEO. Suara resmi Baidu dalam bahasa Inggris yang paling jelas adalah FAQ institusional tanpa nama di help.baidu.com. Itulah sebabnya FAQ tersebut—dan halaman Akademi Ziyuan berbahasa Mandarin di baliknya—sangat berharga: sebagian besar pengetahuan operasional tentang Baiduspider di dunia SEO berbahasa Inggris berasal dari pengujian praktisi (analisis log server, latihan verifikasi DNS, serta uji coba robots.txt), bukan komentar perwakilan resmi. Michael Bonfils merangkum pelajaran yang lebih luas dalam Baidu vs. Google: “SEO strategies that work for Google may not always translate directly to success on Baidu, China’s dominant search engine.” (terjemahan) “Strategi SEO yang berhasil untuk Google tidak selalu langsung menghasilkan keberhasilan di Baidu, mesin pencari dominan di Tiongkok.”

untuk where Baiduspider sits di bigger picture — crawler family, Googlebot dan Bingbot sebagai peers, pengguna-agent concept, dan robots.txt — crawling hub ties ini together, dan SEO internasional adalah home untuk China-market context.

AI summary

sebuah condensed take pada Advanced versi:

• Baiduspider = crawler web Baidu—Googlebot untuk pasar Tiongkok. Baidu mendominasi di dalam Tiongkok daratan (StatCounter Juni 2026: Baidu sekitar 47%, Google sekitar 2%), jadi ini spesialisasi SEO internasional, bukan catatan kaki Googlebot. Pangsa itu berubah dari bulan ke bulan—perlakukan sebagai snapshot.
• Variannya memakai keluarga token Baiduspider: PC/mobile umum serta -image, -video, -news, -favo (bookmark), -cpro (jaringan iklan), dan -ads (bisnis). UA PC umum: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html).
• Baiduspider-render didokumentasikan secara resmi—tetapi hanya pada halaman Ziyuan Academy berbahasa Tionghoa dan tidak ada di FAQ Inggris. Perbedaan fungsi “-render” (terjemahan) “-render” tidak dispesifikasikan.
• Verifikasi dengan DNS dua arah untuk *.baidu.com atau *.baidu.jp (Baidu merayapi dari keduanya): lakukan reverse lookup IP, lalu forward lookup hostname kembali ke IP yang sama. User-agent dapat dipalsukan; Baidu memperingatkan tentang peniru.
• robots.txt: FAQ Baidu menyatakan “strictly complies,” (terjemahan) “mematuhi secara ketat”, mendukung wildcard */$ dan pencocokan peka huruf besar-kecil—dengan pengecualian bernama: Baiduspider-cpro dan Baiduspider-ads berjalan berdasarkan perjanjian komersial dan mengabaikan robots.txt. Selain itu, Baiduspider tidak menghormati crawl-delay nonstandar (menurut Abby Hamilton dari SEJ). Perubahan aturan memerlukan sekitar 48 jam untuk berlaku.
• JavaScript adalah kesenjangan terbesar dibanding Googlebot—tidak ada spesifikasi kemampuan resmi; konsensus industri (Dan Taylor: “notoriously bad… crawling JavaScript” (terjemahan) “sangat buruk… dalam merayapi JavaScript”) menyarankan HTML yang dirender server/statis sebagai default aman untuk situs yang menghadap Tiongkok.
• Frekuensi crawl bersifat algoritmis (kemampuan server + kualitas situs + frekuensi pembaruan); laporkan crawl berlebihan melalui formulir umpan balik Baidu, lalu lihat/batasi lajunya di Baidu pencarian Resource platform (Ziyuan)—padanan pencarian Console milik Baidu.
• Hreflang tidak didukung Baidu (temuan industri; tidak ada perusahaan yang mendokumentasikan dukungan atau penolakannya) —gunakan content-language/<html lang> sebagai pengganti.
• Tidak ada budaya perwakilan berbahasa Inggris: suara resmi Inggris Baidu yang paling jelas adalah FAQ tanpa penulis, jadi pengujian praktisi memegang sebagian besar pengetahuan operasional.

Official documentation

Primary-source documentation. Baidu’s adalah split di seluruh sebuah English FAQ dan Chinese-language Ziyuan (Baidu Search Resource Platform) halaman; Google tautan adalah untuk hreflang-intersection contrast.

Baidu

• FAQs dari Baiduspider (help.baidu.com) — Baidu’s English-language official FAQ: what Baiduspider adalah, pengguna-agent table, crawl-frequency policy, DNS verification dengan worked contoh, dan robots.txt handling. primary English source.
• 【官方说法】只需两步，正确识别百度蜘蛛（pengguna-Agent）(ziyuan.baidu.com) — Baidu’s Chinese-language official artikel pada identifying Baiduspider: three UA channels (mobile/PC/mini-program), Baiduspider-render UAs, dan “bidirectional DNS authentication” (terjemahan) “bidirectional DNS authentication” metode spelled out di full.
• Baidu Search Resource Platform manual indeks (ziyuan.baidu.com) — Ziyuan product manual indeks confirming 抓取频次 (crawl Frequency), robots, dan 抓取诊断 (crawl Diagnostics) alat areas.
• baidu.com/robots.txt — Baidu’s own live robots.txt, sebuah nyata contoh dari per-crawler segmentation.

Google (sebagai pembanding irisan hreflang)

• Memberi tahu Google tentang versi terlokalisasi halaman Anda —dokumentasi hreflang Google yang sepenuhnya membahas Google pencarian; secara khusus tidak mengatakan apakah Baidu, Bing, atau Yandex mematuhi hreflang.

Quotes dari source

Baidu mempertahankan no named English-language spokesperson, so “source” (terjemahan) “source” here adalah Baidu’s own unsigned FAQ, plus named industry commentary itu stands di untuk rep quotes Anda’d get dari Google atau Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage.

Baidu — “FAQs of Baiduspider” (terjemahan) “FAQs dari Baiduspider” (help.baidu.com, English)

• “Baiduspider is Baidu search engine program which is used to visit pages on the internet and build information into Baidu index. This enables users to locate your site when they perform a search.” (terjemahan) “Baiduspider adalah program mesin pencari milik Baidu yang digunakan untuk mengunjungi halaman di internet dan memasukkan informasinya ke indeks Baidu. Dengan begitu, pengguna dapat menemukan situs Anda ketika melakukan pencarian.” Lompat ke kutipan
• “In order to ensure the search results cover most of your pages, Baiduspider must keep the crawling at a certain level… to adjust the frequency based on combined factors, such as your server’s capability, your site’s quality and the update frequency of your site.” (terjemahan) “Agar hasil pencarian mencakup sebagian besar halaman Anda, Baiduspider harus mempertahankan crawl pada tingkat tertentu… lalu menyesuaikan frekuensi berdasarkan gabungan faktor seperti kemampuan server, kualitas situs, dan frekuensi pembaruan situs.” Lompat ke kutipan
• “We recommend using reverse DNS lookup to verify Baiduspider.” (terjemahan) “Kami menyarankan penggunaan reverse DNS lookup untuk memverifikasi Baiduspider.” Lompat ke kutipan
• *“The hostname of Baiduspider is *.baidu.com or .baidu.jp. Others are fake hostnames.” (terjemahan) “Hostname Baiduspider adalah *.baidu.com atau *.baidu.jp. Hostname lainnya palsu.” Lompat ke kutipan
• “Baidu strictly complies with robots.txt protocol.” (terjemahan) “Baidu mematuhi protokol robots.txt secara ketat.” Lompat ke kutipan

Baidu—Ziyuan Academy (ziyuan.baidu.com, bahasa Tionghoa)

• Original: “二、双向DNS解析认证” (terjemahan) “二、双向DNS解析认证” — English paraphrase: “Step two: bidirectional DNS resolution authentication,” (terjemahan) “langkah two: bidirectional DNS resolution authentication,” Baidu’s own name untuk verifying Baiduspider via sebuah reverse lookup diikuti oleh sebuah forward lookup back untuk yang sama IP. View halaman

Dan Taylor, mesin pencari Journal — pada JavaScript

• “Baidu is notoriously bad when it comes to crawling JavaScript, so make sure that all your important content and links are served in plain HTML on both the mobile and desktop versions of your website.” (terjemahan) “Baidu terkenal buruk dalam merayapi JavaScript, jadi pastikan semua konten dan tautan penting Anda disajikan dalam HTML biasa pada versi seluler dan desktop situs web Anda.” (Mar 2021.) Lompat ke kutipan

Michael Bonfils, mesin pencari Land — pada strategy transfer

• “SEO strategies that work for Google may not always translate directly to success on Baidu, China’s dominant search engine.” (terjemahan) “SEO strategies itu berfungsi untuk Google dapat not selalu translate directly untuk success pada Baidu, China’s dominant mesin pencari.” Jump untuk quote

Abby Hamilton, mesin pencari Journal — pada crawl-delay

• Her crawler comparison table lists Baiduspider sebagai not supporting non-standard crawl-delay directive (“Baidu | Baiduspider | No” (terjemahan) “Baidu | Baiduspider | No”). (Nov 2024.) Read coverage

seharusnya I let Baiduspider crawl my situs — dan how melakukan I handle ini?

Baiduspider adalah hanya worth effort jika Anda actually ingin China-market visibilitas. Click melalui ini.

Verify sebuah bot adalah really Baiduspider

Baidu’s own FAQ recommends reverse DNS untuk verify Baiduspider, because pengguna-agent string adalah trivially spoofed. melakukan full bidirectional periksa Baidu names pada -nya Chinese Ziyuan halaman: reverse-lookup IP ( hostname harus end di *.baidu.com atau *.baidu.jp), lalu forward-lookup itu hostname back untuk sama IP.

macOS / Linux

# 1) Reverse-DNS the IP from your logs — it must end in baidu.com or baidu.jp
host 123.125.66.120
# → 120.66.125.123.in-addr.arpa domain name pointer Baiduspider-123-125-66-120.crawl.baidu.com

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host Baiduspider-123-125-66-120.crawl.baidu.com
# → Baiduspider-123-125-66-120.crawl.baidu.com has address 123.125.66.120

macOS dig form (sebagai Baidu’s FAQ gives ini):

dig -x 123.125.66.120

Windows

nslookup 123.125.66.120
nslookup Baiduspider-123-125-66-120.crawl.baidu.com

jika reverse lookup doesn’t end di baidu.com atau baidu.jp, atau forward lookup doesn’t mengembalikan original IP, ini isn’t Baiduspider — drop atau rate-limit ini. (sama two-langkah approach sebagai verifying Googlebot dan Bingbot; see itu artikel’ Scripts tabs untuk Google/Bing versi.)

Pull hanya Baiduspider hits dari Anda server logs

Grab candidate Baiduspider lines dari sebuah access log, lalu verify setiap IP dengan DNS periksa above — don’t trust string alone.

# Extract lines whose user-agent claims to be Baiduspider, print unique IPs
grep -i 'baiduspider' /var/log/nginx/access.log \
  | awk '{print $1}' | sort -u

Match sebuah hostname terhadap Baidu’s allowed domains (regex)

setelah Anda’ve reverse-resolved sebuah hostname, ini regex confirms ini adalah di one dari Baidu’s two legitimate crawler namespaces (.baidu.com atau .baidu.jp) alih-alih sebuah look-alike:

# Passes only for hostnames ending in .baidu.com or .baidu.jp
echo "Baiduspider-123-125-66-120.crawl.baidu.com" \
  | grep -Eiq '\.baidu\.(com|jp)$' && echo "legit namespace" || echo "FAKE"

Beware look-alikes like baidu.com.evil.example — anchoring pattern untuk end dari string ($) adalah what stops itu dari passing.

sebuah robots.txt starting poin untuk Baiduspider

# Let Baiduspider crawl everything except low-value spaces
User-agent: Baiduspider
Disallow: /search
Disallow: /*?*sort=

# Block Baiduspider entirely (China not a target market)
# User-agent: Baiduspider
# Disallow: /

Ingat: Disallow mengatur perayapan, bukan pengindeksan, dan perubahan aturan memerlukan sekitar ~48 jam untuk berlaku. Perayap iklan Baiduspider-cpro dan Baiduspider-ads mengabaikan robots.txt berdasarkan desain.

Baiduspider — cheat sheet

pengguna-agent strings dan crawler variants

setiap declared variant’s UA poin untuk yang sama reference URL, http://www.baidu.com/search/spider.html — Baiduspider equivalent dari Googlebot’s google.com/bot.html.

robots.txt compliance di sebuah glance

Fakta singkat

• Verifikasi dengan DNS dua arah: lakukan reverse lookup pada IP perayap untuk memastikan hostname berakhiran *.baidu.com atau *.baidu.jp, lalu lakukan forward lookup hostname tersebut kembali ke IP yang sama. String user-agent saja tidak membuktikan apa pun.
• Perubahan robots.txt memerlukan sekitar 48 jam untuk berlaku pada situs yang sudah terindeks.
• Baidu mendukung pencocokan wildcard * dan $ pada jalur robots.txt, serta pencocokan jalur yang persis dan peka huruf besar-kecil.
• Frekuensi perayapan disesuaikan sendiri secara algoritmik (kemampuan server, kualitas situs, frekuensi pembaruan) —lihat dan batasi nilainya di Baidu pencarian Resource platform (Ziyuan).
• Kesenjangan praktis terbesar Baiduspider dibanding Googlebot adalah rendering JavaScript yang lemah—HTML yang dirender server atau statis merupakan pilihan aman untuk konten yang menghadap Tiongkok.
• Baidu tidak mendukung hreflang—sinyal cadangannya adalah content-language yang akurat dan <html lang>.

Baiduspider readiness checklist

sebuah quick pass untuk confirm Anda’re berfungsi dengan Baiduspider, not accidentally terhadap ini — yang sama ground covered di Advanced tab, di checklist form.

• robots.txt tidak memblokir Baiduspider (atau variannya yang Anda pedulikan) dari apa pun yang ingin Anda temukan di hasil pencarian Baidu.
• Sitemap dikirimkan di Baidu Search Resource Platform (Ziyuan).
• Verifikasi bot menggunakan DNS dua arah—reverse lookup ke *.baidu.com/*.baidu.jp, lalu forward lookup yang mengonfirmasi IP yang sama—bukan string user-agent saja.
• Ingat bahwa Baiduspider-cpro dan Baiduspider-ads mengabaikan robots.txt berdasarkan desain; memblokir keduanya di sana tidak akan benar-benar menghentikan mereka.
• Setiap pengetatan robots.txt baru telah dibiarkan sekitar 48 jam untuk menyebar sebelum status pengindeksan diperiksa kembali.
• Konten penting, tautan internal, dan metadata semuanya ada dalam respons HTML yang dirender server—bukan hanya disuntikkan oleh JavaScript sisi klien.
• content-language dan <html lang> diatur dengan benar karena Baidu tidak mendukung hreflang.
• Beban perayapan ditinjau di area Frekuensi Perayapan Ziyuan (抓取频次) jika lalu lintas Baiduspider membebani server.
• Perayapan yang tidak wajar atau berlebihan dilaporkan melalui formulir umpan balik Baidu (webmaster.baidu.com/feedback/index), bukan ditebak atau langsung diblokir.
• Tidak ada lagi ketergantungan pada Baidu MIP—kerangka kerja itu sudah dihentikan (Cache dihentikan Juni 2020, layanan penuh dihentikan pada akhir September 2022).

alat untuk berfungsi dengan Baiduspider

• DNS Checker—alat saya untuk memeriksa DNS dua arah yang direkomendasikan FAQ Baidu. Masukkan IP perayap dengan jenis catatan PTR untuk menjalankan reverse lookup (hostname Baiduspider yang sah berakhir dengan .baidu.com atau .baidu.jp), lalu masukkan hostname tersebut dengan jenis catatan A untuk memastikan forward lookup kembali ke IP yang sama. Alat ini menanyakan Cloudflare, Google, dan Quad9 secara berdampingan sehingga Anda dapat melihat resolver yang berbeda.
• robots.txt Tester—alat saya untuk memeriksa apakah aturan robots.txt benar-benar memblokir atau mengizinkan Baiduspider sesuai keinginan. Tempelkan berkas Anda, masukkan Baiduspider (atau Baiduspider-image, Baiduspider-news, dan seterusnya) di bidang user-agent khusus, lalu uji terhadap jalur nyata—alat ini menampilkan aturan persis yang menang untuk setiap URL. Ingat, Baiduspider-cpro dan Baiduspider-ads mengabaikan robots.txt terlepas dari apa yang ditampilkan penguji karena keduanya beroperasi berdasarkan perjanjian komersial terpisah.

Baiduspider myths dan mistakes untuk hindari

Mitos: “Any user-agent containing ‘Baiduspider’ is really Baidu.” (terjemahan) “Mitos: Setiap user-agent yang memuat ‘Baiduspider’ benar-benar berasal dari Baidu.” Mengapa ini salah: string user-agent mudah dipalsukan, dan FAQ Baidu sendiri memperingatkan tentang “spammers or other trouble makers who pretend to be Baiduspider.” (terjemahan) “pengirim spam atau pembuat masalah lain yang berpura-pura menjadi Baiduspider.” Lakukan ini: jalankan pemeriksaan DNS dua arah—reverse lookup ke hostname *.baidu.com/*.baidu.jp, lalu forward lookup kembali ke IP yang sama—sebelum mempercayai atau memblokir hit Baiduspider.

Mitos: “Baidu tidak pernah mengikuti robots.txt atau umumnya tidak dapat diandalkan.” Mengapa salah: FAQ Baidu menyatakan “Baidu strictly complies with robots.txt protocol” (terjemahan) “Baidu mematuhi protokol robots.txt secara ketat” untuk crawler standarnya. Pengecualian sebenarnya sempit dan bernama—Baiduspider-cpro dan Baiduspider-ads berjalan berdasarkan perjanjian komersial dan mengabaikan robots.txt—bukan klaim samar bahwa “Baidu mengabaikan robots”. Lakukan ini: sebutkan pengecualian cpro/ads secara spesifik, dan jangan mencampurnya dengan fakta terpisah bahwa Baiduspider tidak menghormati direktif crawl-delay nonstandar.

Mitos: “Baiduspider me-render JavaScript sebaik Googlebot modern.” Mengapa salah: konsensus industri (Dan Taylor menyebutnya “notoriously bad… crawling JavaScript”) (terjemahan) “sangat buruk… dalam merayapi JavaScript” menyatakan Baiduspider jauh tertinggal dari Chromium evergreen milik Googlebot; konten yang hanya ada di sisi klien adalah risiko indeksasi nyata bagi Baidu meskipun mendapat peringkat baik di Google. Lakukan ini: sajikan konten, tautan, dan metadata penting dalam HTML yang dirender server atau statis untuk situs yang menghadap Tiongkok—default aman yang berlaku untuk Googlebot, Bingbot, dan Baiduspider.

Mitos: “hreflang works the same for Baidu as it does for Google.” (terjemahan) “Mitos: hreflang bekerja sama untuk Baidu seperti halnya untuk Google.” Mengapa ini salah: Baidu sama sekali tidak mendukung hreflang (temuan industri—dokumentasi Google sendiri juga tidak berkomentar tentang perilaku mesin lain). Lakukan ini: gunakan content-language yang akurat dan <html lang> sebagai cadangan agar Baidu setidaknya dapat membaca bahasa halaman; jangan mengandalkan hreflang untuk mengarahkan Baidu.

Mitos: “‘Baiduspider-render’ isn’t an officially documented variant.” (terjemahan) “Mitos: ‘Baiduspider-render’ bukan varian yang didokumentasikan secara resmi.” Mengapa ini salah: tabel FAQ Baidu berbahasa Inggris tidak mencantumkannya, tetapi halaman Akademi Ziyuan berbahasa Mandarin mendokumentasikan Baiduspider-render/2.0 sebagai UA PC/seluler alternatif dan varian mini-program. Varian itu resmi—hanya dalam bahasa Mandarin. Lakukan ini: jelaskan bahwa varian tersebut didokumentasikan secara resmi (khusus bahasa Mandarin), sambil menyebutkan bahwa Baidu tidak menerbitkan spesifikasi tentang perbedaan perilaku “-render”.

Mitos: “MIP Baidu masih menjadi tuas peringkat yang aktif dan direkomendasikan.” Mengapa salah: framework MIP (Mobile Instant Pages) milik Baidu yang mirip AMP adalah warisan lama. Menurut glosarium MIP Jademond, Cache MIP dihentikan bertahap pada Juni 2020 dan layanan MIP penuh dihentikan pada akhir September 2022—namun sebagian konten agensi bertanggal baru masih mempromosikannya seolah aktif, sehingga menambah kebingungan. Lakukan ini: perlakukan MIP sebagai sudah dihentikan dan skeptislah terhadap panduan baru yang menyajikannya sebagai tuas kecepatan/peringkat aktif.

Test yourself: Baiduspider

Five quick pertanyaan pada Baidu’s crawler. Pick sebuah jawaban untuk setiap, lalu periksa.

Resources worth Anda time

Tulisan terkait saya

• Tag Hreflang: Panduan Sederhana (tetapi Lengkap) —panduan Ahrefs saya (bersama Joshua Hardwick) tentang hreflang; cakupannya Google dan menjadi konteks mengapa dukungan hreflang Baidu yang tidak ada merupakan persoalan terpisah.
• Lebih dari 67% Domain yang Menggunakan Hreflang Memiliki Masalah —studi tim saya terhadap 374 756 domain yang berfokus pada implementasi Google, berguna sebagai pembanding untuk ketidakdukungan Baidu.
• Panduan Pemula SEO Teknis —tempat perayap dan sinyal internasional masuk ke gambaran yang lebih besar.

My speaking

• SEO internasional: Weird Technical bagian (Pubcon Vegas 2019, SlideShare) — my talk pada technical edge cases dari SEO internasional, terrain Baidu-market berfungsi lives di.

Dari industri

• FAQ Baiduspider (Baidu, help.baidu.com) —FAQ Inggris resmi Baidu: tabel UA, verifikasi DNS, penanganan robots.txt, dan kebijakan frekuensi perayapan. Ini adalah sumber Inggris utama.
• Google vs Baidu: Perbedaan Utama dalam Strategi SEO (Dan Taylor, pencarian Engine Journal) —penilaian bahwa Baidu “notoriously bad at crawling JavaScript” (terjemahan) “terkenal buruk dalam merayapi JavaScript” serta rekomendasi HTML biasa.
• Baidu vs. Google: Menavigasi Lanskap SEO pada 2024 (Michael Bonfils, pencarian Engine Land) —pandangan pendiri agensi tentang alasan taktik Google tidak berpindah langsung ke Baidu.
• Panduan Modern untuk Robots.txt (Abby Hamilton, pencarian Engine Journal) —tabel perbandingan perayap yang menunjukkan Baiduspider tidak mematuhi crawl-delay.
• Panduan perayap web: yang perlu Anda ketahui (James Allen, pencarian Engine Land) —posisi Baiduspider dalam rangkuman perayap yang lebih luas.
• Memahami Spider Baidu, User-Agent, dan robots.txt (Jademond Digital) —tinjauan mendalam praktisi tentang varian perayap Baidu dan penanganan robots.
• Baidu MIP (glosarium) (Jademond Digital) —sumber tanggal penghentian MIP (Cache dihentikan Juni 2020; layanan penuh dihentikan pada akhir September 2022).

Log perubahan