Panduan Bingbot

TL;DR — Bingbot adalah Microsoft Bing’s crawler — bot itu visits Anda halaman, downloads them, dan menambahkan them untuk Bing penelusuran indeks. ini berfungsi sebuah lot like Googlebot. Blocking ini mencegah Bing dari crawling affected URLs dan dapat juga memengaruhi products atau partners itu gunakan Bing’s penelusuran infrastructure, so verify impact terhadap saat ini Microsoft documentation.

Apa Bingbot adalah

Ketika Anda see bingbot di Anda server logs, itu’s Microsoft’s crawler visiting Anda situs. hanya like Googlebot melakukan untuk Google, Bingbot mengikuti tautan, membaca sitemaps, downloads Anda halaman, dan hands them off untuk menjadi ditambahkan untuk Bing’s indeks — database Bing pulls dari ketika seseorang searches.

ini launched back pada October 1, 2010, taking di atas dari sebuah older bot called MSNBot. name Anda’ll see di robots.txt dan Anda logs adalah sekadar bingbot.

mengapa ini penting lebih daripada Anda’d think

Di sini’s bagian itu surprises orang. Bing’s slice dari penelusuran market adalah kecil, so ini adalah tempting untuk ignore Bingbot entirely. tetapi Bing indeks Bingbot membangun tidak hanya feed Bing. ini juga powers:

• Yahoo Penelusuran
• DuckDuckGo
• Ecosia
• Microsoft Edge’s default penelusuran
• Microsoft Copilot

So jika Anda block Bingbot, Anda’re tidak hanya disappearing dari Bing — Anda’re cutting yourself off dari semua dari itu di setelah. itu’s sebuah banyak bigger deal daripada “3% market share” (terjemahan) “3% market share” membuat ini sound.

dapat Bingbot baca JavaScript?

Ya. Di sana digunakan untuk menjadi sebuah worry itu Bing tidak dapat tangani JavaScript-berat situs, tetapi Bingbot now berjalan pada yang sama Chromium mesin itu powers Microsoft Edge, so ini renders halaman cara sebuah modern browser melakukan. jika Anda konten menampilkan up di sebuah saat ini versi dari Edge atau Chrome, Bingbot dapat umumnya see ini too.

cara help (atau berhenti) Bingbot

• untuk let ini di: pastikan Anda penting halaman adalah ditautkan, submit sebuah sitemap di Bing Webmaster alat, dan jangan accidentally block them di robots.txt.
• untuk slow ini down: Bing Webmaster alat memiliki sebuah fitur called crawl Control itu lets Anda set bagaimana fast Bingbot melakukan crawl, hour oleh hour.
• untuk speed hal up: ada sebuah “push” (terjemahan) “push” option called IndexNow itu lets Anda tell Bing instant sebuah halaman perubahan, alih-alih menunggu untuk berikutnya crawl.

ingin teknis versi — pengguna-agent strings, cara verify sebuah permintaan adalah benar-benar Bingbot, lainnya Microsoft crawler, dan bagaimana Bingbot feeds Copilot? Switch untuk Advanced tab.

TL;DR — Bingbot adalah Microsoft Bing’s crawler (robots.txt token: bingbot), langsung since October 1, 2010 ketika ini replaced MSNBot. ini adalah evergreen pada Chromium-based Edge mesin, so ini renders modern JavaScript. -nya nyata reach adalah lebih luas daripada traffic attributed secara langsung untuk bing.com karena Microsoft menggunakan -nya penelusuran infrastructure di seluruh products dan partnerships. Verify ini menggunakan Bing’s terdokumentasi verification metode alih-alih trusting pengguna-agent string. Manage crawl dengan robots.txt, crawl Control di Bing Webmaster alat, dan IndexNow — Bing’s push protocol, co-dibuat dengan Yandex.

dari MSNBot untuk Bingbot

Bingbot adalah Microsoft’s utama web crawler — program itu discovers, fetches, dan memproses halaman untuk bangun dan refresh Bing indeks. ini went langsung pada October 1, 2010, replacing legacy MSNBot. itu transition came dengan sebuah robots.txt aturan itu masih penting jika Anda memiliki old directives lying sekitar: Microsoft’s announcement mengatakan itu “sebagai dari October 1st, jika we detect terpisah sets dari custom directives untuk keduanya MSNBot dan BingBot di Anda robots.txt file, itu BingBot directives akan take precedence.” (terjemahan) “sebagai dari October 1st, jika kami detect terpisah sets dari custom directives untuk keduanya MSNBot dan BingBot di Anda robots.txt file, BingBot directives akan take precedence.” So MSNBot aturan jangan diam-diam override Anda Bingbot aturan — ini adalah lainnya cara sekitar.

Bingbot powers lebih daripada Bing

ini adalah single sebagian besar penting reframe pada ini halaman. Bing’s direct penelusuran-market share adalah kecil, yang leads sebuah lot dari SEOs untuk skip ini. tetapi indeks Bingbot membangun juga feeds Yahoo Penelusuran, DuckDuckGo, Ecosia, Edge’s default penelusuran, dan Microsoft Copilot — dan secara historis ini powered ChatGPT Penelusuran too. Yahoo dependency goes semua cara back untuk 2010 launch, ketika Microsoft warned situs owners: “Untuk keep Anda konten di itu Bing index, please ensure itu BingBot memiliki itu sama access untuk Anda site sebagai diberikan untuk MSNBot.” (terjemahan) “untuk pertahankan konten di Bing indeks, please ensure itu BingBot memiliki yang sama access untuk Anda situs sebagai diberikan untuk MSNBot.”

practical consequence: sebuah Disallow terhadap bingbot tidak cost Anda “sekadar Bing.” (terjemahan) “hanya Bing.” ini cascades di seluruh itu seluruh ecosystem di setelah. Apakah Anda care tentang Bing secara khusus atau tidak, Bingbot adalah gateway untuk sebuah bermakna chunk dari searchable web — dan increasingly untuk AI jawaban.

pengguna-agent string (dan mengapa ini adalah evergreen)

Bingbot’s pengguna-agent berisi bingbot/2.0 token plus sebuah Chromium-based Chrome/W.X.Y.Z versi angka, di mana W.X.Y.Z adalah substituted dengan saat ini stable Microsoft Edge bangun (Microsoft’s own contoh: 100.0.4896.127) — itu substitution adalah apa membuat string evergreen. Per Microsoft’s April 2022 announcement dari finalized strings, desktop UA adalah Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 dan mobile UA adalah Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm). Microsoft’s sebelumnya, December 2019 preview dari ini strings memiliki juga proposed sebuah extra trailing Edg/W.X.Y.Z fragment, tetapi itu fragment tidak di akhir strings Microsoft published di 2022 dan confirmed fully langsung di February 2023 — jika Anda’re matching bingbot’s UA di code, jangan memerlukan ini. older legacy string adalah bare Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm).

“Evergreen” (terjemahan) “Evergreen” berarti persis itu versi angka tracks latest stable Edge secara otomatis. Practically, ini killed old dua-tier crawl/render kesenjangan: karena Bingbot berjalan yang sama Chromium mesin family sebagai modern Edge dan Chrome, ini renders JavaScript cara sebuah saat ini browser melakukan. Bing juga memperlakukan baik-faith dynamic rendering sebagai sebuah legitimate option untuk berat JS situs — ini tidak cloaking di mereka view.

Verifying Bingbot — pengguna-agent tidak cukup

pengguna-agent strings adalah trivially spoofed, so sebuah permintaan claiming untuk menjadi Bingbot proves tidak ada apa pun pada -nya own. reliable periksa adalah dua-langkah reverse DNS:

1. Reverse (PTR) lookup crawling IP dari Anda logs. sebuah genuine Bingbot IP resolves untuk sebuah hostname ending di search.msn.com — pattern adalah msnbot-<ip-with-dashes>.search.msn.com (so 157.55.39.1 → msnbot-157-55-39-1.search.msn.com).
2. Forward (sebuah) lookup itu hostname. ini harus resolve back untuk original IP.

jika either langkah fails, ini tidak Bingbot. Microsoft melakukan publish sebuah IP list di bing.com/toolbox/bingbot.json (28 IPv4 prefixes, terakhir generated January 2024), tetapi company’s own guidance adalah untuk prefer reverse DNS di atas IP list, karena addresses dapat perubahan di apa pun time. Treat JSON sebagai sebuah rough reference, tidak sebuah firewall izinkan-list. (yang sama reverse-DNS-di atas-IP-list logic applies untuk Googlebot — see verification scripts di Scripts tab.)

Bagaimana Bingbot discovers dan melakukan crawl

penemuan adalah tautan-driven. Fabrice Canel, Microsoft’s longtime Bingbot lead, mendeskripsikan pendekatan ini sebagai mengikuti tingkat kepentingan: “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (terjemahan) “Kami dipandu oleh halaman-halaman utama yang penting di internet dan mengikuti tautan untuk memahami langkah berikutnya.”* Scale adalah enormous — di sebuah 2019 interview Canel mengatakan “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (terjemahan) “Setiap hari, tim saya menemukan lebih dari 100 miliar URL baru yang belum pernah terlihat, sementara parameter URL yang tidak berguna diabaikan.”* (sebuah 2020 figure put baru-URL penemuan di sekitar 70 billion per day; keduanya adalah nyata angka dari berbeda dates, so ini adalah worth mempertahankan tahun attached ketika Anda cite either satu.)

Dua behaviors set Bingbot apart dari bagaimana Google mendeskripsikan -nya own crawler:

• Pre-filtering sebelum fetch. Bingbot membuat sebuah cost/nilai judgment sebelum ini bahkan downloads sebuah URL. sebagai Bing memiliki put ini, “Halaman itu adalah deemed untuk memiliki absolutely Tidak potential untuk menjadi useful di satisfying a user’s penelusuran query di Bing hasil adalah tidak retained.” (terjemahan) “halaman itu adalah deemed untuk memiliki absolutely Tidak potential untuk menjadi berguna di satisfying sebuah pengguna’s penelusuran kueri di Bing hasil adalah tidak retained.”
• URL memory. Bingbot remembers URLs essentially forever: “Bingbot retains setiap URL di memory dan muncul back dan recrawls intermittently, even jika all links untuk it memiliki telah removed.” (terjemahan) “Bingbot retains setiap URL di memory dan muncul back dan recrawls intermittently, bahkan jika semua tautan untuk ini memiliki telah dihapus.” itu’s mengapa sebuah halaman dapat masih see Bingbot hits panjang setelah Anda’ve stripped setiap internal tautan untuk ini.

Underneath semua dari ini adalah sebuah politeness-pertama posture. Canel: “Our default crawl policy adalah untuk menjadi sebagai polite sebagai possible ketika crawling itu web.” (terjemahan) “kami default crawl policy adalah untuk menjadi sebagai polite sebagai mungkin ketika crawling web.” dan his candid take pada masalah itself: “Crawling right adalah a fascinating engineering problem itu hasn’t fully telah solved namun.” (terjemahan) “crawling right adalah sebuah fascinating engineering masalah itu hasn’t fully telah solved namun.”

lainnya Microsoft crawler

Bingbot tidak satu-satunya Microsoft bot Anda’ll see:

• AdIdxBot (adidxbot) — Bing Ads quality-control crawler. catch worth knowing: ini shares anggaran crawling dengan Bingbot, so berat ad crawling dapat eat ke budget untuk Anda organic halaman.
• BingPreview — generates halaman snapshots dan preview thumbnails.
• MicrosoftPreview — tautan previews di Tim dan Office.
• BingVideoPreview — video previews ditampilkan hanya di Bing. Like others ini memiliki desktop dan mobile variants, dan ini identifies itself terhadap +https://aka.ms/microsoftbots alih-alih bingbot.htm URL older crawler gunakan.
• MSNBot / MSNBot-Media — legacy crawler, retired October 1, 2010.

Controlling Bingbot’s crawl

Three levers, dari blunt untuk surgical:

• robots.txt — bingbot token controls crawling. gunakan ini untuk pertahankan bot out dari rendah-nilai spaces; ini tidak sebuah deindexing alat.
• crawl Control (Bing Webmaster alat) — lets Anda set Bingbot’s hourly crawl rate, so Anda dapat slow ini selama peak traffic dan let ini jalankan lebih cepat off-peak. ini adalah sebuah genuine Google/Bing divergence: Google retired -nya crawl-rate slider di Search Console, sementara Bing masih memberikan Anda sebuah active control.
• IndexNow — alih-alih menunggu untuk menjadi re-di-crawl, Anda push perubahan. ini adalah sebuah protocol “dibuat oleh Microsoft Bing dan Yandex, allowing websites untuk easily notify penelusuran engines setiap kali mereka website konten adalah dibuat, diperbarui, atau deleted.” (terjemahan) “dibuat oleh Microsoft Bing dan Yandex, allowing situs web untuk easily notify mesin pencari setiap kali mereka situs web konten adalah dibuat, diperbarui, atau deleted.” Satu ping reaches setiap participating mesin. I tidak akan duplicate penuh treatment di sini — see IndexNow deep dive untuk setup, key file, dan 10 000-URL-per-permintaan limit.

strategic poin I pertahankan coming back untuk: Bing fixed sebuah reputation untuk aggressive crawling oleh getting efficient, dan IndexNow adalah centerpiece dari itu. sebagai I’ve ditulis di my analysis dari AI dan mesin pencari bot crawling, “ini estimated itu 53% dari crawler traffic adalah wasted effort, dan IndexNow dapat help cut itu number down untuk hampir tidak ada apa pun.” (terjemahan) “ini adalah estimated itu 53% dari crawler traffic adalah wasted effort, dan IndexNow dapat help cut itu angka down untuk hampir tidak ada apa pun.” Pushing perubahan beats trying untuk coax lebih exploratory crawling.

Bingbot, Copilot, dan AI opt-out kesenjangan

Karena Bing indeks feeds Microsoft Copilot, Bingbot adalah effectively sebuah AI crawler too. Canel menjelaskan bahwa markup schema membantu LLM Microsoft memahami konten Anda. Ia juga menekankan bahwa AI generatif menilai konten baru sebagai pemeriksaan referensi terhadap data pelatihan LLM; gunakan API di indexnow.org untuk mendorong informasi itu ketika diterbitkan atau diperbarui.

ada sebuah wrinkle pesaing artikel tend untuk skip. Google offers sebuah Google-Extended token itu lets Anda opt out dari AI training tanpa affecting penelusuran pengindeksan. oleh sebagian besar ketiga-party membaca ada Tidak equivalent terpisah opt-out untuk Bing — meaning blocking bingbot untuk stay out dari Copilot training akan juga drop Anda dari Bing penelusuran dan semuanya downstream dari ini. I’d treat itu sebagai sebuah observation tentang bagaimana controls saat ini line up alih-alih sebuah settled Microsoft policy, dan periksa saat ini documentation sebelum acting pada ini.

untuk di mana Bingbot sits di bigger picture — crawler family, Googlebot, pengguna-agent concept, AI crawler, robots.txt, dan IndexNow — crawling hub ties ini semua together.

AI summary

sebuah condensed take pada Advanced versi:

• Bingbot = Microsoft Bing’s crawler. robots.txt token bingbot; langsung since October 1, 2010 ketika ini replaced MSNBot (dan BingBot directives take precedence di atas leftover MSNBot ones).
• Reach > market share. indeks Bingbot membangun juga powers Yahoo, DuckDuckGo, Ecosia, Edge default penelusuran, dan Copilot — so blocking bingbot cascades far beyond Bing.
• Evergreen rendering. Berjalan pada Chromium-based Edge mesin; UA carries bingbot/2.0 token plus sebuah Chrome/W.X.Y.Z versi angka substituted dengan saat ini stable Edge bangun (Tidak terpisah Edg/ fragment di akhir 2022 strings). ini renders modern JavaScript; baik-faith dynamic rendering tidak cloaking.
• Verify oleh dua-langkah reverse DNS: PTR untuk msnbot-*.search.msn.com, lalu sebuah forward lookup itu matches IP. pengguna-agents adalah spoofable; prefer reverse DNS di atas bingbot.json IP list (yang perubahan).
• Bagaimana ini melakukan crawl: mengikuti “key halaman” (terjemahan) “key halaman” dan tautan, discovers ~100 billion baru URLs sebuah day (2019; ~70 billion di sebuah 2020 figure), pre-filters URLs dengan “Tidak potential” (terjemahan) “Tidak potential” sebelum fetching, dan mempertahankan setiap URL di memory — recrawling bahkan setelah semua tautan adalah dihapus.
• lainnya Microsoft bot: AdIdxBot (shares Bingbot’s anggaran crawling), BingPreview, MicrosoftPreview, BingVideoPreview; MSNBot adalah retired.
• Control ini dengan robots.txt, crawl Control (hourly rate — Google dihapus -nya equivalent), dan IndexNow (push, co-dibuat dengan Yandex). Patrick’s framing: ~53% dari crawler traffic adalah wasted, dan IndexNow cuts itu toward tidak ada apa pun.
• AI angle: Bingbot feeds Copilot; schema dan fresh konten help; ada Tidak jelas Bing equivalent untuk Google-Extended, so blocking untuk AI training juga drops penelusuran (treat sebagai observation, verify saat ini docs).

Dokumentasi resmi

Utama-sumber documentation, mostly dari Microsoft/Bing, dengan sebuah Google contrast tautan. Heads up: banyak blogs.bing.com posts dan bing.com/webmasters/help halaman adalah JavaScript-dirender atau redirect, so konfirmasi detail di sebuah browser jika sebuah tautan bounces.

Bing / Microsoft

• Yang crawler melakukan Bing gunakan? — official list dari Microsoft bot dan mereka pengguna-agent tokens (Bingbot, AdIdxBot, dan preview crawler).
• Announcing pengguna-agent perubahan untuk Bing crawler bingbot — Microsoft’s own finalized desktop dan mobile UA strings (confirmed fully langsung February 2023); ini adalah sumber untuk tepat strings quoted di atas.
• Bingbot IP list (bingbot.json) — published IPv4 prefixes. gunakan sebagai sebuah reference hanya; Microsoft recommends reverse DNS alih-alih.
• Verify Bingbot alat — Microsoft’s online lookup untuk confirming sebuah crawling IP adalah genuinely Bingbot.
• Bing Webmaster alat — crawl Control — set Bingbot’s laju crawling oleh hour.
• IndexNow / indexnow.org — push protocol untuk instantly signaling dibuat, diperbarui, atau deleted URLs.
• bingbot Series: Maximizing crawl Efficiency — filosofi Bing tentang “crawl efficiency” (terjemahan) “efisiensi crawling”.

Google (untuk contrast)

• Overview dari Google crawler dan fetchers — Googlebot’s pengguna-agents dan IP ranges, parallel untuk Bing’s setup. Note divergences: Google retired -nya manual crawl-rate control, tidak gunakan IndexNow untuk umum halaman, dan offers Google-Extended untuk opt out dari AI training secara terpisah dari penelusuran.

Quotes dari sumber

pada—record statements tentang Bingbot — mostly dari Fabrice Canel, Microsoft’s Bingbot lead. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage.

Fabrice Canel, Microsoft Bing — penemuan dan scale

• “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (terjemahan) “Kami dipandu oleh halaman-halaman utama yang penting di internet dan mengikuti tautan untuk memahami langkah berikutnya.”* Jump untuk quote
• “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (terjemahan) “Setiap hari, tim saya menemukan lebih dari 100 miliar URL baru yang belum pernah terlihat, sementara parameter URL yang tidak berguna diabaikan.”* (Search Engine Journal interview, 2019.) Jump untuk quote
• “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (terjemahan) “crawling right adalah sebuah fascinating engineering masalah itu hasn’t fully telah solved namun.” (SEJ, 2019.) Jump untuk quote
• “Our default crawl policy is to be as polite as possible when crawling the web.” (terjemahan) “kami default crawl policy adalah untuk menjadi sebagai polite sebagai mungkin ketika crawling web.” (SEJ, 2019.) Jump untuk quote

Microsoft Bing — bagaimana Bingbot menangani URLs

• “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (terjemahan) “Bingbot menyimpan setiap URL di memori dan kembali merayapinya secara berkala, bahkan setelah semua tautan ke URL itu dihapus.”* Jump untuk quote
• “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (terjemahan) “halaman itu adalah deemed untuk memiliki absolutely Tidak potential untuk menjadi berguna di satisfying sebuah pengguna’s penelusuran kueri di Bing hasil adalah tidak retained.” Jump untuk quote

Fabrice Canel, Microsoft Bing — efficiency, schema, dan AI

• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (terjemahan) “Lebih sedikit lebih baik untuk SEO. Jangan lupakan itu. Semakin sedikit URL yang perlu dirayapi, semakin baik untuk SEO.”* Jump untuk quote
• “schema markup helps Microsoft’s LLMs understand your content.” (terjemahan) “schema markup helps Microsoft’s LLMs memahami Anda konten.” (SMX Munich, 2025.) Jump untuk quote
• “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (terjemahan) “Gen AIs nilai fresh konten di particular, partly sebagai sebuah reference periksa dari mereka LLM training data. gunakan API di indexnow.org untuk push itu informasi sebagai ini adalah published atau diperbarui.” Jump untuk quote

Microsoft Bing — 2010 launch dan IndexNow

• “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (terjemahan) “sebagai dari October 1st, jika kami detect terpisah sets dari custom directives untuk keduanya MSNBot dan BingBot di Anda robots.txt file, BingBot directives akan take precedence.” (Bing Webmaster blog, 2010.)
• “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (terjemahan) “untuk pertahankan konten di Bing indeks, please ensure itu BingBot memiliki yang sama access untuk Anda situs sebagai diberikan untuk MSNBot.” (Bing Webmaster blog, 2010.)
• “IndexNow is a new protocol created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (terjemahan) “IndexNow adalah sebuah baru protocol dibuat oleh Microsoft Bing dan Yandex, allowing situs web untuk easily notify mesin pencari setiap kali mereka situs web konten adalah dibuat, diperbarui, atau deleted.” (Bing Webmaster blog, 2021.)

Patrick Stox (me) — Bing’s efficiency turnaround

• “There was a lot of blowback on Bing in the past because of their aggressive crawling.” (terjemahan) “Di sana adalah sebuah lot dari blowback pada Bing di past karena mereka aggressive crawling.” Jump untuk quote
• “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (terjemahan) “ini adalah estimated itu 53% dari crawler traffic adalah wasted effort, dan IndexNow dapat help cut itu angka down untuk hampir tidak ada apa pun.” Jump untuk quote

Apa seharusnya I melakukan tentang Bingbot?

Bingbot decisions branch pada dua hal: apakah sebuah permintaan adalah genuinely Bingbot, dan apakah Anda ingin slow ini down, speed ini up, atau block ini outright. Click melalui ini.

Bingbot & Microsoft crawler — cheat sheet

pengguna-agent strings

W.X.Y.Z = saat ini stable Microsoft Edge versi, substituted ke Chrome/ token (evergreen — ini memperbarui itself). ini adalah akhir strings Microsoft published di April 2022 dan confirmed fully langsung di February 2023; sebuah sebelumnya December 2019 preview memiliki juga proposed sebuah trailing Edg/W.X.Y.Z fragment, tetapi ini tidak bagian dari finalized UA — jangan memerlukan ini di bot-matching code.

** Microsoft crawler family**

Fast facts

• Launched October 1, 2010, replacing MSNBot.
• jika keduanya MSNBot dan BingBot directives exist di robots.txt, BingBot wins.
• Verify melalui reverse DNS untuk *.search.msn.com, tidak pengguna-agent dan tidak IP list (IPs perubahan).
• IP list: bing.com/toolbox/bingbot.json — 28 IPv4 prefixes, generated Jan 2024.
• crawl Control di Bing Webmaster alat sets hourly laju crawling (Google dihapus -nya equivalent).
• IndexNow = push changed URLs; co-dibuat dengan Yandex.

Verify sebuah bot adalah benar-benar Bingbot

sebuah permintaan itu says ini adalah Bingbot proves tidak ada apa pun — pengguna-agent string adalah trivially spoofed. sebagai Microsoft puts ini, fact itu sebuah bot menggunakan tepat Bingbot pengguna-agent tidak membuat ini Bingbot. Konfirmasi ini dengan sebuah dua-langkah reverse + forward DNS periksa. sebuah genuine Bingbot IP reverse-resolves untuk sebuah hostname ending di search.msn.com (pattern msnbot-<ip-with-dashes>.search.msn.com), dan itu hostname harus forward-resolve back untuk yang sama IP.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in search.msn.com
host 157.55.39.1
# → 1.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-1.search.msn.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host msnbot-157-55-39-1.search.msn.com
# → msnbot-157-55-39-1.search.msn.com has address 157.55.39.1

Windows

nslookup 157.55.39.1
nslookup msnbot-157-55-39-1.search.msn.com

jika reverse lookup tidak end di search.msn.com, atau forward lookup tidak mengembalikan original IP, ini tidak Bingbot — drop atau rate-limit ini. Anda dapat juga gunakan Microsoft’s online Verify Bingbot alat, dan published bingbot.json IP list sebagai sebuah rough cross-periksa — tetapi Microsoft adalah jelas itu IPs dapat perubahan, so DNS adalah sumber kebenaran, tidak sebuah hardcoded izinkan-list. (sama approach sebagai verifying Googlebot; see crawling hub’s Scripts tab untuk Google versi.)

Bingbot readiness checklist

sebuah quick lulus untuk konfirmasi Anda’re berfungsi dengan Bingbot, tidak terhadap ini:

• robots.txt tidak block bingbot dari apa pun Anda ingin di Bing (remember: itu juga gates Yahoo, DuckDuckGo, Ecosia, dan Copilot).
• Tidak stale MSNBot directives fighting Anda Bingbot aturan (BingBot wins, tetapi bersih them up).
• sitemap XML submitted di Bing Webmaster alat, listing hanya canonical, dapat diindeks URLs dengan accurate lastmod.
• bot verification menggunakan reverse + forward DNS, tidak pengguna-agent atau sebuah hardcoded IP list.
• jika Anda firewall atau izinkan-list bot, Anda’re verifying oleh DNS — tidak pinning bingbot.json IPs (mereka perubahan).
• crawl Control reviewed jika Bingbot traffic strains Anda server di peak hours.
• IndexNow wired up so dibuat/diperbarui/deleted URLs adalah pushed, tidak waited pada.
• JS-dependent konten adalah reachable dan renders (Bingbot adalah evergreen, tetapi nyata <a href> tautan masih beat click-hanya navigation).
• Aware itu AdIdxBot shares Bingbot’s anggaran crawling jika Anda jalankan Bing Ads.
• sebelum blocking bingbot untuk AI alasan, confirmed ada Tidak terpisah Copilot opt-out — blocking ini saat ini drops Anda dari Bing penelusuran too.

mental models

1. Reach, tidak market share. Bing’s direct penelusuran share adalah kecil, so ini adalah tempting untuk judge Bingbot oleh itu angka alone. reframe itu penting: indeks Bingbot membangun adalah backend untuk Yahoo Penelusuran, DuckDuckGo, Ecosia, Edge’s default penelusuran, dan Microsoft Copilot. sebuah Disallow: bingbot aturan tidak cost Anda “3% dari penelusuran” (terjemahan) “3% dari penelusuran” — ini costs Anda setiap satu dari itu surfaces di setelah. Judge Bingbot decisions oleh ecosystem reach, tidak oleh Bing’s standalone angka.

2. Verify oleh DNS, tidak oleh pengguna-agent. sebuah permintaan’s pengguna-agent string adalah hanya sebuah header client sets — anyone dapat jenis bingbot/2.0 ke sebuah curl command. satu-satunya claim itu dapat’t menjadi faked cheaply adalah sebuah DNS record pointing back untuk Microsoft’s own search.msn.com domain, diperiksa keduanya directions (reverse lalu forward). Treat setiap lainnya sinyal — pengguna-agent, published IP list — sebagai sebuah hint, tidak proof.

3. Three levers, blunt untuk surgical. robots.txt adalah blunt instrument: ini mempertahankan Bingbot out dari sebuah path entirely, tetapi ini adalah sebuah crawling control, tidak sebuah deindexing satu. crawl Control di Bing Webmaster alat adalah dial: ini shapes ketika Bingbot hits Anda hardest, hour oleh hour, tanpa shutting apa pun out. IndexNow adalah scalpel: ini tidak tunggu untuk Bingbot untuk come back sekitar di semua — ini pushes sebuah single URL moment ini perubahan. Reach untuk paling sedikit blunt lever itu solves sebenarnya masalah.

4. Google retired dial; Bing dipertahankan ini. Google dihapus -nya crawl-rate limiter dari Search Console. Bing’s crawl Control masih memberikan Anda sebuah active hourly rate control. jika Anda’re digunakan untuk treating crawl-rate management sebagai “a hal Anda tidak dapat benar-benar lakukan anymore,” (terjemahan) “sebuah hal Anda dapat’t benar-benar melakukan anymore,” itu’s benar untuk Googlebot tetapi tidak untuk Bingbot — ini adalah sebuah nyata, saat ini lever worth menggunakan ketika Bingbot traffic strains Anda server di peak hours.

standing KPI: total Bing-ecosystem referral traffic

Bing’s own market-share angka understates apa Bingbot adalah worth untuk Anda, karena indeks ini membangun juga feeds Yahoo Penelusuran, DuckDuckGo, Ecosia, dan Microsoft Copilot. honest KPI tidak “Bing traffic” (terjemahan) “Bing traffic” di isolation — ini adalah combined referral traffic di seluruh itu seluruh ecosystem, tracked di atas time.

Segment referral traffic oleh penuh Bing-indeks family

• Metric — Sessions/clicks di Anda analytics alat di mana referrer adalah bing.com, search.yahoo.com, duckduckgo.com, ecosia.org, atau copilot.microsoft.com, summed dan tracked sebagai satu group alongside (tidak alih-alih) Anda Google angka.
• Apa ini tells Anda — Apakah blocking atau di bawah-serving Bingbot adalah sebenarnya costing Anda traffic beyond Bing itself. sebuah dip itu menampilkan up di seluruh semua five referrers di setelah adalah sebuah Bingbot access masalah, tidak sebuah satu-mesin peringkat masalah.
• cara pull ini — Segment Anda existing analytics alat (GA4, server logs, atau whatever Anda sudah jalankan) oleh referrer domain untuk setiap dari five di atas, dan pair ini dengan Bing Webmaster alat — Penelusuran performa, yang reports Bing’s own clicks dan impressions secara langsung (ini dapat’t see Yahoo/DuckDuckGo/Ecosia downstream angka, so analytics referrer data adalah satu-satunya place itu combined view ada).
• Benchmark / realistic range — ada Tidak honest industry-wide angka untuk target di sini — ecosystem split varies enormously oleh audience dan geography. Establish Anda own baseline dari sebuah sedikit months dari referrer data sebelum Anda judge apa pun single month’s move.
• Cadence — Monthly adalah cukup untuk trend; periksa weekly right setelah sebuah robots.txt perubahan, sebuah IndexNow rollout, atau apa pun else itu touches Bingbot’s access.

alat untuk verifying dan controlling Bingbot

• Googlebot Verifier — my own alat. Paste sebuah IP itu claims untuk menjadi Bingbot dan ini berjalan forward-confirmed reverse DNS periksa untuk Anda, plus names nyata network owner jika ini adalah sebuah spoofer. ini adalah practical versi dari dua-langkah DNS periksa di Scripts tab, tanpa touching sebuah terminal.
• robots.txt Tester — my own alat. periksa apakah sebuah spesifik URL adalah diizinkan atau blocked untuk bingbot token secara khusus (sebagai distinct dari * atau Googlebot), see persis yang aturan wins, dan catch sebuah leftover msnbot directive fighting Anda Bingbot aturan sebelum ini ships.
• Verify Bingbot alat — Microsoft’s own online IP lookup, berguna sebagai sebuah cross-periksa terhadap Googlebot Verifier.
• Bing Webmaster alat — crawl Control — set Bingbot’s hourly laju crawling secara langsung; active control Google retired equivalent dari.
• IndexNow (indexnow.org) — push dibuat/diperbarui/deleted URLs alih-alih menunggu untuk Bingbot’s berikutnya lulus; satu ping reaches setiap participating mesin.

Resources worth Anda time

My related writing

• Memenuhi baru Web crawler: AI bot adalah Closing di pada mesin pencari bot — di mana I cover Bing’s aggressive-crawling past, IndexNow turnaround, dan 53%-wasted-traffic stat.
• Ketika seharusnya Anda Worry tentang anggaran crawling? — mencakup framing Bing tentang “crawl efficiency” (terjemahan) “efisiensi crawling” dan catatan bahwa “Bing also has an Indexing API that’s available to everyone.” (terjemahan) “Bing juga memiliki Indexing API yang tersedia untuk semua orang.”*
• Bingbot (Ahrefs SEO glossary) — pendek reference versi.
• Beginner’s Guide untuk SEO teknis — di mana crawler fit di bigger picture.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat. (Standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari others

• Bagaimana Bingbot berfungsi: Discovering, crawling, Extracting & pengindeksan (SEJ) — detailed Fabrice Canel walkthrough behind URL-memory dan pre-filtering poin di atas.
• Mengapa & Bagaimana Bing Plans untuk meningkatkan -nya crawler, Bingbot (SEJ, 2019) — Canel interview dengan 100 billion baru URLs/day figure, polite crawl policy quote, dan “fascinating engineering problem” (terjemahan) “fascinating engineering masalah” line.
• Microsoft Bing / Copilot: gunakan Schema untuk -nya LLMs (mesin pencari Land, 2025) — Canel di SMX Munich pada schema markup helping Microsoft LLMs dan fresh konten sebagai sebuah Copilot sinyal peringkat.
• five infrastructure gates behind crawl, render, dan indeks (mesin pencari Land) — Canel’s “lebih sedikit adalah lebih untuk SEO” (terjemahan) “lebih sedikit adalah lebih untuk SEO” crawl efficiency kerangka kerja, dijelaskan gate oleh gate.
• Bagaimana Bingbot dan Googlebot choose halaman (Kalicube) — Canel’s “guided oleh key halaman” (terjemahan) “guided oleh key halaman” quote tentang URL penemuan philosophy, dengan Googlebot perbandingan.
• r/TechSEO — community untuk crawl/indeks debugging.

Stats worth citing

• ~100 billion baru URLs ditemukan per day — Fabrice Canel’s 2019 figure untuk bagaimana banyak tidak pernah-sebelum-seen URLs Bingbot menemukan daily (“lebih daripada 100 billion new URLs never seen sebelum” (terjemahan) “lebih daripada 100 billion baru URLs tidak pernah seen sebelum”). sebuah terpisah 2020 figure put ini sekitar 70 billion — pertahankan date attached ketika Anda cite either. Sumber
• ~53% dari crawler traffic adalah wasted effort — my estimate, dan case untuk IndexNow: pushing perubahan “dapat help cut itu number down untuk hampir tidak ada apa pun.” (terjemahan) “dapat help cut itu angka down untuk hampir tidak ada apa pun.” Sumber
• 28 published IPv4 prefixes — size dari Microsoft’s official Bingbot IP list (bingbot.json, generated January 2024) — berguna context, tetapi Microsoft warns addresses perubahan, so verify oleh reverse DNS alih-alih. Sumber

Uji pemahaman Anda: Bingbot

Five quick pertanyaan pada Bingbot, verification, dan reach. Pick sebuah jawaban untuk setiap, lalu periksa.

Log perubahan