Bingbotのクロールと確認

TL;DR — BingbotはMicrosoft Bingのクローラーです。ページを訪問し、ダウンロードし、Bing検索インデックスに追加します。Googlebotとよく似ています。ブロックすると対象URLをBingがクロールできなくなり、Bingの検索インフラを使う製品やパートナーにも影響する可能性があります。そのため、現在のMicrosoft文書で影響を確認してください。

Bingbotとは

サーバーログにbingbotが現れたら、それはMicrosoftのクローラーがサイトを訪れているということです。GooglebotがGoogleで行うように、Bingbotはリンクをたどり、サイトマップを読み、ページをダウンロードし、Bingのインデックスに追加するために処理へ渡します。インデックスは、誰かが検索したときにBingが参照するデータベースです。

2010年10月1日に稼働し、MSNBotという古いボットを引き継ぎました。robots.txtとログで目にする名前は、単にbingbotです。

思った以上に重要な理由

ここが意外に感じられる部分です。Bingの検索市場シェアは小さいため、Bingbotを完全に無視したくなります。しかしBingbotが構築するBingのインデックスは、Bingだけに供給されるわけではありません。次も支えています。

• Yahoo Search
• DuckDuckGo
• Ecosia
• Microsoft Edgeの既定の検索
• Microsoft Copilot

そのためBingbotをブロックすると、Bingから消えるだけではありません。これらすべてへの接続を一度に断つことになります。「市場シェア3%」という言葉から想像するより、はるかに大きな問題です。

BingbotはJavaScriptを読めるか

はい。以前はBingがJavaScriptの多いサイトを処理できないという心配がありました。しかし現在のBingbotはMicrosoft Edgeを動かすものと同じChromiumエンジンで動くため、現代のブラウザーと同じようにページをレンダリングします。現在のEdgeまたはChromeでコンテンツが表示されるなら、Bingbotも通常はそれを見られます。

Bingbotを助ける（または止める）方法

• 入れるには： 重要なページがリンクされていることを確認し、Bing Webmaster Toolsでサイトマップを送信し、robots.txtで誤ってブロックしないようにします。
• 速度を落とすには： Bing Webmaster ToolsにはCrawl Controlという機能があり、Bingbotのクロール速度を時間ごとに設定できます。
• 速度を上げるには： IndexNowという「プッシュ」機能で、次のクロールを待たずにページが変更された瞬間をBingへ知らせます。

ユーザーエージェント文字列、リクエストが本当にBingbotか確認する方法、他のMicrosoftクローラー、BingbotがCopilotに供給する仕組みまで知りたいなら、Advancedタブへ切り替えてください。

TL;DR — BingbotはMicrosoft Bingのクローラーです（robots.txtのトークン：bingbot）。MSNBotに代わった2010年10月1日から稼働しています。ChromiumベースのEdgeエンジンで常に更新されるため、現代のJavaScriptをレンダリングできます。実際の到達範囲はbing.comに直接帰属するトラフィックより広く、Microsoftは製品やパートナーシップ全体で検索インフラを使っています。ユーザーエージェント文字列を信頼せず、Bingが文書化した確認方法で検証してください。クロールはrobots.txt、Bing Webmaster ToolsのCrawl Control、そしてIndexNow（Yandexと共同作成したBingのプッシュプロトコル）で管理します。

MSNBotからBingbotへ

BingbotはMicrosoftの主要なウェブクローラーです。Bingのインデックスを構築・更新するためにページを発見し、取得し、処理するプログラムです。2010年10月1日に稼働し、従来のMSNBotに取って代わりました。この移行には、古いディレクティブが残っている場合にも意味を持つrobots.txtルールが伴いました。Microsoftの発表は、“as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (翻訳)（10月1日以降、robots.txtにMSNBotとBingBotのカスタムディレクティブが別々にある場合、BingBotのディレクティブが優先される）と述べています。つまりMSNBotのルールがBingbotのルールをひそかに上書きするのではなく、逆です。

Bingbotが支えるのはBingだけではない

このページで最も重要な位置付けの変更です。Bingの直接的な検索市場シェアは小さいため、多くのSEO担当者はBingを飛ばします。しかしBingbotが構築するインデックスは、Yahoo Search、DuckDuckGo、Ecosia、Edgeの既定の検索、Microsoft Copilotにも供給され、歴史的にはChatGPT Searchも支えていました。Yahooとの依存関係は2010年の開始時までさかのぼります。当時Microsoftはサイト所有者に、“To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (翻訳)（コンテンツをBingのインデックスに残すには、BingBotにMSNBotと同じサイトアクセスを与えてください）と警告しました。

実務上の帰結は、bingbotに対するDisallowが「Bingだけ」の損失ではないことです。エコシステム全体に一度に波及します。Bingを特に重視するかどうかにかかわらず、Bingbotは検索可能なウェブのかなりの部分、そして次第にAI回答へ通じる入口です。

ユーザーエージェント文字列（常に更新される理由）

Bingbotのユーザーエージェントにはbingbot/2.0トークンと、ChromiumベースのChrome/W.X.Y.Zバージョン番号が含まれます。W.X.Y.ZはMicrosoft Edgeの現在の安定版ビルドに置き換えられるため、文字列が常に更新されます。Microsoft自身の例は100.0.4896.127です。Microsoftが2022年4月に最終版の文字列を発表した内容によれば、デスクトップUAは Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 モバイルUAは Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) です。Microsoftが2019年12月にプレビューした初期の文字列には末尾のEdg/W.X.Y.Z断片も提案されていましたが、2022年に公開され、2023年2月に完全稼働が確認された最終文字列には含まれません。コードでBingbotのUAを照合するなら、これを必須にしないでください。古いレガシー文字列は、Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)だけでした。

「常に更新される」とは、バージョン番号が最新の安定版Edgeを自動的に追うという意味です。実際には、古い2層のクロール／レンダリング格差をなくしました。Bingbotは現代のEdgeやChromeと同じChromiumエンジンファミリーで動くため、現在のブラウザーと同じようにJavaScriptをレンダリングします。Bingは、JavaScriptの多いサイトで善意に行う動的レンダリングも正当な選択肢として扱います。Bingの見解ではクローキングではありません。

Bingbotを確認する — ユーザーエージェントだけでは不十分

ユーザーエージェント文字列は簡単に偽装できるため、Bingbotを名乗るリクエストだけでは何も証明できません。信頼できる確認は2段階の逆引きDNSです。

1. ログにあるクロール元IPを**逆引き（PTR）**します。本物のBingbotのIPはsearch.msn.comで終わるホスト名に解決され、パターンはmsnbot-<ip-with-dashes>.search.msn.comです（157.55.39.1 → msnbot-157-55-39-1.search.msn.com）。
2. そのホスト名を**正引き（A）**します。元のIPへ戻って解決されなければなりません。

どちらか一方でも失敗したら、Bingbotではありません。Microsoftはbing.com/toolbox/bingbot.jsonにIPリストを公開しています（IPv4プレフィックス28件、最終生成は2024年1月）。しかし同社自身の案内は、IPアドレスがいつでも変わり得るため、IPリストより逆引きDNSを優先することです。JSONは大まかな参考情報であり、ファイアウォールの許可リストではありません。（同じ逆引きDNS優先の考え方はGooglebotにも適用されます。確認スクリプトはScriptsタブを参照してください。）

Bingbotが発見とクロールを行う方法

発見はリンク主導です。Microsoftで長くBingbotを率いてきたFabrice Canelは、次のように説明しています。“We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (翻訳)（インターネット上で重要な主要ページを手がかりにし、次に何があるかを理解するためリンクをたどる）。規模は桁違いです。2019年のインタビューでCanelは、“Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (翻訳)（毎日、チームはこれまで見たことのない新しいURLを1 000億件以上発見し、役に立たないURLパラメーターは無視する）と述べました。（2020年の数字は1日約700億件でした。どちらも異なる時点の実数なので、引用するときは年を付ける価値があります。）

Googleが自らのクローラーについて説明する方法と、Bingbotを分ける動作が2つあります。

• 取得前の事前フィルタリング。 BingbotはURLをダウンロードする前に、コストと価値を判断します。Bingの説明では、“Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (翻訳)（Bingの検索結果でユーザーの検索クエリを満たすのに役立つ可能性がまったくないと判断されたページは保持されない）ということです。
• URLの記憶。 BingbotはURLを本質的に永久に記憶します。“Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (翻訳)（BingbotはすべてのURLをメモリに保持し、そこへのリンクがすべて削除されても、ときどき戻って再クロールする）ためです。内部リンクをすべて外した後もBingbotのアクセスが残ることがあるのは、このためです。

その根底にあるのは、礼儀正しさを優先する姿勢です。Canelは、“Our default crawl policy is to be as polite as possible when crawling the web.” (翻訳)（既定のクロールポリシーは、ウェブをクロールするときできる限り礼儀正しくすること）と述べています。そして問題そのものについては、“Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (翻訳)（正しくクロールすることは、まだ完全には解決されていない魅力的なエンジニアリング問題）と率直に話しています。

その他のMicrosoftクローラー

目にするMicrosoftのボットはBingbotだけではありません。

• AdIdxBot（adidxbot）— Bing Adsの品質管理クローラー。知っておくべき点は、Bingbotとクロールバジェットを共有するため、広告の激しいクロールがオーガニックページの予算を食いつぶす可能性があることです。
• BingPreview — ページのスナップショットとプレビューサムネイルを生成します。
• MicrosoftPreview — TeamsとOfficeのリンクプレビューを生成します。
• BingVideoPreview — Bingだけに表示する動画プレビューを生成します。他と同様にデスクトップ版とモバイル版があり、古いクローラーが使うbingbot.htm URLではなく+https://aka.ms/microsoftbotsを名乗ります。
• MSNBot／MSNBot-Media — 2010年10月1日に引退したレガシークローラーです。

Bingbotのクロールを制御する

大まかなものから精密なものへ、3つの手段があります。

• robots.txt — bingbotトークンがクロールを制御します。価値の低い領域からボットを締め出すために使いますが、インデックスから削除するツールではありません。
• Crawl Control（Bing Webmaster Tools） — Bingbotの時間ごとのクロール速度を設定できます。ピークトラフィック時は遅くし、オフピーク時は速くできます。これはGoogleとBingの本当の違いです。GoogleはSearch Consoleのクロール速度スライダーを廃止しましたが、Bingにはまだ有効な制御があります。
• IndexNow — 再クロールを待つ代わりに、変更をプッシュします。これは、“created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (翻訳)（Microsoft BingとYandexが作成し、ウェブサイトのコンテンツが作成、更新、削除されたときに検索エンジンへ簡単に知らせられるようにする）プロトコルです。1回の通知ですべての参加エンジンに届きます。ここでは詳しく扱いません。設定、キーのファイル、リクエストあたり10 000 URLの上限はIndexNowの詳しい記事を参照してください。

私が繰り返し戻る戦略上の要点は、Bingが効率的になることで攻撃的なクロールという評判を修正し、その中心にIndexNowがあることです。AIと検索エンジンのボットクロールに関する分析で書いたように、“It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (翻訳)（クローラートラフィックの53%は無駄な作業だと推定され、IndexNowはその数をほぼゼロまで減らすのに役立つ）。より多くの探索クロールを促そうとするより、変更をプッシュする方が有効です。

Bingbot、Copilot、AIオプトアウトの空白

BingのインデックスがMicrosoft Copilotに供給されるため、Bingbotは実質的にAIクローラーでもあります。Canelがそこにうまく表示されるために示す指針は具体的です。“schema markup helps Microsoft’s LLMs understand your content,” (翻訳)（スキーママークアップはMicrosoftのLLMがコンテンツを理解するのに役立つ）そして、“Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (翻訳)（生成AIは特に新鮮なコンテンツを重視する。LLMのトレーニングデータとの参照確認の一部でもある。公開または更新したらindexnow.orgのAPIでその情報をプッシュする）というものです。

競合記事が省きがちな注意点があります。Googleには、検索インデックス登録に影響を与えずAIトレーニングからオプトアウトできるGoogle-Extendedトークンがあります。第三者による多くの解釈では、Bingには別個の同等オプトアウトがありません。つまり、Copilotのトレーニングから外れるためにbingbotをブロックすると、Bing検索とその下流のすべてからも外れることになります。これは確定したMicrosoftポリシーではなく、現在の制御の対応関係に関する観察として扱い、実行前に最新文書を確認します。

Bingbotを大きな文脈に置くなら、クローラーの一族、Googlebot、ユーザーエージェントの概念、AIクローラー、robots.txt、IndexNowをクロールハブがすべて結び付けます。

AI要約

Advanced版を圧縮すると、次のようになります。

• Bingbot＝Microsoft Bingのクローラー。 robots.txtのトークンはbingbot。MSNBotに代わって2010年10月1日に稼働し、残っているMSNBotのディレクティブよりBingBotのディレクティブが優先されます。
• 到達範囲は市場シェアを超える。 Bingbotが構築するインデックスはYahoo、DuckDuckGo、Ecosia、Edgeの既定検索、Copilotも支えるため、bingbotのブロックはBingをはるかに超えて波及します。
• 常に更新されるレンダリング。 ChromiumベースのEdgeエンジンで動き、UAにはbingbot/2.0トークンと、現在の安定版Edgeビルドに置き換えられるChrome/W.X.Y.Zバージョン番号があります（最終版の2022年文字列には独立したEdg/断片はありません）。現代のJavaScriptをレンダリングし、善意の動的レンダリングはクローキングではありません。
• 2段階の逆引きDNSで確認する。 PTRでmsnbot-*.search.msn.comへ解決し、その後、IPと一致するよう正引きします。ユーザーエージェントは偽装できるため、変更されるbingbot.jsonのIPリストより逆引きDNSを優先します。
• クロール方法。 「主要ページ」とリンクをたどり、2019年には1日約100 billion（約1 000億）件、2020年には約70 billion（約700億）件の新しいURLを発見します。取得前に「可能性なし」のURLを事前フィルタリングし、すべてのURLをメモリに保持してリンクが削除された後も再クロールします。
• 他のMicrosoftボット。 AdIdxBot（Bingbotのクロールバジェットを共有）、BingPreview、MicrosoftPreview、BingVideoPreview。MSNBotは引退しています。
• 制御するには robots.txt、Crawl Control（時間ごとの速度。Googleは相当機能を廃止）、IndexNow（Yandexと共同作成したプッシュ）を使います。Patrickの位置付けでは、クローラートラフィックの約53%が無駄で、IndexNowはそれをほぼゼロへ減らします。
• AIの観点。 BingbotはCopilotに供給され、スキーマと新鮮なコンテンツが役立ちます。Google-Extendedに相当する明確なBingの機能はないため、AIトレーニング目的のブロックは検索からも外します（観察として扱い、現在の文書で確認してください）。

公式ドキュメント

主にMicrosoft／Bingによる一次資料と、比較用のGoogleリンクです。注意点として、blogs.bing.comの投稿やbing.com/webmasters/helpのページの多くはJavaScriptでレンダリングされるかリダイレクトされるため、リンク先が変わった場合はブラウザーで内容を確認してください。

Bing／Microsoft

• Bingが使うクローラー — Microsoftのボットとユーザーエージェントトークン（Bingbot、AdIdxBot、プレビュークローラー）の公式一覧。
• Bingクローラーbingbotのユーザーエージェント変更の発表 — Microsoftが確定したデスクトップ／モバイルUA文字列（2023年2月に完全稼働を確認）。上で引用した正確な文字列の出典です。
• Bingbot IPリスト（bingbot.json） — 公開されたIPv4プレフィックス。参考にとどめ、Microsoftの推奨どおり逆引きDNSを優先します。
• Bingbot確認ツール — クロール元IPが本当にBingbotかを確認するMicrosoftのオンライン検索。
• Bing Webmaster Tools — Crawl Control — Bingbotのクロール速度を時間ごとに設定します。
• IndexNow／indexnow.org — 作成、更新、削除されたURLを即時に知らせるプッシュプロトコル。
• bingbotシリーズ：クロール効率の最大化 — Bingの「クロール効率」という考え方。

Google（比較用）

• Googleクローラーとフェッチャーの概要 — GooglebotのユーザーエージェントとIP範囲、Bingとの対応関係。相違点として、Googleは手動のクロール速度制御を廃止し、一般ページにIndexNowを使わず、検索とは別にAIトレーニングをオプトアウトできるGoogle-Extendedを提供しています。

ソースからの引用

Bingbotについての公式発言です。主にMicrosoftのBingbot責任者Fabrice Canelによるもので、各リンクは引用箇所へ移動するディープリンクです。

Fabrice Canel、Microsoft Bing — 発見と規模

• “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (翻訳)（インターネット上で重要な主要ページを手がかりにし、次を理解するためリンクをたどります。） 引用箇所へ
• “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (翻訳)（毎日、チームはこれまで見たことのない新しいURLを1 000億件以上発見し、役に立たないURLパラメーターは無視します。）(Search Engine Journalの2019年インタビュー。) 引用箇所へ
• “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (翻訳)（正しくクロールすることは、まだ完全には解決されていない魅力的なエンジニアリング問題です。）(SEJ、2019年。) 引用箇所へ
• “Our default crawl policy is to be as polite as possible when crawling the web.” (翻訳)（ウェブをクロールするとき、既定のクロールポリシーはできる限り礼儀正しくすることです。）(SEJ、2019年。) 引用箇所へ

Microsoft Bing — BingbotのURL処理

• “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (翻訳)（BingbotはすべてのURLをメモリに保持し、そこへのリンクがすべて削除されても、ときどき戻って再クロールします。） 引用箇所へ
• “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (翻訳)（Bingの検索結果でユーザーの検索クエリを満たすのに役立つ可能性がまったくないと判断されたページは保持されません。） 引用箇所へ

Fabrice Canel、Microsoft Bing — 効率、スキーマ、AI

• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (翻訳)（SEOでは少ない方が多い。決して忘れないでほしい。クロールするURLが少ないほど、SEOには良い。） 引用箇所へ
• “schema markup helps Microsoft’s LLMs understand your content.” (翻訳)（スキーママークアップはMicrosoftのLLMがコンテンツを理解するのに役立ちます。）(SMX Munich、2025年。) 引用箇所へ
• “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (翻訳)（生成AIは特に新鮮なコンテンツを重視します。LLMトレーニングデータの参照確認の一部でもあります。公開または更新したらindexnow.orgのAPIでその情報をプッシュしてください。） 引用箇所へ

Microsoft Bing — 2010年の開始とIndexNow

• “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (翻訳)（10月1日以降、robots.txtにMSNBotとBingBotのカスタムディレクティブが別々にある場合、BingBotのディレクティブが優先されます。）(Bing Webmasterブログ、2010年。)
• “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (翻訳)（コンテンツをBingのインデックスに残すには、BingBotにMSNBotと同じサイトアクセスを与えてください。）(Bing Webmasterブログ、2010年。)
• “IndexNow is a new protocol created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (翻訳)（IndexNowはMicrosoft BingとYandexが作成した新しいプロトコルで、ウェブサイトのコンテンツが作成、更新、削除されたとき、サイトが検索エンジンへ簡単に通知できます。）(Bing Webmasterブログ、2021年。)

Patrick Stox（私）— Bingの効率化

• “There was a lot of blowback on Bing in the past because of their aggressive crawling.” (翻訳)（過去のBingには攻撃的なクロールのため多くの反発がありました。） 引用箇所へ
• “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (翻訳)（クローラートラフィックの53%は無駄な作業だと推定され、IndexNowはその数をほぼゼロまで減らすのに役立ちます。） 引用箇所へ

Bingbotについて何をすべきか

Bingbotに関する判断は、リクエストが本当にBingbotか、そして速度を落とすか、上げるか、完全にブロックするかという2つの点で分かれます。選択肢を進めてください。

BingbotとMicrosoftクローラー — チートシート

ユーザーエージェント文字列

W.X.Y.Z＝現在の安定版Microsoft Edgeのバージョンで、Chrome/トークンへ置き換えられます（常に更新され、自動で更新される）。これらはMicrosoftが2022年4月に公開し、2023年2月に完全稼働を確認した最終文字列です。2019年12月の初期プレビューでは末尾のEdg/W.X.Y.Z断片も提案されましたが、最終UAには含まれません。ボット照合コードで必須にしないでください。

Microsoftクローラーの一族

早わかり

• 2010年10月1日に開始し、MSNBotを置き換えました。
• robots.txtにMSNBotとBingBotの両方のディレクティブがある場合、BingBotが優先されます。
• ユーザーエージェントやIPリストではなく、*.search.msn.comへの逆引きDNSで確認します（IPは変わります）。
• IPリスト：bing.com/toolbox/bingbot.json — 2024年1月生成のIPv4プレフィックス28件。
• Bing Webmaster ToolsのCrawl Controlは時間ごとのクロール速度を設定します（Googleは相当機能を削除）。
• IndexNow＝変更URLのプッシュ。Yandexと共同作成されています。

ボットが本当にBingbotか確認する

Bingbotだと名乗るリクエストだけでは何も証明できません。ユーザーエージェント文字列は簡単に偽装できます。Microsoftの説明どおり、ボットが正確なBingbotユーザーエージェントを使っているという事実だけではBingbotとは限りません。2段階の逆引き＋正引きDNSで確認します。本物のBingbot IPはsearch.msn.comで終わるホスト名に逆引きされ（パターンはmsnbot-<ip-with-dashes>.search.msn.com）、そのホスト名が同じIPへ正引きされなければなりません。

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in search.msn.com
host 157.55.39.1
# → 1.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-1.search.msn.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host msnbot-157-55-39-1.search.msn.com
# → msnbot-157-55-39-1.search.msn.com has address 157.55.39.1

Windows

nslookup 157.55.39.1
nslookup msnbot-157-55-39-1.search.msn.com

逆引きがsearch.msn.comで終わらない場合、または正引きが元のIPを返さない場合、それはBingbotではありません。MicrosoftのオンラインVerify Bingbotツールも使えます。また、公開されているbingbot.jsonのIPリストを大まかな照合に使えます。しかしMicrosoftはIPが変わる可能性を明記しているため、真実のソースはハードコードした許可リストではなくDNSです。（Googlebotの確認も同じ方法です。Google版はクロールハブのScriptsタブを参照してください。）

Bingbot対応チェックリスト

Bingbotと対立するのではなく、協調できているかを確認する簡単な手順です。

• robots.txtが、Bingに入れたいものからbingbotをブロックしていない（Yahoo、DuckDuckGo、Ecosia、Copilotも同時に制御することを忘れない）。
• 古いMSNBotディレクティブがBingbotのルールと競合していない（BingBotが優先されるが、整理する）。
• Bing Webmaster ToolsにXMLサイトマップを送信し、canonicalかつインデックス登録可能なURLだけを正確なlastmod付きで記載する。
• ボット確認はユーザーエージェントやハードコードしたIPリストではなく、逆引き＋正引きDNSで行う。
• ファイアウォールや許可リストを使うなら、固定したbingbot.jsonのIPではなくDNSで確認する（IPは変わる）。
• Bingbotのトラフィックがピーク時にサーバーへ負荷をかける場合、Crawl Controlを確認する。
• IndexNowを接続し、作成／更新／削除URLを待たずにプッシュする。
• JS依存コンテンツが到達可能でレンダリングされることを確認する（Bingbotは常に更新されるが、実際の<a href>リンクはクリックだけのナビゲーションに勝る）。
• Bing Adsを実行するなら、AdIdxBotがBingbotのクロールバジェットを共有することを理解する。
• AIを理由にbingbotをブロックする前に、Copilot専用のオプトアウトがないことを確認する。現在はブロックするとBing検索からも外れる。

メンタルモデル

1. 市場シェアではなく到達範囲。 Bingの直接的な検索シェアは小さいため、Bingbotをその数字だけで評価したくなります。重要な位置付けは、Bingbotが構築するインデックスがYahoo Search、DuckDuckGo、Ecosia、Edgeの既定検索、Microsoft Copilotのバックエンドだということです。Disallow: bingbotは「検索の3%」を失わせるのではなく、これらすべての表示面を一度に失わせます。Bing単独の数字ではなく、エコシステムへの到達範囲でBingbotの判断を評価します。

2. ユーザーエージェントではなくDNSで確認する。 リクエストのユーザーエージェント文字列はクライアントが設定するヘッダーにすぎず、誰でもbingbot/2.0をcurlコマンドへ書けます。安価に偽装できない唯一の主張は、Microsoft自身のsearch.msn.comドメインへ戻るDNSレコードで、逆引きと正引きの両方向を確認したものです。それ以外のシグナル、ユーザーエージェントや公開IPリストは証明ではなく手がかりとして扱います。

3. 大まかなものから精密なものへ、3つの手段。 robots.txtは大まかな手段です。Bingbotをパスから完全に締め出しますが、クロール制御であってインデックス削除ではありません。Bing Webmaster ToolsのCrawl Controlはダイヤルであり、何も締め出さずにBingbotが最も強くアクセスする時間を時間単位で調整します。IndexNowはメスです。Bingbotの次の訪問を待たず、変更した瞬間に1つのURLをプッシュします。実際の問題を解決する、最も大まかでない手段を選びます。

4. Googleはダイヤルを廃止し、Bingは維持した。 GoogleはSearch Consoleからクロール速度リミッターを削除しました。BingのCrawl Controlには、時間ごとの有効な速度制御が残っています。クロール速度の管理を「もうできないこと」と考えているなら、それはGooglebotについては正しくてもBingbotには当てはまりません。Bingbotのトラフィックがピーク時にサーバーへ負荷をかけるときに使える、現在の実用的な手段です。

継続的に見るKPI：Bingエコシステム全体の参照トラフィック

Bingの市場シェア数値だけではBingbotの価値を過小評価します。Bingbotが構築するインデックスはYahoo Search、DuckDuckGo、Ecosia、Microsoft Copilotにも供給されるからです。正直なKPIは「Bingのトラフィック」だけではなく、エコシステム全体の参照トラフィックを合算した値を継続的に追うことです。

Bingインデックス一族全体で参照トラフィックを分ける

• 指標 — アナリティクスツールで参照元がbing.com、search.yahoo.com、duckduckgo.com、ecosia.org、copilot.microsoft.comのセッション／クリックを合算し、Googleの数値と並べて（置き換えずに）1グループとして追跡します。
• 分かること — Bingbotをブロックしたり十分に提供しなかったりすることで、Bing以外のトラフィックまで実際に失っているか。5つすべての参照元で同時に落ちるなら、1つのエンジンのランキング問題ではなくBingbotのアクセス問題です。
• 取得方法 — 既存のアナリティクスツール（GA4、サーバーログ、現在使っているもの）を参照元ドメイン別、上記5つ別に分け、Bing Webmaster Tools — Search Performanceと組み合わせます。これはBing自身のクリックとインプレッションを直接報告しますが、Yahoo／DuckDuckGo／Ecosiaの下流の数値は見られないため、合算ビューを得られるのはアナリティクスの参照元データだけです。
• ベンチマーク／現実的な範囲 — ここで目標にできる正直な業界一律の数字はありません。エコシステムの分割はオーディエンスと地域で大きく異なります。1か月の変化を評価する前に、数か月の参照元データから自分のベースラインを作ります。
• 頻度 — 傾向を見るなら月次で十分です。robots.txtの変更、IndexNowの展開、Bingbotのアクセスに影響する変更の直後だけ、週次で確認します。

Bingbotを確認・制御するツール

• Googlebot Verifier — 私のツールです。Bingbotを名乗るIPを貼り付けると、正引きで確認した逆引きDNSチェックを実行し、偽装者なら本当のネットワーク所有者も示します。ターミナルを触らずにScriptsタブの2段階DNSチェックを実行する実用版です。
• robots.txt Tester — 私のツールです。*やGooglebotとは別に、特にbingbotトークンで特定URLが許可またはブロックされるかを確認し、どのルールが勝つかを正確に表示します。出荷前に、残ったmsnbotディレクティブがBingbotのルールと争っていないかも検出します。
• Bingbot確認ツール — Googlebot Verifierとの照合に使える、MicrosoftのオンラインIP検索。
• Bing Webmaster Tools — Crawl Control — Bingbotの時間ごとのクロール速度を直接設定します。Googleが相当機能を廃止した後も有効な制御です。
• IndexNow（indexnow.org）— 作成／更新／削除URLを、Bingbotの次の巡回を待たずにプッシュします。1回の通知ですべての参加エンジンに届きます。

時間を使う価値のあるリソース

私の関連執筆

• 新しいウェブクローラーに会う：AIボットが検索エンジンボットに迫る — Bingの攻撃的なクロールの過去、IndexNowによる転換、53%の無駄なトラフィック統計を扱います。
• クロールバジェットを心配すべきとき — Bingの「クロール効率」という位置付けと、“Bing also has an Indexing API that’s available to everyone.” (翻訳)（Bingには誰でも利用できるIndexing APIもある）という注記を含みます。
• Bingbot（Ahrefs SEO用語集） — 短い参照版。
• テクニカルSEO初心者ガイド — 大きな文脈でのクローラーの位置付け。

私の講演

• How Search Works（SlideShare）— クロール、レンダリング、インデックス登録、ランキングについての解説です。（定型の免責事項：「This is my understanding of systems… not going to be 100% complete or accurate.」が適用されます。）

他の資料

• Bingbotの仕組み：発見、クロール、抽出、インデックス登録（SEJ）— 上記のURL記憶と事前フィルタリングの背景にある、Fabrice Canelの詳しい解説。
• BingがクローラーBingbotを改善する方法と理由（SEJ、2019年）— 1日1 000億件の新URL、礼儀正しいクロールポリシー、「魅力的なエンジニアリング問題」というCanelインタビュー。
• Microsoft Bing／Copilot：LLMにはスキーマを使う（Search Engine Land、2025年）— MicrosoftのLLMを助けるスキーママークアップと、Copilotのランキングシグナルとしての新鮮なコンテンツについてSMX Munichで語ったCanel。
• クロール、レンダリング、インデックス登録を支える5つのインフラゲート（Search Engine Land）— Canelの「SEOでは少ない方が多い」クロール効率フレームワークをゲートごとに説明。
• BingbotとGooglebotがページを選ぶ方法（Kalicube）— Googlebotとの比較を含む、URL発見の考え方に関するCanelの「主要ページを手がかりにする」という引用。
• r/TechSEO — クロール／インデックスのデバッグに関するコミュニティ。

引用する価値のある統計

• 1日約1 000億件の新しいURLを発見 — Bingbotが毎日発見する未確認URL数についての、Fabrice Canelによる2019年の数字（“more than 100 billion new URLs never seen before” (翻訳)（これまで見たことのない新しいURLを1 000億件以上））。別の2020年の数字は約700億件なので、どちらを引用する場合も日付を付けます。 出典
• クローラートラフィックの約53%が無駄な作業 — 私の推定であり、IndexNowの理由です。変更をプッシュすれば*“can help cut that number down to almost nothing.”* (翻訳)（その数をほぼゼロまで減らすのに役立つ）可能性があります。 出典
• 公開IPv4プレフィックス28件 — Microsoft公式Bingbot IPリスト（bingbot.json、2024年1月生成）の規模です。参考にはなりますが、Microsoftはアドレスが変わると警告しているため、逆引きDNSで確認します。 出典

自分で確認：Bingbot

Bingbot、確認方法、到達範囲についての簡単な5つの質問です。それぞれ答えを選んでから、確認してください。

変更履歴