Bingbot: Crawling, Verifizierung und Crawl-Steuerung

TL;DR — Bingbot ist der Crawler von Microsoft Bing — der Bot, der Ihre Seiten besucht, herunterlädt und in den Bing-Suchindex aufnimmt. Er arbeitet ähnlich wie Googlebot. Wenn Sie ihn blockieren, kann Bing die betroffenen URLs nicht crawlen; auch Produkte und Partner, die Bings Suchinfrastruktur nutzen, können betroffen sein. Prüfen Sie die Auswirkungen anhand der aktuellen Microsoft-Dokumentation.

Was Bingbot ist

Wenn Sie bingbot in Ihren Server-Logs sehen, besucht der Crawler von Microsoft Ihre Website. Wie Googlebot für Google folgt Bingbot Links, liest Sitemaps, lädt Ihre Seiten herunter und übergibt sie zur Aufnahme in den Bing-Index — die Datenbank, aus der Bing Suchergebnisse liefert.

Bingbot ging am 1. Oktober 2010 live und löste einen älteren Bot namens MSNBot ab. Der Name, den Sie in robots.txt und Ihren Logs sehen, lautet schlicht bingbot.

Warum er wichtiger ist, als Sie vielleicht denken

Hier überrascht die Reichweite. Bings Anteil am Suchmarkt ist klein, daher liegt es nahe, Bingbot ganz zu ignorieren. Der Index, den Bingbot aufbaut, versorgt aber nicht nur Bing, sondern auch:

• Yahoo Search
• DuckDuckGo
• Ecosia
• die Standardsuche von Microsoft Edge
• Microsoft Copilot

Wenn Sie Bingbot blockieren, verschwinden Sie also nicht nur aus Bing, sondern schneiden sich gleichzeitig von all diesen Diensten ab. Das ist deutlich folgenreicher, als „3 % Marktanteil“ vermuten lässt.

Kann Bingbot JavaScript lesen?

Ja. Früher bestand die Sorge, dass Bing JavaScript-lastige Websites nicht verarbeiten könne. Bingbot läuft inzwischen aber auf derselben Chromium-Engine wie Microsoft Edge und rendert Seiten daher wie ein moderner Browser. Wenn Ihre Inhalte in einer aktuellen Edge- oder Chrome-Version erscheinen, kann Bingbot sie im Allgemeinen ebenfalls sehen.

Bingbot unterstützen (oder stoppen)

• Zulassen: Wichtige Seiten verlinken, eine Sitemap in den Bing Webmaster Tools übermitteln und sie nicht versehentlich in robots.txt blockieren.
• Verlangsamen: Bing Webmaster Tools bietet Crawl Control, mit dem Sie stündlich festlegen, wie schnell Bingbot crawlt.
• Beschleunigen: Mit der Push-Option IndexNow können Sie Bing sofort über eine Änderung informieren, statt auf den nächsten Crawl zu warten.

Sie möchten die technische Version — User-Agent-Strings, die Verifizierung eines echten Bingbot-Requests, die anderen Microsoft-Crawler und Bingbots Rolle für Copilot? Wechseln Sie zum Tab Fortgeschritten.

TL;DR — Bingbot ist der Crawler von Microsoft Bing (Token in robots.txt: bingbot) und seit dem 1. Oktober 2010 aktiv, als er MSNBot ersetzte. Er ist auf der Chromium-basierten Edge-Engine evergreen und rendert deshalb modernes JavaScript. Seine tatsächliche Reichweite geht über den Traffic hinaus, der direkt der Bing-Suche zugeordnet wird, weil Microsoft die Suchinfrastruktur in Produkten und Partnerschaften nutzt. Verifizieren Sie ihn mit Bings dokumentierter Methode, statt dem User-Agent-String zu vertrauen. Steuern Sie den Crawl über robots.txt, Crawl Control in Bing Webmaster Tools und IndexNow — Bings Push-Protokoll, das gemeinsam mit Yandex entwickelt wurde.

Von MSNBot zu Bingbot

Bingbot ist Microsofts primärer Webcrawler – das Programm, das Seiten entdeckt, abruft und verarbeitet, um den Bing-Index aufzubauen und zu aktualisieren. Er ging am 1. Oktober 2010 live und ersetzte den alten MSNBot. Mit diesem Wechsel kam auch eine robots.txt-Regel, die bei alten Direktiven weiterhin wichtig ist: Microsoft schrieb in seiner Ankündigung “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (Übersetzung) „Wenn wir ab dem 1. Oktober separate Sätze benutzerdefinierter Direktiven für MSNBot und BingBot in Ihrer robots.txt-Datei erkennen, haben die BingBot-Direktiven Vorrang.“ MSNBot-Regeln überschreiben Ihre Bingbot-Regeln also nicht stillschweigend – es ist umgekehrt.

Bingbot versorgt mehr als Bing

Das ist die wichtigste neue Perspektive dieser Seite. Bings direkter Suchmarktanteil ist klein, weshalb viele SEOs Bing überspringen. Der von Bingbot aufgebaute Index versorgt aber auch Yahoo Search, DuckDuckGo, Ecosia, die Standardsuche von Edge und Microsoft Copilot – historisch auch ChatGPT Search. Die Abhängigkeit von Yahoo reicht bis zum Start 2010 zurück, als Microsoft Websitebetreiber warnte: “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (Übersetzung) „Damit Ihre Inhalte im Bing-Index bleiben, stellen Sie bitte sicher, dass BingBot denselben Zugriff auf Ihre Website hat wie MSNBot.“

Die praktische Folge: Ein Disallow für bingbot kostet Sie nicht „nur Bing“. Es wirkt sich gleichzeitig auf das gesamte Ökosystem aus. Ob Ihnen Bing wichtig ist oder nicht: Bingbot ist das Tor zu einem bedeutenden Teil des durchsuchbaren Webs — und zunehmend auch zu KI-Antworten.

Der User-Agent-String (und warum er evergreen ist)

Bingbots User-Agent enthält das Token bingbot/2.0 sowie eine Chromium-basierte Versionsnummer Chrome/W.X.Y.Z, wobei W.X.Y.Z durch den aktuellen stabilen Microsoft-Edge-Build ersetzt wird (Microsofts eigenes Beispiel: 100.0.4896.127). Diese Ersetzung macht den String evergreen. Laut Microsofts Ankündigung der finalen Strings vom April 2022 lautet der Desktop-UA: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 und der Mobile-UA: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm). In der früheren Vorschau vom Dezember 2019 war zusätzlich ein abschließendes Fragment Edg/W.X.Y.Z vorgeschlagen worden. Es gehört aber nicht zu den 2022 veröffentlichten finalen Strings, die im Februar 2023 vollständig live bestätigt wurden — verlangen Sie es beim Matching in Code nicht. Der alte Legacy- String war der bloße Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm).

„Evergreen“ bedeutet, dass die Versionsnummer automatisch der aktuellen stabilen Edge-Version folgt. Praktisch hat dies die alte zweistufige Lücke zwischen Crawling und Rendering beendet: Weil Bingbot dieselbe Chromium-Engine-Familie wie modernes Edge und Chrome nutzt, rendert er JavaScript wie ein aktueller Browser. Bing betrachtet gut gemeintes Dynamic Rendering für JS-lastige Websites außerdem als legitime Option — aus Bings Sicht ist es kein Cloaking.

Bingbot verifizieren — der User-Agent reicht nicht

User-Agent-Strings lassen sich trivial fälschen; ein Request, der behauptet, Bingbot zu sein, beweist allein nichts. Die zuverlässige Prüfung ist zweistufiges Reverse-DNS:

1. Reverse-(PTR-)Lookup der Crawl-IP aus Ihren Logs. Eine echte Bingbot-IP wird auf einen Hostnamen aufgelöst, der auf search.msn.com endet — das Muster ist msnbot-<ip-with-dashes>.search.msn.com (also 157.55.39.1 → msnbot-157-55-39-1.search.msn.com).
2. Forward-(A-)Lookup dieses Hostnamens. Er muss zurück auf die ursprüngliche IP aufgelöst werden.

Wenn einer der beiden Schritte fehlschlägt, ist es nicht Bingbot. Microsoft veröffentlicht unter bing.com/toolbox/bingbot.json zwar eine IP-Liste (28 IPv4-Präfixe, zuletzt im Januar 2024 erzeugt), empfiehlt aber ausdrücklich, Reverse-DNS gegenüber der IP-Liste zu bevorzugen, weil sich Adressen jederzeit ändern können. Behandeln Sie die JSON-Datei als grobe Referenz, nicht als Firewall-Allowlist. Dieselbe Reverse-DNS-statt-IPlisten-Logik gilt für Googlebot (siehe die Verifizierungsskripte im Tab Skripte).

Wie Bingbot entdeckt und crawlt

Die Entdeckung ist linkgetrieben. Fabrice Canel, Microsofts langjähriger Bingbot-Leiter, beschreibt den Ansatz als Orientierung an der Wichtigkeit: “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (Übersetzung) „Wir lassen uns von wichtigen Seiten im Internet leiten und folgen Links, um zu verstehen, was als Nächstes kommt.“ Die Größenordnung ist enorm – in einem Interview von 2019 sagte Canel: “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (Übersetzung) „Jeden Tag entdeckt mein Team mehr als 100 Milliarden neue, zuvor ungesehene URLs; nutzlose URL-Parameter werden ignoriert.“ (Eine Zahl von 2020 nannte etwa 70 Milliarden neue URLs pro Tag. Beide Zahlen stammen aus unterschiedlichen Jahren; beim Zitieren sollte das Jahr erhalten bleiben.)

Zwei Verhaltensweisen unterscheiden Bingbot von Googles eigener Beschreibung des Crawlers:

• Vorfilterung vor dem Abruf. Bingbot bewertet Kosten und Nutzen, bevor er eine URL überhaupt herunterlädt. Bing formuliert es so: “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (Übersetzung) „Seiten, denen in den Bing-Ergebnissen keinerlei Potenzial zugesprochen wird, die Suchanfrage eines Nutzers sinnvoll zu erfüllen, werden nicht behalten.“
• URL-Gedächtnis. Bingbot merkt sich URLs im Wesentlichen für immer: “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (Übersetzung) „Bingbot behält jede URL im Gedächtnis und kehrt regelmäßig zurück, um sie erneut zu crawlen, selbst wenn alle Links auf sie entfernt wurden.“ Deshalb kann Bingbot noch lange Treffer auf einer Seite erzeugen, nachdem alle internen Links entfernt wurden.

Darunter steht eine auf Höflichkeit ausgerichtete Haltung. Canel sagt: “Our default crawl policy is to be as polite as possible when crawling the web.” (Übersetzung) „Unsere standardmäßige Crawl-Richtlinie ist, beim Crawlen des Webs so höflich wie möglich zu sein.“ Seine offene Einschätzung des Problems lautet: “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (Übersetzung) „Richtiges Crawling ist ein faszinierendes Engineering-Problem, das noch nicht vollständig gelöst ist.“

Weitere Microsoft-Crawler

Bingbot ist nicht der einzige Microsoft-Bot, den Sie sehen werden:

• AdIdxBot (adidxbot) — der Qualitätskontroll-Crawler von Bing Ads. Wichtig: Er teilt das Crawl-Budget mit Bingbot, sodass umfangreiches Werbe-Crawling Budget für organische Seiten verbrauchen kann.
• BingPreview — erstellt Seitensnapshots und Vorschaubilder.
• MicrosoftPreview — Linkvorschauen in Teams und Office.
• BingVideoPreview — Videovorschauen, die nur in Bing angezeigt werden. Wie die anderen Varianten gibt es Desktop und Mobile; der Bot identifiziert sich über +https://aka.ms/microsoftbots statt über die ältere bingbot.htm-URL.
• MSNBot / MSNBot-Media — der alte Crawler, am 1. Oktober 2010 eingestellt.

Bings Crawl steuern

Drei Hebel, vom groben zum gezielten:

• robots.txt — das Token bingbot steuert das Crawling. Halten Sie den Bot damit aus Bereichen mit geringem Wert heraus; es ist kein Deindexierungswerkzeug.
• Crawl Control (Bing Webmaster Tools) — legt Bings stündliche Crawl-Rate fest, damit Sie den Bot während Spitzenzeiten verlangsamen und außerhalb davon schneller laufen lassen können. Das ist ein echter Unterschied zwischen Google und Bing: Google hat den Crawl-Rate-Schieberegler in der Search Console eingestellt, während Bing weiterhin eine aktive Steuerung anbietet.
• IndexNow — statt auf den nächsten Crawl zu warten, pushen Sie die Änderung. Es ist ein Protokoll, das “created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (Übersetzung) „von Microsoft Bing und Yandex entwickelt wurde und Websites ermöglicht, Suchmaschinen zu benachrichtigen, sobald ihre Website-Inhalte erstellt, aktualisiert oder gelöscht werden.“ Ein Ping erreicht jede teilnehmende Suchmaschine. Die vollständige Behandlung folgt im IndexNow-Deep-Dive: Einrichtung, Schlüsseldatei und Limit von 10 000 URLs pro Request.

Der strategische Punkt, auf den ich immer wieder zurückkomme: Bing hat seinen Ruf für aggressives Crawling durch mehr Effizienz korrigiert, und IndexNow ist das Herzstück dieses Ansatzes. Wie ich in meiner Analyse des Crawlings von KI- und Suchmaschinen-Bots geschrieben habe: “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (Übersetzung) „Schätzungsweise 53 % des Crawl-Traffics sind verschwendete Arbeit, und IndexNow kann dazu beitragen, diese Zahl auf fast null zu senken.“ Änderungen zu pushen ist besser, als mehr Erkundungs-Crawling erzwingen zu wollen.

Bingbot, Copilot und die Lücke beim KI-Opt-out

Weil der Bing-Index Microsoft Copilot versorgt, ist Bingbot effektiv auch ein KI-Crawler. Canels Empfehlung für gute Sichtbarkeit dort ist konkret: “schema markup helps Microsoft’s LLMs understand your content,” (Übersetzung) „Schema-Markup hilft Microsofts LLMs, Ihre Inhalte zu verstehen,“ und “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (Übersetzung) „Generative KIs schätzen insbesondere aktuelle Inhalte, teilweise als Abgleich mit ihren LLM-Trainingsdaten. Verwenden Sie die API unter indexnow.org, um diese Informationen bei Veröffentlichung oder Aktualisierung zu übermitteln.“

Es gibt eine Nuance, die Konkurrenzartikel häufig auslassen. Google bietet das Token Google-Extended, mit dem Sie KI-Training abwählen können, ohne die Suchindexierung zu beeinflussen. Nach den meisten Drittquellen gibt es für Bing kein entsprechendes separates Opt-out — ein Blockieren von bingbot, um Copilot-Training zu vermeiden, würde Sie daher auch aus der Bing-Suche und allem nachgelagerten Traffic entfernen. Ich behandle das als Beobachtung zur aktuellen Anordnung der Kontrollen, nicht als feststehende Microsoft-Richtlinie; prüfen Sie die aktuelle Dokumentation, bevor Sie handeln.

Für das größere Bild — Crawlerfamilie, Googlebot, User-Agent-Konzept, KI-Crawler, robots.txt und IndexNow — verbindet der Crawling-Hub alle Themen.

KI-Zusammenfassung

Eine komprimierte Fassung der Advanced-Version:

• Bingbot = der Crawler von Microsoft Bing. Token in robots.txt: bingbot; aktiv seit dem 1. Oktober 2010, als er MSNBot ersetzte (bei beiden Direktiven haben BingBot-Regeln Vorrang).
• Reichweite > Marktanteil. Der von Bingbot aufgebaute Index versorgt auch Yahoo, DuckDuckGo, Ecosia, die Edge-Standardsuche und Copilot; ein Blockieren von bingbot wirkt daher weit über Bing hinaus.
• Evergreen-Rendering. Bingbot läuft auf der Chromium-basierten Edge-Engine. Der UA enthält bingbot/2.0 und eine Chrome/W.X.Y.Z-Versionsnummer, die durch den aktuellen stabilen Edge-Build ersetzt wird (kein separates Edg/-Fragment in den finalen Strings von 2022). Er rendert modernes JavaScript; gut gemeintes Dynamic Rendering ist kein Cloaking.
• Über zweistufiges Reverse-DNS verifizieren: PTR zu msnbot-*.search.msn.com, dann Forward-Lookup mit derselben IP. User-Agents sind fälschbar; Reverse-DNS ist der IP-Liste bingbot.json (die sich ändert) vorzuziehen.
• Crawling: folgt „wichtigen Seiten“ und Links, entdeckt etwa 100 Milliarden neue URLs pro Tag (2019; etwa 70 Milliarden in einer Zahl von 2020), filtert URLs ohne „Potenzial“ vor dem Abruf und behält jede URL im Speicher — auch nachdem alle Links entfernt wurden.
• Weitere Microsoft-Bots: AdIdxBot (teilt Bings Crawl-Budget), BingPreview, MicrosoftPreview und BingVideoPreview; MSNBot ist eingestellt.
• Steuerung über robots.txt, Crawl Control (Stundenrate — Google hat das Gegenstück entfernt) und IndexNow (Push, gemeinsam mit Yandex entwickelt). Patricks Einordnung: Etwa 53 % des Crawler-Traffics sind Verschwendung; IndexNow reduziert das fast auf null.
• KI-Aspekt: Bingbot versorgt Copilot; Schema und aktuelle Inhalte helfen. Es gibt kein klares Bing-Gegenstück zu Google-Extended. Ein Blockieren für KI-Training entfernt Sie daher auch aus der Suche (als Beobachtung behandeln und aktuelle Dokumentation prüfen).

Offizielle Dokumentation

Primärquellen, überwiegend von Microsoft und Bing, ergänzt um einen Google- Vergleichslink. Hinweis: Viele Beiträge auf blogs.bing.com und Seiten unter bing.com/webmasters/help werden per JavaScript gerendert oder umgeleitet. Wenn ein Link springt, sollten Sie die Angaben im Browser bestätigen.

Bing / Microsoft

• Welche Crawler verwendet Bing? — offizielle Liste der Microsoft-Bots und ihrer User-Agent-Tokens (Bingbot, AdIdxBot und Preview-Crawler).
• Ankündigung der User-Agent-Änderung für den Bing-Crawler Bingbot — Microsofts finale Desktop- und Mobile-UA-Strings (im Februar 2023 vollständig live bestätigt); Quelle der oben zitierten exakten Strings.
• Bingbot-IP-Liste (bingbot.json) — veröffentlichte IPv4-Präfixe; nur als Referenz verwenden, Microsoft empfiehlt stattdessen Reverse-DNS.
• Bingbot-Prüftool — Microsofts Online-Lookup, um eine Crawl-IP als echten Bingbot zu bestätigen.
• Bing Webmaster Tools – Crawl Control — Bings Crawl-Rate nach Stunden festlegen.
• IndexNow / indexnow.org — Push-Protokoll zum sofortigen Melden erstellter, aktualisierter oder gelöschter URLs.
• bingbot-Serie: Maximierung der Crawl-Effizienz — Bings Philosophie der Crawl-Effizienz.

Google (zum Vergleich)

• Overview of Google crawlers and fetchers — Googlebots User-Agents und IP-Bereiche als Gegenstück zu Bing. Unterschiede: Google hat die manuelle Crawl-Rate-Steuerung eingestellt, nutzt IndexNow nicht für allgemeine Seiten und bietet Google-Extended zum separaten Opt-out vom KI-Training unabhängig von der Suche.

Zitate aus den Quellen

Namentlich zugeordnete Aussagen über Bingbot, überwiegend von Fabrice Canel, Microsofts Bingbot-Leiter. Jeder Link führt über einen Deep Link direkt zum Zitat.

Fabrice Canel, Microsoft Bing — Entdeckung und Größenordnung

• “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (Übersetzung) „Wir lassen uns von wichtigen Seiten im Internet leiten und folgen Links, um zu verstehen, was als Nächstes kommt.“ Zum Zitat
• “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (Übersetzung) „Jeden Tag entdeckt mein Team mehr als 100 Milliarden neue, zuvor ungesehene URLs; nutzlose URL-Parameter werden ignoriert.“ (Interview mit Search Engine Journal, 2019.) Zum Zitat
• “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (Übersetzung) „Richtiges Crawling ist ein faszinierendes Engineering-Problem, das noch nicht vollständig gelöst ist.“ (SEJ, 2019.) Zum Zitat
• “Our default crawl policy is to be as polite as possible when crawling the web.” (Übersetzung) „Unsere standardmäßige Crawl-Richtlinie ist, beim Crawlen des Webs so höflich wie möglich zu sein.“ (SEJ, 2019.) Zum Zitat

Microsoft Bing — wie Bingbot URLs verarbeitet

• “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (Übersetzung) „Bingbot behält jede URL im Gedächtnis und kehrt regelmäßig zurück, um sie erneut zu crawlen, selbst wenn alle Links auf sie entfernt wurden.“ Zum Zitat
• “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (Übersetzung) „Seiten, denen in den Bing-Ergebnissen keinerlei Potenzial zugesprochen wird, die Suchanfrage eines Nutzers sinnvoll zu erfüllen, werden nicht behalten.“ Zum Zitat

Fabrice Canel, Microsoft Bing — Effizienz, Schema und KI

• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (Übersetzung) „Weniger ist mehr für SEO. Vergessen Sie das nie. Weniger zu crawlende URLs sind besser für SEO.“ Zum Zitat
• “schema markup helps Microsoft’s LLMs understand your content.” (Übersetzung) „Schema-Markup hilft Microsofts LLMs, Ihre Inhalte zu verstehen.“ (SMX Munich, 2025.) Zum Zitat
• “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (Übersetzung) „Generative KIs schätzen insbesondere aktuelle Inhalte, teilweise als Referenzprüfung ihrer LLM-Trainingsdaten. Verwenden Sie die API unter indexnow.org, um diese Informationen bei Veröffentlichung oder Aktualisierung zu übermitteln.“ Zum Zitat

Microsoft Bing — der Start 2010 und IndexNow

• “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (Übersetzung) „Seit dem 1. Oktober gilt: Wenn wir separate Sätze benutzerdefinierter Direktiven für MSNBot und BingBot in Ihrer robots.txt-Datei erkennen, haben die BingBot-Direktiven Vorrang.“ (Bing-Webmaster-Blog, 2010.)
• “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (Übersetzung) „Damit Ihre Inhalte im Bing-Index bleiben, stellen Sie sicher, dass BingBot denselben Zugriff auf Ihre Website hat wie MSNBot.“ (Bing-Webmaster-Blog, 2010.)
• “IndexNow is a new protocol created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (Übersetzung) „IndexNow ist ein neues Protokoll, das von Microsoft Bing und Yandex entwickelt wurde und Websites ermöglicht, Suchmaschinen einfach zu benachrichtigen, sobald Website-Inhalte erstellt, aktualisiert oder gelöscht werden.“ (Bing-Webmaster-Blog, 2021.)

Patrick Stox (ich) — Bings Effizienzwende

• “There was a lot of blowback on Bing in the past because of their aggressive crawling.” (Übersetzung) „In der Vergangenheit gab es wegen des aggressiven Crawlings viel Gegenwind für Bing.“ Zum Zitat
• “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (Übersetzung) „Schätzungsweise 53 % des Crawler-Traffics sind verschwendete Arbeit, und IndexNow kann dazu beitragen, diese Zahl auf fast null zu senken.“ Zum Zitat

Was soll ich mit Bingbot tun?

Bingbot-Entscheidungen hängen an zwei Fragen: Stammt ein Request wirklich von Bingbot, und möchten Sie ihn verlangsamen, beschleunigen oder vollständig blockieren? Folgen Sie dem Entscheidungsbaum.

Bingbot und Microsoft-Crawler — Spickzettel

User-Agent-Strings

W.X.Y.Z ist die aktuelle stabile Microsoft-Edge-Version, eingesetzt in das Chrome/-Token (evergreen — aktualisiert sich selbst). Dies sind die finalen Strings, die Microsoft im April 2022 veröffentlichte und im Februar 2023 vollständig live bestätigte. Eine frühere Vorschau vom Dezember 2019 schlug auch ein abschließendes Edg/W.X.Y.Z-Fragment vor; es gehört nicht zum finalen UA. Verlangen Sie es beim Bot-Matching nicht.

Die Microsoft-Crawlerfamilie

Schnelle Fakten

• Start am 1. Oktober 2010, als Ersatz für MSNBot.
• Wenn Direktiven für MSNBot und BingBot in robots.txt vorhanden sind, gewinnt BingBot.
• Über Reverse-DNS zu *.search.msn.com verifizieren, nicht über User-Agent und nicht über die IP-Liste (IPs ändern sich).
• IP-Liste: bing.com/toolbox/bingbot.json — 28 IPv4-Präfixe, erzeugt im Januar 2024.
• Crawl Control in Bing Webmaster Tools setzt die stündliche Crawl-Rate (Google hat das Gegenstück entfernt).
• IndexNow = geänderte URLs pushen; gemeinsam mit Yandex entwickelt.

Prüfen, ob ein Bot wirklich Bingbot ist

Ein Request, der behauptet, Bingbot zu sein, beweist nichts — der User-Agent- String lässt sich trivial fälschen. Microsoft formuliert es so: Selbst der exakte Bingbot-User-Agent macht einen Bot nicht zu Bingbot. Bestätigen Sie ihn mit einer zweistufigen Reverse-/Forward-DNS-Prüfung. Eine echte Bingbot-IP wird rückwärts auf einen Hostnamen mit Ende search.msn.com aufgelöst (Muster msnbot-<ip-with-dashes>.search.msn.com), und dieser Hostname muss vorwärts wieder auf dieselbe IP zeigen.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in search.msn.com
host 157.55.39.1
# → 1.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-1.search.msn.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host msnbot-157-55-39-1.search.msn.com
# → msnbot-157-55-39-1.search.msn.com has address 157.55.39.1

Windows

nslookup 157.55.39.1
nslookup msnbot-157-55-39-1.search.msn.com

Wenn der Reverse-Lookup nicht auf search.msn.com endet oder der Forward-Lookup nicht die ursprüngliche IP liefert, ist es nicht Bingbot — verwerfen oder begrenzen Sie den Request. Sie können auch Microsofts Verify-Bingbot-Tool und die veröffentlichte IP-Liste in bingbot.json als groben Gegencheck nutzen. Microsoft weist jedoch ausdrücklich darauf hin, dass sich IPs ändern; DNS ist die Quelle der Wahrheit, keine hart codierte Allowlist. (Dasselbe Verfahren gilt für Googlebot; den Google-Versionscode finden Sie im Tab Skripte des Crawling-Hubs.)

Checkliste für Bingbot-Bereitschaft

Ein kurzer Durchlauf, um zu bestätigen, dass Sie mit Bingbot und nicht gegen Bingbot arbeiten:

• robots.txt blockiert bingbot nicht für Inhalte, die in Bing erscheinen sollen (das steuert auch Yahoo, DuckDuckGo, Ecosia und Copilot).
• Keine veralteten MSNBot-Direktiven kollidieren mit Ihren Bingbot-Regeln (BingBot gewinnt, aber räumen Sie die alten Regeln auf).
• XML-Sitemap in Bing Webmaster Tools eingereicht, mit ausschließlich kanonischen, indexierbaren URLs und korrektem lastmod.
• Bot-Verifizierung nutzt Reverse- und Forward-DNS, nicht User-Agent oder eine hart codierte IP-Liste.
• Wenn Sie Bots per Firewall oder Allowlist steuern, erfolgt die Verifizierung über DNS — die bingbot.json-IPs werden nicht fest eincodiert.
• Crawl Control geprüft, wenn Bingbot-Traffic Ihren Server zu Spitzenzeiten belastet.
• IndexNow eingerichtet, damit erstellte, aktualisierte und gelöschte URLs gepusht werden, statt auf den nächsten Crawl zu warten.
• JS-abhängige Inhalte sind erreichbar und werden gerendert (Bingbot ist evergreen, echte <a href>-Links sind aber besser als reine Klicknavigation).
• Beachten Sie, dass AdIdxBot Bings Crawl-Budget teilt, wenn Sie Bing Ads nutzen.
• Vor einer Blockierung von bingbot aus KI-Gründen geprüft, dass es kein separates Copilot-Opt-out gibt — die Blockierung entfernt Sie derzeit auch aus der Bing-Suche.

Die mentalen Modelle

1. Reichweite, nicht Marktanteil. Bings direkter Suchanteil ist klein; es liegt nahe, Bingbot nur nach dieser Zahl zu beurteilen. Entscheidend ist die neue Perspektive: Der von Bingbot aufgebaute Index ist das Backend für Yahoo Search, DuckDuckGo, Ecosia, die Edge-Standardsuche und Microsoft Copilot. Eine Regel Disallow: bingbot kostet nicht „3 % der Suche“, sondern alle diese Oberflächen gleichzeitig. Beurteilen Sie Bingbot nach der Reichweite des Ökosystems, nicht nach Bings isolierter Zahl.

2. Nach DNS verifizieren, nicht nach User-Agent. Der User-Agent eines Requests ist nur ein vom Client gesetzter Header — jeder kann bingbot/2.0 in einen curl-Befehl schreiben. Die einzige nicht billig fälschbare Aussage ist ein DNS-Eintrag, der auf Microsofts eigene Domain search.msn.com zeigt und in beide Richtungen geprüft wird (rückwärts, dann vorwärts). Alle anderen Signale — User-Agent und veröffentlichte IP-Liste — sind Hinweise, kein Beweis.

3. Drei Hebel, vom groben zum gezielten. robots.txt ist das grobe Instrument: Es hält Bingbot vollständig aus einem Pfad heraus, steuert aber das Crawling und nicht die Deindexierung. Crawl Control in Bing Webmaster Tools ist der Regler: Er bestimmt stündlich, wann Bingbot Sie am stärksten besucht, ohne irgendetwas auszusperren. IndexNow ist das Skalpell: Es wartet nicht darauf, dass Bingbot wieder vorbeikommt, sondern pusht eine URL im Moment ihrer Änderung. Wählen Sie den feinsten Hebel, der das tatsächliche Problem löst.

4. Google hat den Regler entfernt; Bing behält ihn. Google entfernte seine Crawl-Rate-Begrenzung aus der Search Console. Bings Crawl Control bietet weiterhin eine aktive stündliche Steuerung. Wenn Sie Crawl-Rate-Management als etwas betrachten, das man heute nicht mehr wirklich tun kann, gilt das für Googlebot, aber nicht für Bingbot — bei belastendem Bingbot-Traffic zu Spitzenzeiten ist es ein aktueller Hebel.

Die zentrale KPI: Empfehlungs-Traffic aus dem gesamten Bing-Ökosystem

Bings eigener Marktanteil unterschätzt den Wert von Bingbot, weil der von ihm aufgebaute Index auch Yahoo Search, DuckDuckGo, Ecosia und Microsoft Copilot versorgt. Die ehrliche KPI ist nicht isolierter „Bing-Traffic“, sondern der kombinierte Empfehlungs-Traffic aus dem gesamten Ökosystem, über die Zeit verfolgt.

Empfehlungs-Traffic nach der gesamten Bing-Index-Familie segmentieren

• Metrik — Sitzungen/Klicks in Ihrem Analytics-Tool, deren Referrer bing.com, search.yahoo.com, duckduckgo.com, ecosia.org oder copilot.microsoft.com ist; als eine Gruppe summiert und neben (nicht anstelle) Ihrer Google-Zahl verfolgt.
• Aussage — Ob eine Blockierung oder schlechte Versorgung von Bingbot tatsächlich Traffic über Bing hinaus kostet. Ein Einbruch bei allen fünf Referrern zugleich ist ein Bingbot-Zugriffsproblem, kein Rankingproblem einer einzelnen Suchmaschine.
• Erhebung — Das vorhandene Analytics-Tool (GA4, Server-Logs oder Ihr aktuelles System) nach Referrer-Domain für jede der fünf Domains segmentieren und mit Bing Webmaster Tools — Search Performance verbinden. Dieses meldet nur Bings eigene Klicks und Impressionen; Yahoo-/DuckDuckGo-/Ecosia-Zahlen downstream kann es nicht sehen, daher liefern Analytics-Referrer die einzige kombinierte Sicht.
• Benchmark / realistischer Bereich — Es gibt hier keine ehrliche branchenweite Zielzahl; die Aufteilung variiert stark nach Zielgruppe und Geografie. Eine eigene Basislinie aus einigen Monaten Referrer-Daten festlegen, bevor die Bewegung eines einzelnen Monats bewertet wird.
• Rhythmus — Monatlich genügt für den Trend; nach einer Änderung an robots.txt, einem IndexNow-Rollout oder einer anderen Änderung an Bings Zugriff direkt danach wöchentlich prüfen.

Werkzeuge zum Verifizieren und Steuern von Bingbot

• Googlebot Verifier — mein Tool. Eine IP eingeben, die behauptet, Bingbot zu sein; es führt die vorwärts bestätigte Reverse-DNS-Prüfung aus und nennt bei einem Spoofer den echten Netzbetreiber. Die praktische Version der zweistufigen DNS-Prüfung im Tab Scripts, ohne Terminal.
• robots.txt Tester — mein Tool. Prüfen, ob eine bestimmte URL speziell für das Token bingbot erlaubt oder blockiert ist (getrennt von * oder Googlebot), welche Regel gewinnt und ob eine alte msnbot-Direktive Ihre Bingbot-Regel bekämpft.
• Verify Bingbot tool — Microsofts Online-IP-Lookup als Gegencheck zum Googlebot Verifier.
• Bing Webmaster Tools — Crawl Control — Bings stündliche Crawl-Rate direkt festlegen; die aktive Steuerung, deren Google-Gegenstück eingestellt wurde.
• IndexNow (indexnow.org) — erstellte, aktualisierte und gelöschte URLs pushen, statt auf Bings nächsten Crawl zu warten; ein Ping erreicht jede teilnehmende Suchmaschine.

Ressourcen, für die sich die Zeit lohnt

Meine verwandten Beiträge

• Neue Webcrawler kennenlernen: KI-Bots rücken den Suchmaschinen-Bots näher — dort behandle ich Bings Vergangenheit mit aggressivem Crawling, die IndexNow-Wende und die Schätzung, dass 53 % des Crawler-Traffics verschwendet sind.
• Wann sollten Sie sich um Crawl-Budget sorgen? — enthält Bings Perspektive der „Crawl-Effizienz“ und den Hinweis, dass “Bing also has an Indexing API that’s available to everyone.” (Übersetzung) „Bing verfügt ebenfalls über eine für alle verfügbare Indexing API.“
• Bingbot (Ahrefs-SEO-Glossar) — die kurze Referenzfassung.
• Der Einsteigerleitfaden für technisches SEO — dort wird eingeordnet, wie Crawler ins größere Bild passen.

Meine Vorträge

• How Search Works (SlideShare) — mein Überblick über Crawling, Rendering, Indexierung und Ranking. (Der ständige Hinweis gilt: “This is my understanding of systems… not going to be 100% complete or accurate.” (Übersetzung) „Das ist mein Verständnis der Systeme … es wird nicht zu 100 % vollständig oder korrekt sein.“)

Von anderen

• Wie Bingbot funktioniert: Entdecken, Crawlen, Extrahieren und Indexieren (SEJ) — der ausführliche Fabrice-Canel-Überblick hinter den Punkten zum URL-Gedächtnis und zur Vorfilterung.
• Warum und wie Bing seinen Crawler Bingbot verbessern will (SEJ, 2019) — Canels Interview mit 100 Milliarden neuen URLs pro Tag, dem Zitat zur höflichen Crawl-Policy und der Zeile zum „faszinierenden Engineering-Problem“.
• Microsoft Bing / Copilot: Schema für seine LLMs verwenden (Search Engine Land, 2025) — Canels SMX-Munich-Aussage zu Schema für Microsoft-LLMs und aktuellen Inhalten als Copilot-Ranking-Signal.
• Die fünf Infrastruktur-Gates hinter Crawl, Render und Indexierung (Search Engine Land) — Canels Crawl-Effizienzrahmen „less is more for SEO“, Gate für Gate erklärt.
• Wie Bingbot und Googlebot Seiten auswählen (Kalicube) — Canels Zitat zu „wichtigen Seiten“ bei der URL-Entdeckung, mit Googlebot-Vergleich.
• r/TechSEO — die Community für Crawl-/Index-Debugging.

Statistiken, die sich zitieren lassen

• Etwa 100 Milliarden neue URLs pro Tag entdeckt — Fabrice Canels Zahl von 2019 für bisher nie gesehene URLs, die Bingbot täglich findet (“more than 100 billion new URLs never seen before” (Übersetzung) „mehr als 100 Milliarden bisher ungesehene URLs“). Eine separate Zahl von 2020 lag bei etwa 70 Milliarden; beim Zitieren das Datum angeben. Quelle
• Etwa 53 % des Crawler-Traffics sind Verschwendung — meine Schätzung und der Grund für IndexNow: Änderungen zu pushen “can help cut that number down to almost nothing.” (Übersetzung) „kann diese Zahl auf fast null senken.“ Quelle
• 28 veröffentlichte IPv4-Präfixe — die Größe von Microsofts offizieller Bingbot-IP-Liste (bingbot.json, erzeugt im Januar 2024). Nützlicher Kontext, aber Microsoft warnt, dass sich Adressen ändern; daher per Reverse-DNS verifizieren. Quelle

Testen Sie sich selbst: Bingbot

Fünf kurze Fragen zu Bingbot, Verifizierung und Reichweite. Wählen Sie jeweils eine Antwort und prüfen Sie anschließend.

Änderungsprotokoll