Il crawler Bingbot

TL;DR — Bingbot è il crawler di Microsoft Bing: il bot che visita le tue pagine, le scarica e le aggiunge all’indice di ricerca di Bing. Funziona in modo molto simile a Googlebot. Bloccarlo impedisce a Bing di eseguire il crawling degli URL interessati e può anche avere conseguenze sui prodotti o partner che usano l’infrastruttura di ricerca di Bing, quindi verifica l’impatto sulla documentazione Microsoft aggiornata.

Che cos’è Bingbot

Quando vedi bingbot nei log del server, è il crawler di Microsoft che visita il tuo sito. Proprio come Googlebot fa per Google, Bingbot segue i link, legge le sitemap, scarica le pagine e le passa all’indice di Bing: il database da cui Bing attinge quando qualcuno effettua una ricerca.

È stato lanciato il 1° ottobre 2010, subentrando a un bot precedente chiamato MSNBot. Il nome che vedrai in robots.txt e nei log è semplicemente bingbot.

Perché conta più di quanto pensi

Ecco la parte che sorprende molti. La quota di Bing nel mercato della ricerca è ridotta, quindi è facile essere tentati di ignorare del tutto Bingbot. Ma l’indice di Bing costruito da Bingbot non alimenta solo Bing. Alimenta anche:

• Yahoo Search
• DuckDuckGo
• Ecosia
• La ricerca predefinita di Microsoft Edge
• Microsoft Copilot

Quindi, se blocchi Bingbot, non scompari soltanto da Bing: ti tagli fuori da tutti questi servizi contemporaneamente. È una conseguenza molto più grande di quanto lasci intendere una “quota di mercato del 3%”.

Bingbot sa leggere JavaScript?

Sì. Un tempo si temeva che Bing non sapesse gestire i siti fortemente dipendenti da JavaScript, ma oggi Bingbot usa lo stesso motore Chromium che alimenta Microsoft Edge, quindi esegue il rendering delle pagine come farebbe un browser moderno. Se i tuoi contenuti compaiono in una versione attuale di Edge o Chrome, in genere Bingbot può vederli a sua volta.

Come aiutare Bingbot (o fermarlo)

• Per lasciarlo entrare: assicurati che le pagine importanti siano collegate, invia una sitemap in Bing Webmaster Tools e non bloccarle accidentalmente in robots.txt.
• Per rallentarlo: Bing Webmaster Tools offre una funzione chiamata Crawl Control che ti permette di impostare, ora per ora, la velocità con cui Bingbot esegue il crawling.
• Per accelerarlo: esiste un’opzione di “push” chiamata IndexNow, che ti permette di comunicare a Bing all’istante che una pagina è cambiata, invece di aspettare il crawling successivo.

Vuoi la versione tecnica: le stringhe user-agent, come verificare che una richiesta sia davvero di Bingbot, gli altri crawler Microsoft e il modo in cui Bingbot alimenta Copilot? Passa alla scheda Advanced.

TL;DR — Bingbot è il crawler di Microsoft Bing (token robots.txt: bingbot), attivo dal 1° ottobre 2010, quando sostituì MSNBot. È evergreen sul motore Edge basato su Chromium, quindi esegue il rendering del JavaScript moderno. La sua portata reale è più ampia del traffico attribuito direttamente a bing.com, perché Microsoft usa la propria infrastruttura di ricerca tra prodotti e partnership. Verificalo con il metodo documentato da Bing, invece di fidarti della stringa user-agent. Gestisci il crawling con robots.txt, Crawl Control in Bing Webmaster Tools e IndexNow, il protocollo push di Bing creato insieme a Yandex.

Da MSNBot a Bingbot

Bingbot è il principale crawler web di Microsoft: il programma che scopre, recupera ed elabora le pagine per costruire e aggiornare l’indice di Bing. È entrato in funzione il 1° ottobre 2010, sostituendo il vecchio MSNBot. La transizione introdusse una regola robots.txt ancora importante se hai direttive obsolete: l’annuncio di Microsoft diceva che “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (traduzione) «dal 1° ottobre, se vengono rilevati insiemi separati di direttive personalizzate per MSNBot e BingBot nel file robots.txt, prevarranno le direttive di BingBot». Quindi le regole MSNBot non sovrascrivono silenziosamente quelle di Bingbot: accade il contrario.

Bingbot alimenta più di Bing

Questo è il cambio di prospettiva più importante di questa pagina. La quota diretta di Bing nel mercato della ricerca è ridotta, e così molti professionisti SEO lo ignorano. Ma l’indice costruito da Bingbot alimenta anche Yahoo Search, DuckDuckGo, Ecosia, la ricerca predefinita di Edge e Microsoft Copilot; storicamente alimentava anche ChatGPT Search. La dipendenza di Yahoo risale al lancio del 2010, quando Microsoft avvertì i proprietari dei siti: “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (traduzione) «per mantenere i tuoi contenuti nell’indice di Bing, assicurati che BingBot abbia lo stesso accesso al sito concesso a MSNBot».

La conseguenza pratica è questa: un Disallow per bingbot non ti costa “solo Bing”. Si propaga all’intero ecosistema contemporaneamente. Che Bing ti interessi in modo specifico o meno, Bingbot è il gateway verso una parte significativa del web ricercabile e, sempre più, verso le risposte dell’IA.

La stringa user-agent (e perché è evergreen)

Lo user-agent di Bingbot contiene il token bingbot/2.0 e un numero di versione Chrome/W.X.Y.Z basato su Chromium, dove W.X.Y.Z viene sostituito con la build stabile corrente di Microsoft Edge (l’esempio di Microsoft è 100.0.4896.127): è questa sostituzione a rendere la stringa evergreen. Secondo l’annuncio Microsoft dell’aprile 2022 sulle stringhe finali, lo user-agent desktop è Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 e quello mobile è Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm). L’anteprima precedente di Microsoft, del dicembre 2019, proponeva anche un frammento finale Edg/W.X.Y.Z, ma quel frammento non compare nelle stringhe finali pubblicate da Microsoft nel 2022 e confermate completamente attive nel febbraio 2023: se confronti lo UA di bingbot nel codice, non richiederlo. La vecchia stringa legacy era la semplice Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm).

“Evergreen” significa esattamente che il numero di versione segue automaticamente l’ultima versione stabile di Edge. In pratica, questo ha eliminato il vecchio divario tra i due livelli di crawling e rendering: poiché Bingbot usa la stessa famiglia di motori Chromium di Edge e Chrome moderni, esegue il rendering del JavaScript come un browser aggiornato. Bing considera inoltre il dynamic rendering in buona fede un’opzione legittima per i siti con molto JavaScript: dal suo punto di vista non è cloaking.

Verificare Bingbot: lo user-agent non basta

Le stringhe user-agent sono semplicissime da falsificare, quindi una richiesta che dichiara di essere Bingbot non dimostra nulla da sola. Il controllo affidabile è il DNS inverso in due passaggi:

1. Esegui una ricerca inversa (PTR) dell’IP che esegue il crawling, ricavato dai log. Un IP autentico di Bingbot risolve in un hostname che termina con search.msn.com: il formato è msnbot-<ip-with-dashes>.search.msn.com (quindi 157.55.39.1 → msnbot-157-55-39-1.search.msn.com).
2. Esegui una ricerca diretta (A) di quell’hostname. Deve risolvere di nuovo nell’IP originale.

Se uno dei due passaggi fallisce, non è Bingbot. Microsoft pubblica anche un elenco di IP in bing.com/toolbox/bingbot.json (28 prefissi IPv4, generato l’ultima volta a gennaio 2024), ma le sue stesse indicazioni raccomandano di preferire il DNS inverso all’elenco IP, perché gli indirizzi possono cambiare in qualsiasi momento. Considera il JSON un riferimento approssimativo, non una allow-list per il firewall. La stessa logica DNS-inverso-prima-dell’elenco-IP vale per Googlebot: consulta gli script nella scheda Scripts per la verifica.

Come Bingbot scopre ed esegue il crawling

La scoperta è guidata dai link. Fabrice Canel, storico responsabile di Bingbot in Microsoft, descrive l’approccio come un percorso basato sull’importanza: “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (traduzione) «siamo guidati dalle pagine chiave importanti su Internet e seguiamo i link per capire che cosa viene dopo». La scala è enorme: in un’intervista del 2019 Canel disse “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (traduzione) «ogni giorno il mio team scopre più di 100 miliardi di nuovi URL mai visti prima, mentre i parametri URL inutili vengono ignorati». Una cifra del 2020 portava la scoperta di nuovi URL a circa 70 miliardi al giorno: entrambi i numeri sono reali e si riferiscono a date diverse, quindi vale la pena indicare l’anno quando si cita l’uno o l’altro.

Due comportamenti distinguono Bingbot dal modo in cui Google descrive il proprio crawler:

• Pre-filtraggio prima del fetch. Bingbot esprime un giudizio su costo e valore prima ancora di scaricare un URL. Come ha affermato Bing, “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (traduzione) «le pagine ritenute assolutamente prive di potenziale utilità per soddisfare la query di ricerca di un utente nei risultati di Bing non vengono conservate».
• Memoria degli URL. Bingbot ricorda gli URL essenzialmente per sempre: “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (traduzione) «Bingbot conserva in memoria ogni URL e torna a eseguirne periodicamente il crawling, anche se tutti i link che lo puntano sono stati rimossi». Per questo una pagina può continuare a ricevere visite di Bingbot molto tempo dopo che hai eliminato ogni link interno.

Alla base di tutto c’è un atteggiamento che mette la cortesia al primo posto. Canel: “Our default crawl policy is to be as polite as possible when crawling the web.” (traduzione) «la nostra politica di crawling predefinita è essere il più cortesi possibile durante il crawling del web». E il suo commento schietto sul problema è: “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (traduzione) «eseguire correttamente il crawling è un affascinante problema di ingegneria che non è ancora stato risolto del tutto».

Altri crawler Microsoft

Bingbot non è l’unico bot Microsoft che vedrai:

• AdIdxBot (adidxbot) — il crawler per il controllo qualità di Bing Ads. Il punto importante da sapere è che condivide il crawl budget con Bingbot, quindi un crawling pubblicitario intenso può consumare il budget delle tue pagine organiche.
• BingPreview — genera istantanee delle pagine e miniature di anteprima.
• MicrosoftPreview — anteprime dei link in Teams e Office.
• BingVideoPreview — anteprime video mostrate solo in Bing. Come gli altri, ha varianti desktop e mobile e si identifica tramite +https://aka.ms/microsoftbots, invece dell’URL bingbot.htm usato dai crawler più vecchi.
• MSNBot / MSNBot-Media — il crawler legacy, ritirato il 1° ottobre 2010.

Controllare il crawling di Bingbot

Tre leve, da quella più drastica a quella più chirurgica:

• robots.txt — il token bingbot controlla il crawling. Usalo per tenere il bot fuori dalle aree di scarso valore: non è uno strumento di deindicizzazione.
• Crawl Control (Bing Webmaster Tools) — permette di impostare la velocità oraria del crawling, così puoi rallentarlo nelle ore di punta e lasciarlo procedere più velocemente fuori punta. È una vera divergenza tra Google e Bing: Google ha ritirato il selettore della velocità di crawling in Search Console, mentre Bing offre ancora un controllo attivo.
• IndexNow — invece di aspettare un nuovo crawling, fai un push della modifica. È un protocollo “created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (traduzione) «creato da Microsoft Bing e Yandex, permette ai siti di notificare facilmente ai motori di ricerca ogni volta che i contenuti vengono creati, aggiornati o eliminati». Qui non ripeto la trattazione completa: consulta l’approfondimento su IndexNow per configurazione, file chiave e limite di 10 000 URL per richiesta.

Il punto strategico a cui torno sempre è questo: Bing ha corretto la reputazione di crawler aggressivo diventando efficiente, e IndexNow è il fulcro di questa svolta. Come ho scritto nella mia analisi del crawling dei bot IA e dei motori di ricerca, “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (traduzione) «si stima che il 53% del traffico dei crawler sia uno sforzo sprecato e che IndexNow possa ridurre quel numero quasi a zero». Inviare le modifiche è meglio che cercare di ottenere più crawling esplorativo.

Bingbot, Copilot e il divario per il rifiuto dell’IA

Poiché l’indice di Bing alimenta Microsoft Copilot, Bingbot è di fatto anche un crawler per l’IA. Le indicazioni di Canel per ottenere una buona presenza sono concrete: “schema markup helps Microsoft’s LLMs understand your content,” (traduzione) «il markup dello schema aiuta gli LLM di Microsoft a comprendere i tuoi contenuti» e “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (traduzione) «le IA generative danno particolare valore ai contenuti aggiornati, anche come controllo di riferimento dei dati di addestramento dei loro LLM; usa l’API di indexnow.org per inviare queste informazioni quando vengono pubblicate o aggiornate».

C’è una complicazione che gli articoli dei concorrenti tendono a ignorare. Google offre un token Google-Extended per rifiutare l’addestramento dell’IA senza influire sull’indicizzazione nella ricerca. Secondo la maggior parte delle analisi di terze parti, per Bing non esiste un rifiuto separato equivalente: bloccare bingbot per restare fuori dall’addestramento di Copilot farebbe quindi uscire anche dalla ricerca di Bing e da tutto ciò che ne dipende. Lo tratterei come un’osservazione sull’attuale allineamento dei controlli, non come una politica Microsoft definitiva, e controllerei la documentazione aggiornata prima di agire.

Per capire il posto di Bingbot nel quadro più ampio — la famiglia di crawler, Googlebot, il concetto di user-agent, i crawler IA, robots.txt e IndexNow — l’hub sul crawling riunisce tutto.

Riepilogo IA

Una sintesi della versione Advanced:

• Bingbot = crawler di Microsoft Bing. Token robots.txt bingbot; attivo dal 1° ottobre 2010, quando sostituì MSNBot (e le direttive BingBot hanno la precedenza su quelle MSNBot rimaste).
• Portata > quota di mercato. L’indice costruito da Bingbot alimenta anche Yahoo, DuckDuckGo, Ecosia, la ricerca predefinita di Edge e Copilot: bloccare bingbot si ripercuote molto oltre Bing.
• Rendering evergreen. Usa il motore Edge basato su Chromium; lo UA contiene il token bingbot/2.0 e un numero di versione Chrome/W.X.Y.Z sostituito con la build stabile corrente di Edge (nessun frammento Edg/ separato nelle stringhe finali del 2022). Esegue il rendering del JavaScript moderno; il dynamic rendering in buona fede non è cloaking.
• Verifica con DNS inverso in due passaggi: PTR verso msnbot-*.search.msn.com, poi una ricerca diretta che corrisponda all’IP. Gli user-agent sono falsificabili; preferisci il DNS inverso all’elenco IP bingbot.json (che cambia).
• Come esegue il crawling: segue “pagine chiave” e link, scopre circa 100 miliardi di nuovi URL al giorno (2019; circa 70 miliardi secondo una cifra del 2020), pre-filtra gli URL “senza potenziale” prima del fetch e conserva ogni URL in memoria, ripetendo il crawling anche dopo la rimozione di tutti i link.
• Altri bot Microsoft: AdIdxBot (condivide il crawl budget di Bingbot), BingPreview, MicrosoftPreview, BingVideoPreview; MSNBot è ritirato.
• Controllalo con robots.txt, Crawl Control (velocità oraria: Google ha rimosso l’equivalente) e IndexNow (push, creato insieme a Yandex). Come ho osservato, circa il 53% del traffico dei crawler è sprecato e IndexNow lo riduce quasi a zero.
• Aspetto IA: Bingbot alimenta Copilot; schema e contenuti aggiornati aiutano; non esiste un equivalente Bing chiaro di Google-Extended, quindi bloccarlo per l’addestramento IA fa uscire anche dalla ricerca (consideralo un’osservazione e verifica la documentazione attuale).

Documentazione ufficiale

Documentazione primaria, soprattutto di Microsoft/Bing, con un link di confronto a Google. Attenzione: molti post su blogs.bing.com e le pagine bing.com/webmasters/help vengono renderizzati con JavaScript o reindirizzati, quindi conferma i dettagli in un browser se un link rimbalza.

Bing / Microsoft

• Quali crawler usa Bing? — l’elenco ufficiale dei bot Microsoft e dei relativi token user-agent (Bingbot, AdIdxBot e i crawler di anteprima).
• Annuncio del cambio di user-agent per il crawler Bing bingbot — le stringhe UA desktop e mobile finali di Microsoft (confermate completamente attive nel febbraio 2023); è la fonte per le stringhe esatte citate sopra.
• Elenco IP di Bingbot (bingbot.json) — i prefissi IPv4 pubblicati. Usalo solo come riferimento: Microsoft raccomanda il DNS inverso.
• Strumento per verificare Bingbot — il lookup online di Microsoft per confermare che un IP di crawling sia davvero Bingbot.
• Bing Webmaster Tools — Crawl Control — imposta la velocità di crawling di Bingbot ora per ora.
• IndexNow / indexnow.org — il protocollo push per segnalare all’istante URL creati, aggiornati o eliminati.
• Serie Bingbot: massimizzare l’efficienza del crawling — la filosofia di Bing sull‘“efficienza del crawling”.

Google (per confronto)

• Panoramica dei crawler e fetcher di Google — gli user-agent e gli intervalli IP di Googlebot, il parallelo con la configurazione di Bing. Nota le differenze: Google ha ritirato il controllo manuale della velocità di crawling, non usa IndexNow per le pagine generiche e offre Google-Extended per rifiutare separatamente l’addestramento IA rispetto alla ricerca.

Citazioni dalla fonte

Dichiarazioni ufficiali su Bingbot, soprattutto di Fabrice Canel, responsabile di Bingbot in Microsoft. Ogni link è un collegamento diretto che porta al passaggio citato.

Fabrice Canel, Microsoft Bing — scoperta e scala

• “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (traduzione) «siamo guidati dalle pagine chiave importanti su Internet e seguiamo i link per capire che cosa viene dopo.» Vai alla citazione
• “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (traduzione) «ogni giorno il mio team scopre più di 100 miliardi di nuovi URL mai visti prima, mentre i parametri URL inutili vengono ignorati.» (intervista a Search Engine Journal, 2019.) Vai alla citazione
• “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (traduzione) «eseguire correttamente la scansione è un affascinante problema di ingegneria che non è ancora stato risolto del tutto.» (SEJ, 2019.) Vai alla citazione
• “Our default crawl policy is to be as polite as possible when crawling the web.” (traduzione) «la nostra politica di scansione predefinita consiste nell’essere il più cortesi possibile durante la scansione del web.» (SEJ, 2019.) Vai alla citazione

Microsoft Bing — come Bingbot gestisce gli URL

• “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (traduzione) «Bingbot conserva in memoria ogni URL e torna a sottoporlo periodicamente a scansione, anche se tutti i link che lo puntavano sono stati rimossi.» Vai alla citazione
• “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (traduzione) «le pagine ritenute assolutamente prive di potenziale utilità per soddisfare la query di un utente nei risultati di Bing non vengono conservate.» Vai alla citazione

Fabrice Canel, Microsoft Bing — efficienza, schema e IA

• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (traduzione) «meno è meglio per la SEO. Non dimenticarlo: meno URL da sottoporre a scansione significa una SEO migliore.» Vai alla citazione
• “schema markup helps Microsoft’s LLMs understand your content.” (traduzione) «il markup schema aiuta gli LLM di Microsoft a comprendere i contenuti.» (SMX Munich, 2025.) Vai alla citazione
• “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (traduzione) «le IA generative apprezzano in particolare i contenuti aggiornati, anche come controllo dei dati di addestramento dei loro LLM. Usa l’API di indexnow.org per inviare queste informazioni quando vengono pubblicate o aggiornate.» Vai alla citazione

Microsoft Bing — il lancio del 2010 e IndexNow

• “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (traduzione) «dal 1° ottobre, se rileviamo insiemi separati di direttive personalizzate per MSNBot e BingBot nel file robots.txt, prevarranno le direttive di BingBot.» (Blog Bing Webmaster, 2010.)
• “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (traduzione) «per mantenere i contenuti nell’indice di Bing, assicurati che BingBot abbia lo stesso accesso al sito concesso a MSNBot.» (Blog Bing Webmaster, 2010.)
• “IndexNow is a new protocol created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (traduzione) «IndexNow è un nuovo protocollo creato da Microsoft Bing e Yandex che consente ai siti di notificare facilmente ai motori di ricerca quando i contenuti vengono creati, aggiornati o eliminati.» (Blog Bing Webmaster, 2021.)

Patrick Stox (io) — la svolta sull’efficienza di Bing

• “There was a lot of blowback on Bing in the past because of their aggressive crawling.” (traduzione) «in passato Bing ha ricevuto molte critiche per la sua scansione aggressiva.» Vai alla citazione
• “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (traduzione) «si stima che il 53% del traffico dei crawler sia sprecato e che IndexNow possa ridurre questa quota quasi a zero.» Vai alla citazione

Che cosa devo fare con Bingbot?

Le decisioni su Bingbot dipendono da due cose: se una richiesta è davvero di Bingbot e se vuoi rallentarlo, accelerarlo o bloccarlo del tutto. Fai clic per proseguire.

Bingbot e crawler Microsoft — scheda rapida

Stringhe user-agent

W.X.Y.Z = la versione stabile corrente di Microsoft Edge, sostituita nel token Chrome/ (evergreen: si aggiorna da sola). Queste sono le stringhe finali pubblicate da Microsoft nell’aprile 2022 e confermate completamente attive nel febbraio 2023; un’anteprima precedente del dicembre 2019 proponeva anche un frammento finale Edg/W.X.Y.Z, ma non fa parte dello UA definitivo: non richiederlo nel codice di identificazione dei bot.

La famiglia di crawler Microsoft

Fatti rapidi

• Lanciato il 1° ottobre 2010, in sostituzione di MSNBot.
• Se in robots.txt esistono direttive sia per MSNBot sia per BingBot, vince BingBot.
• Verifica tramite DNS inverso verso *.search.msn.com, non tramite lo user-agent e non tramite l’elenco IP (gli IP cambiano).
• Elenco IP: bing.com/toolbox/bingbot.json — 28 prefissi IPv4, generato a gennaio 2024.
• Crawl Control in Bing Webmaster Tools imposta la velocità oraria di crawling (Google ha rimosso l’equivalente).
• IndexNow = invia gli URL modificati con un push; è stato creato insieme a Yandex.

Verificare che un bot sia davvero Bingbot

Una richiesta che dice di essere Bingbot non dimostra nulla: la stringa user-agent è semplicissima da falsificare. Come afferma Microsoft, il fatto che un bot usi lo user-agent esatto di Bingbot non lo rende Bingbot. Confermalo con un controllo DNS inverso + diretto in due passaggi. Un IP autentico di Bingbot risolve inversamente in un hostname che termina con search.msn.com (formato msnbot-<ip-with-dashes>.search.msn.com), e quell’hostname deve risolvere direttamente di nuovo nello stesso IP.

macOS / Linux — comandi

# 1) Reverse DNS the IP from your logs — it should end in search.msn.com
host 157.55.39.1
# → 1.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-1.search.msn.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host msnbot-157-55-39-1.search.msn.com
# → msnbot-157-55-39-1.search.msn.com has address 157.55.39.1

Windows — comandi

nslookup 157.55.39.1
nslookup msnbot-157-55-39-1.search.msn.com

Se la ricerca inversa non termina in search.msn.com oppure la ricerca diretta non restituisce l’IP originale, non è Bingbot: scartalo o applica un rate limit. Puoi usare anche lo strumento online Verifica Bingbot di Microsoft e l’elenco IP bingbot.json pubblicato come controllo approssimativo; Microsoft afferma però esplicitamente che gli IP possono cambiare, quindi il DNS è la fonte di verità, non una allow-list codificata. È lo stesso approccio usato per verificare Googlebot: consulta la scheda Scripts dell’hub sul crawling per la versione Google.

Checklist di preparazione per Bingbot

Un controllo rapido per assicurarti di lavorare con Bingbot e non contro di lui:

• robots.txt non blocca bingbot dalle aree che vuoi rendere disponibili in Bing (ricorda: questo regola anche Yahoo, DuckDuckGo, Ecosia e Copilot).
• Nessuna direttiva MSNBot obsoleta contrasta con le regole per Bingbot (vince BingBot, ma ripulisci comunque le direttive).
• Sitemap XML inviata in Bing Webmaster Tools, con soli URL canonici e indicizzabili e lastmod accurato.
• La verifica del bot usa DNS inverso + diretto, non lo user-agent e non un elenco IP codificato.
• Se usi un firewall o una allow-list per i bot, verifichi tramite DNS, senza fissare gli IP di bingbot.json (cambiano).
• Crawl Control controllato se il traffico di Bingbot sovraccarica il server nelle ore di punta.
• IndexNow configurato, in modo che gli URL creati, aggiornati o eliminati vengano inviati invece di aspettare.
• I contenuti dipendenti da JS sono raggiungibili e vengono renderizzati (Bingbot è evergreen, ma i veri link <a href> restano migliori della navigazione basata solo sui clic).
• Consapevolezza che AdIdxBot condivide il crawl budget di Bingbot se usi Bing Ads.
• Prima di bloccare bingbot per motivi legati all’IA, hai verificato che non esista un rifiuto Copilot separato: al momento bloccarlo ti esclude anche dalla ricerca Bing.

Modelli mentali

1. Portata, non quota di mercato. La quota diretta di Bing nella ricerca è ridotta, quindi è facile giudicare Bingbot solo da quel numero. Il cambio di prospettiva importante è che l’indice costruito da Bingbot è il backend di Yahoo Search, DuckDuckGo, Ecosia, della ricerca predefinita di Edge e di Microsoft Copilot. Una regola Disallow: bingbot non ti costa “il 3% della ricerca”: ti costa tutte queste superfici contemporaneamente. Valuta le decisioni su Bingbot in base alla portata dell’ecosistema, non al numero isolato di Bing.

2. Verifica con il DNS, non con lo user-agent. La stringa user-agent di una richiesta è solo un header impostato dal client: chiunque può scrivere bingbot/2.0 in un comando curl. L’unica dichiarazione difficile da falsificare a buon mercato è un record DNS che rimanda al dominio Microsoft search.msn.com, controllato in entrambe le direzioni (inversa e poi diretta). Considera ogni altro segnale, dallo user-agent all’elenco IP pubblicato, un indizio e non una prova.

3. Tre leve, da drastica a chirurgica. robots.txt è lo strumento drastico: tiene Bingbot completamente fuori da un percorso, ma controlla il crawling, non la deindicizzazione. Crawl Control in Bing Webmaster Tools è la manopola: regola quando Bingbot ti colpisce più duramente, ora per ora, senza chiudere l’accesso. IndexNow è il bisturi: non aspetta affatto il ritorno di Bingbot, ma invia un singolo URL nel momento in cui cambia. Scegli la leva meno drastica che risolva il problema reale.

4. Google ha rimosso la manopola; Bing l’ha mantenuta. Google ha rimosso il limitatore della velocità di crawling da Search Console. Crawl Control di Bing offre ancora un controllo attivo della velocità oraria. Se sei abituato a considerare la gestione della velocità di crawling “una cosa che non si può più fare davvero”, è vero per Googlebot ma non per Bingbot: è una leva attuale e concreta da usare quando il traffico di Bingbot sovraccarica il server nelle ore di punta.

Il KPI permanente: traffico referral totale dell’ecosistema Bing

La quota di mercato dichiarata da Bing sottostima il valore di Bingbot per te, perché l’indice che costruisce alimenta anche Yahoo Search, DuckDuckGo, Ecosia e Microsoft Copilot. Il KPI onesto non è il “traffico Bing” isolato, ma il traffico referral combinato dell’intero ecosistema, monitorato nel tempo.

Segmenta il traffico referral dell’intera famiglia dell’indice Bing

• Metrica — sessioni/clic nel tuo strumento di analytics in cui il referrer è bing.com, search.yahoo.com, duckduckgo.com, ecosia.org o copilot.microsoft.com, sommati e monitorati come un unico gruppo accanto (non al posto del) dato di Google.
• Che cosa indica — se bloccare Bingbot o offrirgli un servizio incompleto ti sta davvero costando traffico oltre Bing. Un calo che compare contemporaneamente su tutti e cinque i referrer è un problema di accesso a Bingbot, non un problema di ranking su un solo motore.
• Come estrarla — segmenta lo strumento di analytics esistente (GA4, log del server o qualunque sistema tu usi già) per dominio referrer, uno per ciascuno dei cinque sopra, e abbinalo a Bing Webmaster Tools — Search Performance, che mostra direttamente clic e impression di Bing (non può vedere i numeri downstream di Yahoo/DuckDuckGo/Ecosia, quindi i dati dei referrer in analytics sono l’unico luogo in cui esiste la vista combinata).
• Benchmark / intervallo realistico — non esiste un numero onesto valido per tutto il settore da puntare: la distribuzione dell’ecosistema varia enormemente in base al pubblico e alla geografia. Stabilisci il tuo benchmark usando alcuni mesi di dati dei referrer prima di giudicare il movimento di un singolo mese.
• Cadenza — mensile basta per il trend; controlla ogni settimana subito dopo una modifica a robots.txt, un’implementazione di IndexNow o qualsiasi altro intervento sull’accesso di Bingbot.

Strumenti per verificare e controllare Bingbot

• Googlebot Verifier — il mio strumento. Incolla un IP che dichiara di essere Bingbot: esegue per te il controllo DNS inverso con conferma diretta e indica anche il vero proprietario della rete se si tratta di uno spoofing. È la versione pratica del controllo DNS in due passaggi nella scheda Scripts, senza usare il terminale.
• Tester robots.txt — il mio strumento. Controlla se un URL specifico è consentito o bloccato in base al token bingbot (distinto da * o Googlebot), mostra esattamente quale regola vince e intercetta una direttiva msnbot rimasta in conflitto con la regola Bingbot prima della pubblicazione.
• Strumento Verifica Bingbot — il lookup IP online di Microsoft, utile come controllo incrociato rispetto a Googlebot Verifier.
• Bing Webmaster Tools — Crawl Control — imposta direttamente la velocità oraria di crawling di Bingbot: il controllo attivo di cui Google ha ritirato l’equivalente.
• IndexNow (indexnow.org) — invia URL creati, aggiornati o eliminati invece di aspettare il passaggio successivo di Bingbot; un ping raggiunge tutti i motori partecipanti.

Risorse che vale la pena consultare

I miei articoli correlati

• I nuovi crawler web: i bot IA si avvicinano ai bot dei motori di ricerca — dove tratto il passato di crawling aggressivo di Bing, la svolta di IndexNow e la statistica del 53% di traffico sprecato.
• Quando dovresti preoccuparti del crawl budget? — include il concetto di “crawl efficiency” di Bing e la nota che “Bing also has an Indexing API that’s available to everyone.” (traduzione) «Bing dispone anche di un’API di indicizzazione disponibile per tutti».
• Bingbot (glossario SEO di Ahrefs) — la versione breve di riferimento.
• Guida introduttiva alla SEO tecnica — dove si collocano i crawler nel quadro generale.

I miei interventi

• Come funziona la ricerca (SlideShare) — il mio percorso attraverso crawling, rendering, indicizzazione e ranking. (Vale il disclaimer permanente: “This is my understanding of systems… not going to be 100% complete or accurate.” (traduzione) «questa è la mia comprensione dei sistemi, non sarà completa o accurata al 100%»).

Da altri

• Come funziona Bingbot: scoperta, scansione, estrazione e indicizzazione (SEJ) — il percorso dettagliato di Fabrice Canel alla base dei punti sulla memoria degli URL e il pre-filtraggio.
• Perché e come Bing intende migliorare il suo crawler Bingbot (SEJ, 2019) — l’intervista a Canel con la cifra dei 100 miliardi di nuovi URL al giorno, la citazione sulla politica di crawling cortese e il problema di ingegneria “affascinante”.
• Microsoft Bing/Copilot: usa lo schema per i suoi LLM (Search Engine Land, 2025) — Canel a SMX Munich sul fatto che il markup dello schema aiuti gli LLM Microsoft e che i contenuti aggiornati siano un segnale di ranking per Copilot.
• I cinque livelli infrastrutturali dietro scansione, rendering e indicizzazione (Search Engine Land) — il framework di efficienza del crawling di Canel, “less is more for SEO”, spiegato gate per gate.
• Come Bingbot e Googlebot scelgono le pagine (Kalicube) — la citazione di Canel sulle “pagine chiave” e la filosofia della scoperta degli URL, con il confronto con Googlebot.
• r/TechSEO — la community per il debugging di crawling e indicizzazione.

Statistiche degne di una citazione

• ~100 miliardi di nuovi URL scoperti al giorno — la cifra del 2019 di Fabrice Canel per il numero di URL mai visti prima che Bingbot trova ogni giorno (“more than 100 billion new URLs never seen before” (traduzione) «più di 100 miliardi di nuovi URL mai visti prima»). L’anchor della fonte è “Every day, my team discovers more than 100 billion new URLs never seen before” (traduzione) «ogni giorno il mio team scopre più di 100 miliardi di nuovi URL mai visti prima». Una cifra separata del 2020 era di circa 70 miliardi: mantieni la data quando citi l’una o l’altra. Fonte
• ~53% del traffico dei crawler è uno sforzo sprecato — la mia stima e il motivo per cui IndexNow è utile: l’invio delle modifiche “can help cut that number down to almost nothing.” (traduzione) «può contribuire a ridurre quel numero quasi a zero». L’anchor della fonte è “It’s estimated that 53% of crawler traffic is wasted effort” (traduzione) «si stima che il 53% del traffico dei crawler sia uno sforzo sprecato». Fonte
• 28 prefissi IPv4 pubblicati — la dimensione dell’elenco IP ufficiale di Bingbot di Microsoft (bingbot.json, generato a gennaio 2024): un contesto utile, ma Microsoft avverte che gli indirizzi cambiano, quindi verifica invece tramite DNS inverso. Fonte

Mettiti alla prova: Bingbot

Cinque domande rapide su Bingbot, verifica e portata. Scegli una risposta per ciascuna e poi controlla il risultato.

Cronologia modifiche