Rastreador Bingbot

TL;DR — O Bingbot é o crawler do Microsoft Bing — o bot que visita suas páginas, faz o download delas e as adiciona ao índice de busca do Bing. Ele funciona de forma muito parecida com o Googlebot. Bloqueá-lo impede o Bing de rastrear as URLs afetadas e também pode afetar produtos ou parceiros que usam a infraestrutura de busca do Bing; por isso, confirme o impacto na documentação atual da Microsoft.

O que é o Bingbot

Quando você vê bingbot nos logs do servidor, é o crawler da Microsoft visitando seu site. Assim como o Googlebot faz para o Google, o Bingbot segue links, lê sitemaps, baixa suas páginas e as encaminha para serem adicionadas ao índice do Bing — o banco de dados do qual o Bing extrai resultados quando alguém pesquisa.

Ele foi lançado em 1º de outubro de 2010, substituindo um bot mais antigo chamado MSNBot. O nome que você verá no robots.txt e nos seus logs é simplesmente bingbot.

Por que ele importa mais do que você imagina

Esta é a parte que surpreende as pessoas. A fatia do Bing no mercado de busca é pequena, então é tentador ignorar completamente o Bingbot. Mas o índice que ele constrói não alimenta apenas o Bing. Ele também sustenta:

• Yahoo Search
• DuckDuckGo
• Ecosia
• Busca padrão do Microsoft Edge
• Microsoft Copilot

Portanto, se você bloquear o Bingbot, não estará apenas desaparecendo do Bing — estará se isolando de todos esses serviços ao mesmo tempo. É algo muito maior do que a expressão “3% de participação de mercado” faz parecer.

O Bingbot consegue ler JavaScript?

Sim. Antes havia a preocupação de que o Bing não conseguisse lidar com sites muito dependentes de JavaScript, mas agora o Bingbot usa o mesmo mecanismo Chromium que alimenta o Microsoft Edge, portanto renderiza páginas como um navegador moderno. Se seu conteúdo aparece em uma versão atual do Edge ou do Chrome, em geral o Bingbot também consegue vê-lo.

Como ajudar (ou impedir) o Bingbot

• Para deixá-lo entrar: garanta que suas páginas importantes estejam vinculadas, envie um sitemap no Bing Webmaster Tools e não as bloqueie acidentalmente no robots.txt.
• Para desacelerá-lo: o Bing Webmaster Tools tem um recurso chamado Crawl Control que permite definir a velocidade de rastreamento do Bingbot, hora a hora.
• Para acelerar as coisas: há uma opção de “envio” chamada IndexNow, que permite avisar o Bing no instante em que uma página muda, em vez de esperar o próximo rastreamento.

Quer a versão técnica — as strings de user-agent, como verificar se uma solicitação é realmente do Bingbot, os outros crawlers da Microsoft e como o Bingbot alimenta o Copilot? Mude para a aba Avançado.

TL;DR — O Bingbot é o crawler do Microsoft Bing (token do robots.txt: bingbot), ativo desde 1º de outubro de 2010, quando substituiu o MSNBot. Ele é evergreen no mecanismo Edge baseado em Chromium, então renderiza JavaScript moderno. Seu alcance real é maior do que o tráfego atribuído diretamente a bing.com, porque a Microsoft usa sua infraestrutura de busca em produtos e parcerias. Verifique-o usando o método documentado pelo Bing, em vez de confiar na string de user-agent. Gerencie o rastreamento com robots.txt, Crawl Control no Bing Webmaster Tools e IndexNow — o protocolo de envio do Bing, criado em conjunto com o Yandex.

Do MSNBot ao Bingbot

O Bingbot é o crawler web principal da Microsoft — o programa que descobre, busca e processa páginas para construir e atualizar o índice do Bing. Ele entrou em operação em 1º de outubro de 2010, substituindo o MSNBot legado. Essa transição veio com uma regra de robots.txt que ainda importa se você mantém diretivas antigas: o anúncio da Microsoft dizia que “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (tradução: a partir de 1º de outubro, se detectarmos conjuntos separados de diretivas personalizadas para MSNBot e BingBot no seu arquivo robots.txt, as diretivas do BingBot terão precedência.) Portanto, as regras do MSNBot não substituem silenciosamente as do Bingbot — ocorre o contrário.

O Bingbot alimenta mais do que o Bing

Este é o reenquadramento mais importante desta página. A participação direta do Bing no mercado de busca é pequena, o que leva muitos profissionais de SEO a ignorá-lo. Mas o índice construído pelo Bingbot também alimenta Yahoo Search, DuckDuckGo, Ecosia, busca padrão do Edge e Microsoft Copilot — e historicamente também alimentou o ChatGPT Search. A dependência do Yahoo remonta ao lançamento de 2010, quando a Microsoft alertou os proprietários de sites: “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (tradução: para manter seu conteúdo no índice do Bing, garanta que o BingBot tenha o mesmo acesso ao seu site que o MSNBot.)

A consequência prática: um Disallow contra o bingbot não custa “apenas o Bing”. Ele se espalha por todo esse ecossistema de uma só vez. Quer você se importe especificamente com o Bing ou não, o Bingbot é a porta de entrada para uma parte relevante da web pesquisável — e cada vez mais para respostas de IA.

A string de user-agent (e por que ela é evergreen)

O user-agent do Bingbot contém o token bingbot/2.0 e um número de versão Chrome/W.X.Y.Z baseado em Chromium, no qual W.X.Y.Z é substituído pela versão estável atual do Microsoft Edge (exemplo da própria Microsoft: 100.0.4896.127) — essa substituição é o que torna a string evergreen. Segundo o anúncio da Microsoft de abril de 2022 sobre as strings finais, o UA para desktop é Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 e o UA para mobile é Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm). A prévia anterior dessas strings, de dezembro de 2019, também havia proposto um fragmento final Edg/W.X.Y.Z, mas ele não está nas strings finais publicadas pela Microsoft em 2022 e confirmadas como totalmente ativas em fevereiro de 2023 — se você estiver identificando o UA do Bingbot no código, não o exija. A string legada mais antiga era o simples Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm).

“Evergreen” significa exatamente que o número da versão acompanha automaticamente a versão estável mais recente do Edge. Na prática, isso eliminou a antiga diferença entre rastreamento e renderização em dois níveis: como o Bingbot usa a mesma família de mecanismos Chromium do Edge e do Chrome modernos, ele renderiza JavaScript como um navegador atual. O Bing também considera a renderização dinâmica de boa-fé uma opção legítima para sites pesados em JS — na visão da empresa, isso não é cloaking.

Verificando o Bingbot — o user-agent não basta

Strings de user-agent são trivialmente falsificáveis, portanto uma solicitação que afirma ser do Bingbot não prova nada sozinha. A verificação confiável é o DNS reverso em duas etapas:

1. Consulta reversa (PTR) do IP que rastreia, a partir dos seus logs. Um IP genuíno do Bingbot resolve para um hostname terminado em search.msn.com — o padrão é msnbot-<ip-with-dashes>.search.msn.com (por exemplo, 157.55.39.1 → msnbot-157-55-39-1.search.msn.com).
2. Consulta direta (A) desse hostname. Ele precisa resolver de volta para o IP original.

Se qualquer uma das etapas falhar, não é Bingbot. A Microsoft publica uma lista de IPs em bing.com/toolbox/bingbot.json (28 prefixos IPv4, gerados pela última vez em janeiro de 2024), mas a orientação da própria empresa é preferir DNS reverso à lista de IPs, porque os endereços podem mudar a qualquer momento. Trate o JSON como uma referência aproximada, não como uma lista de permissão para o firewall. (A mesma lógica de DNS reverso em vez de lista de IPs se aplica ao Googlebot — consulte os scripts de verificação na aba Scripts.)

Como o Bingbot descobre e rastreia

A descoberta é orientada por links. Fabrice Canel, líder de longa data do Bingbot na Microsoft, descreve a abordagem como seguir a importância: “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (tradução: somos guiados por páginas importantes na internet e seguimos links para entender o que vem a seguir.) A escala é enorme — em uma entrevista de 2019, Canel disse: “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (tradução: todos os dias, minha equipe descobre mais de 100 bilhões de URLs novas que nunca haviam sido vistas, enquanto parâmetros de URL inúteis são ignorados.) Um número de 2020 colocou a descoberta de URLs novas em cerca de 70 bilhões por dia; ambos são números reais de datas diferentes, então vale a pena manter o ano quando você citar qualquer um deles.

Dois comportamentos diferenciam o Bingbot da forma como o Google descreve seu próprio crawler:

• Pré-filtragem antes da busca. O Bingbot faz uma avaliação de custo/valor antes mesmo de baixar uma URL. Como o Bing explicou: “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (tradução: páginas consideradas sem potencial algum de serem úteis para satisfazer a consulta de busca de um usuário nos resultados do Bing não são mantidas.)
• Memória de URLs. O Bingbot se lembra das URLs essencialmente para sempre: “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (tradução: o Bingbot mantém todas as URLs na memória e volta a rastreá-las periodicamente, mesmo que todos os links para elas tenham sido removidos.) É por isso que uma página ainda pode receber acessos do Bingbot muito depois de você remover todos os links internos para ela.

Por baixo de tudo há uma postura de priorizar a cordialidade. Canel: “Our default crawl policy is to be as polite as possible when crawling the web.” (tradução: nossa política padrão de rastreamento é ser o mais cordial possível ao rastrear a web.) E sua avaliação franca do próprio problema: “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (tradução: rastrear corretamente é um problema fascinante de engenharia que ainda não foi totalmente resolvido.)

Outros crawlers da Microsoft

O Bingbot não é o único bot da Microsoft que você verá:

• AdIdxBot (adidxbot) — o crawler de controle de qualidade dos Bing Ads. O ponto importante: ele compartilha o orçamento de rastreamento com o Bingbot, portanto um rastreamento pesado de anúncios pode consumir o orçamento das suas páginas orgânicas.
• BingPreview — gera snapshots de páginas e miniaturas de prévia.
• MicrosoftPreview — prévias de links no Teams e no Office.
• BingVideoPreview — prévias de vídeo mostradas somente no Bing. Como os outros, tem variantes para desktop e mobile e se identifica com +https://aka.ms/microsoftbots, não com a URL bingbot.htm usada pelos crawlers mais antigos.
• MSNBot / MSNBot-Media — o crawler legado, aposentado em 1º de outubro de 2010.

Controlando o rastreamento do Bingbot

Três alavancas, da mais bruta à mais cirúrgica:

• robots.txt — o token bingbot controla o rastreamento. Use-o para manter o bot fora de áreas de baixo valor; ele não é uma ferramenta de desindexação.
• Crawl Control (Bing Webmaster Tools) — permite definir a taxa de rastreamento por hora do Bingbot, para desacelerá-lo durante o pico de tráfego e deixá-lo mais rápido fora do horário de pico. Esta é uma divergência real entre Google e Bing: o Google aposentou o controle deslizante de taxa de rastreamento no Search Console, enquanto o Bing ainda oferece um controle ativo.
• IndexNow — em vez de esperar um novo rastreamento, você envia a alteração. É um protocolo “created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (tradução: criado pelo Microsoft Bing e pelo Yandex, permitindo que os sites notifiquem facilmente os mecanismos de busca sempre que seu conteúdo for criado, atualizado ou excluído.) Um sinal chega a todos os mecanismos participantes. Não vou repetir o tratamento completo aqui — consulte o aprofundamento sobre IndexNow para configuração, arquivo de chave e o limite de 10 000 URLs por solicitação.

O ponto estratégico ao qual sempre volto é que o Bing corrigiu sua reputação de rastreamento agressivo ao se tornar eficiente, e o IndexNow é a peça central disso. Como escrevi na minha análise sobre IA e rastreamento por bots de mecanismos de busca, “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (tradução: estima-se que 53% do tráfego de crawlers seja esforço desperdiçado, e o IndexNow pode ajudar a reduzir esse número a quase zero.) Enviar as alterações é melhor do que tentar induzir mais rastreamento exploratório.

Bingbot, Copilot e a lacuna de exclusão da IA

Como o índice do Bing alimenta o Microsoft Copilot, o Bingbot é efetivamente também um crawler de IA. A orientação de Canel para aparecer bem ali é concreta: “schema markup helps Microsoft’s LLMs understand your content,” (tradução: a marcação de schema ajuda os LLMs da Microsoft a entender seu conteúdo) e “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (tradução: as IAs generativas valorizam especialmente conteúdo recente, em parte como verificação de referência dos dados de treinamento de seus LLMs. Use a API em indexnow.org para enviar essa informação quando ela for publicada ou atualizada.)

Há uma nuance que os artigos concorrentes costumam ignorar. O Google oferece o token Google-Extended, que permite optar por não participar do treinamento de IA sem afetar a indexação na busca. Segundo a maioria das análises de terceiros, não há um equivalente separado de exclusão para o Bing — o que significa que bloquear o bingbot para ficar fora do treinamento do Copilot também faria você desaparecer da busca do Bing e de tudo que depende dela. Eu trataria isso como uma observação sobre a forma como os controles estão alinhados atualmente, não como uma política consolidada da Microsoft, e verificaria a documentação atual antes de agir.

Para entender onde o Bingbot se encaixa no quadro maior — a família de crawlers, o Googlebot, o conceito de user-agent, crawlers de IA, robots.txt e IndexNow — o hub de rastreamento reúne tudo.

Resumo de IA

Uma versão condensada da versão Avançada:

• Bingbot = o crawler do Microsoft Bing. Token do robots.txt: bingbot; ativo desde 1º de outubro de 2010, quando substituiu o MSNBot (e as diretivas do BingBot têm precedência sobre as diretivas antigas do MSNBot).
• Alcance > participação de mercado. O índice construído pelo Bingbot também alimenta Yahoo, DuckDuckGo, Ecosia, busca padrão do Edge e Copilot — portanto bloquear o bingbot se espalha muito além do Bing.
• Renderização evergreen. Usa o mecanismo Edge baseado em Chromium; o UA traz o token bingbot/2.0 e um número de versão Chrome/W.X.Y.Z substituído pela versão estável atual do Edge (sem um fragmento Edg/ separado nas strings finais de 2022). Ele renderiza JavaScript moderno; renderização dinâmica de boa-fé não é cloaking.
• Verifique por DNS reverso em duas etapas: PTR para msnbot-*.search.msn.com, depois uma consulta direta que corresponda ao IP. User-agents são falsificáveis; prefira DNS reverso à lista de IPs do bingbot.json (que muda).
• Como ele rastreia: segue “páginas importantes” e links, descobre cerca de 100 bilhões de URLs novas por dia (2019; cerca de 70 bilhões em um número de 2020), pré-filtra URLs “sem potencial” antes de buscá-las e mantém todas as URLs na memória — rastreando-as novamente mesmo depois que todos os links são removidos.
• Outros bots da Microsoft: AdIdxBot (compartilha o orçamento de rastreamento do Bingbot), BingPreview, MicrosoftPreview e BingVideoPreview; o MSNBot está aposentado.
• Controle-o com robots.txt, Crawl Control (taxa por hora — o Google removeu o equivalente) e IndexNow (envio, criado em conjunto com o Yandex). Enquadramento de Patrick: cerca de 53% do tráfego de crawlers é desperdiçado, e o IndexNow reduz isso quase a zero.
• Ângulo de IA: o Bingbot alimenta o Copilot; schema e conteúdo recente ajudam; não há um equivalente claro do Google-Extended no Bing, então bloquear para o treinamento de IA também remove a busca (trate como observação e verifique a documentação atual).

Documentação oficial

Documentação de fonte primária, principalmente da Microsoft/Bing, com um link de contraste do Google. Atenção: muitas publicações em blogs.bing.com e páginas de bing.com/webmasters/help são renderizadas por JavaScript ou redirecionam, portanto confirme os detalhes em um navegador se um link não abrir diretamente.

Bing / Microsoft +- Which crawlers does Bing use? — a lista oficial dos bots da Microsoft e seus tokens de user-agent (Bingbot, AdIdxBot e os crawlers de prévia). +- Announcing user-agent change for Bing crawler bingbot — as strings de UA oficiais finais para desktop e mobile da Microsoft (confirmadas como totalmente ativas em fevereiro de 2023); esta é a fonte das strings exatas citadas acima. +- Bingbot IP list (bingbot.json) — os prefixos IPv4 publicados. Use apenas como referência; a Microsoft recomenda DNS reverso. +- Verify Bingbot tool — a consulta online da Microsoft para confirmar se um IP de rastreamento é realmente do Bingbot. +- Bing Webmaster Tools — Crawl Control — define a taxa de rastreamento do Bingbot por hora. +- IndexNow / indexnow.org — o protocolo de envio para sinalizar instantaneamente URLs criadas, atualizadas ou excluídas. +- bingbot Series: Maximizing Crawl Efficiency — a filosofia de “eficiência de rastreamento” do Bing.

Google (para contraste) +- Overview of Google crawlers and fetchers — os user-agents e intervalos de IP do Googlebot, o paralelo à configuração do Bing. Observe as divergências: o Google aposentou o controle manual de taxa de rastreamento, não usa IndexNow para páginas gerais e oferece Google-Extended para optar separadamente por não participar do treinamento de IA.

Citações da fonte

Declarações registradas sobre o Bingbot — principalmente de Fabrice Canel, líder do Bingbot na Microsoft. Cada link é um link profundo que salta para o trecho citado.

Fabrice Canel, Microsoft Bing — descoberta e escala

• “We are guided by key pages that are important on the internet and we follow links to understand what’s next.” (tradução: somos guiados por páginas importantes na internet e seguimos links para entender o que vem a seguir.) Ir para a citação
• “Every day, my team discovers more than 100 billion new URLs never seen before, while useless URLs parameters are ignored.” (tradução: todos os dias, minha equipe descobre mais de 100 bilhões de URLs novas que nunca haviam sido vistas, enquanto parâmetros de URL inúteis são ignorados.) (Entrevista ao Search Engine Journal, 2019.) Ir para a citação
• “Crawling right is a fascinating engineering problem that hasn’t fully been solved yet.” (tradução: rastrear corretamente é um problema fascinante de engenharia que ainda não foi totalmente resolvido.) (SEJ, 2019.) Ir para a citação
• “Our default crawl policy is to be as polite as possible when crawling the web.” (tradução: nossa política padrão de rastreamento é ser o mais cordial possível ao rastrear a web.) (SEJ, 2019.) Ir para a citação

Microsoft Bing — como o Bingbot lida com URLs

• “Bingbot retains every URL in memory and comes back and recrawls intermittently, even if all links to it have been removed.” (tradução: o Bingbot mantém todas as URLs na memória e volta a rastreá-las periodicamente, mesmo que todos os links para elas tenham sido removidos.) Ir para a citação
• “Pages that are deemed to have absolutely no potential for being useful in satisfying a user’s search query in Bing results are not retained.” (tradução: páginas consideradas sem potencial algum de serem úteis para satisfazer a consulta de busca de um usuário nos resultados do Bing não são mantidas.) Ir para a citação

Fabrice Canel, Microsoft Bing — eficiência, schema e IA

• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (tradução: menos é mais para SEO. Nunca se esqueça disso. Menos URLs para rastrear, melhor para SEO.) Ir para a citação
• “schema markup helps Microsoft’s LLMs understand your content.” (tradução: a marcação de schema ajuda os LLMs da Microsoft a entender seu conteúdo.) (SMX Munich, 2025.) Ir para a citação
• “Gen AIs value fresh content in particular, partly as a reference check of their LLM training data. Use the API at indexnow.org to push that information as it’s published or updated.” (tradução: as IAs generativas valorizam especialmente conteúdo recente, em parte como verificação de referência dos dados de treinamento de seus LLMs. Use a API em indexnow.org para enviar essa informação quando ela for publicada ou atualizada.) Ir para a citação

Microsoft Bing — o lançamento de 2010 e o IndexNow

• “as of October 1st, if we detect separate sets of custom directives for both MSNBot and BingBot in your robots.txt file, the BingBot directives will take precedence.” (tradução: a partir de 1º de outubro, se detectarmos conjuntos separados de diretivas personalizadas para MSNBot e BingBot no seu arquivo robots.txt, as diretivas do BingBot terão precedência.) (Blog do Bing Webmaster, 2010.)
• “To keep your content in the Bing index, please ensure that BingBot has the same access to your site as given to MSNBot.” (tradução: para manter seu conteúdo no índice do Bing, garanta que o BingBot tenha o mesmo acesso ao seu site que o MSNBot.) (Blog do Bing Webmaster, 2010.)
• “IndexNow is a new protocol created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted.” (tradução: o IndexNow é um novo protocolo criado pelo Microsoft Bing e pelo Yandex, que permite aos sites notificar facilmente os mecanismos de busca sempre que seu conteúdo for criado, atualizado ou excluído.) (Blog do Bing Webmaster, 2021.)

Patrick Stox (eu) — a virada de eficiência do Bing

• “There was a lot of blowback on Bing in the past because of their aggressive crawling.” (tradução: no passado, houve muita reação negativa contra o Bing por causa de seu rastreamento agressivo.) Ir para a citação
• “It’s estimated that 53% of crawler traffic is wasted effort, and IndexNow can help cut that number down to almost nothing.” (tradução: estima-se que 53% do tráfego de crawlers seja esforço desperdiçado, e o IndexNow pode ajudar a reduzir esse número a quase zero.) Ir para a citação

O que devo fazer em relação ao Bingbot?

As decisões sobre o Bingbot se dividem em duas perguntas: se uma solicitação é realmente do Bingbot e se você quer desacelerá-lo, acelerá-lo ou bloqueá-lo por completo. Avance pela árvore.

Bingbot e crawlers da Microsoft — cola

Strings de user-agent

W.X.Y.Z = a versão estável atual do Microsoft Edge, substituída no token Chrome/ (evergreen — ela se atualiza sozinha). Estas são as strings finais publicadas pela Microsoft em abril de 2022 e confirmadas como totalmente ativas em fevereiro de 2023; uma prévia anterior, de dezembro de 2019, também havia proposto um fragmento final Edg/W.X.Y.Z, mas ele não faz parte do UA final — não o exija no código de identificação de bots.

A família de crawlers da Microsoft

Fatos rápidos

• Lançado em 1º de outubro de 2010, substituindo o MSNBot.
• Se houver diretivas do MSNBot e do BingBot no robots.txt, o BingBot vence.
• Verifique por DNS reverso para *.search.msn.com, não pelo user-agent nem pela lista de IPs (os IPs mudam).
• Lista de IPs: bing.com/toolbox/bingbot.json — 28 prefixos IPv4, gerados em janeiro de 2024.
• O Crawl Control no Bing Webmaster Tools define a taxa de rastreamento por hora (o Google removeu o equivalente).
• IndexNow = envia URLs alteradas; criado em conjunto com o Yandex.

Verifique se um bot é realmente o Bingbot

Uma solicitação que diz ser do Bingbot não prova nada — a string de user-agent é trivialmente falsificável. Como diz a Microsoft, o fato de um bot usar exatamente o user-agent do Bingbot não o torna Bingbot. Confirme-o com uma verificação de DNS reverso + direto em duas etapas. Um IP genuíno do Bingbot resolve reversamente para um hostname terminado em search.msn.com (padrão msnbot-<ip-with-dashes>.search.msn.com), e esse hostname precisa resolver diretamente de volta para o mesmo IP.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in search.msn.com
host 157.55.39.1
# → 1.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-1.search.msn.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host msnbot-157-55-39-1.search.msn.com
# → msnbot-157-55-39-1.search.msn.com has address 157.55.39.1

Windows

nslookup 157.55.39.1
nslookup msnbot-157-55-39-1.search.msn.com

Se a consulta reversa não terminar em search.msn.com, ou se a consulta direta não retornar o IP original, não é Bingbot — descarte-o ou limite sua taxa. Você também pode usar a ferramenta Verify Bingbot online da Microsoft e a lista de IPs publicada em bingbot.json como verificação aproximada — mas a Microsoft é explícita de que os IPs podem mudar, portanto o DNS é a fonte da verdade, não uma lista de permissão codificada. (A mesma abordagem vale para verificar o Googlebot; consulte a aba Scripts do hub de rastreamento para ver a versão do Google.)

Checklist de prontidão do Bingbot

Uma verificação rápida para confirmar que você está trabalhando com o Bingbot, não contra ele:

• O robots.txt não bloqueia o bingbot em nada que você queira no Bing (lembre-se: isso também controla Yahoo, DuckDuckGo, Ecosia e Copilot).
• Nenhuma diretiva antiga do MSNBot entra em conflito com suas regras do Bingbot (o BingBot vence, mas limpe-as).
• Sitemap XML enviado no Bing Webmaster Tools, listando apenas URLs canônicas e indexáveis com lastmod correto.
• A verificação do bot usa DNS reverso + direto, não o user-agent nem uma lista de IPs codificada.
• Se você usa firewall ou listas de permissão para bots, verifica por DNS — não fixa os IPs de bingbot.json (eles mudam).
• Crawl Control revisado se o tráfego do Bingbot sobrecarrega seu servidor nos horários de pico.
• IndexNow configurado para que URLs criadas/atualizadas/excluídas sejam enviadas, não deixadas à espera.
• Conteúdo dependente de JS está acessível e renderiza (o Bingbot é evergreen, mas links reais <a href> ainda são melhores que navegação apenas por clique).
• Ciente de que o AdIdxBot compartilha o orçamento de rastreamento do Bingbot se você usa Bing Ads.
• Antes de bloquear o bingbot por motivos de IA, confirmou que não existe uma exclusão separada do Copilot — bloqueá-lo atualmente também remove o site da busca do Bing.

Modelos mentais

1. Alcance, não participação de mercado. A participação direta do Bing na busca é pequena, então é tentador julgar o Bingbot apenas por esse número. O reenquadramento importante é: o índice que o Bingbot constrói é o backend do Yahoo Search, DuckDuckGo, Ecosia, busca padrão do Edge e Microsoft Copilot. Uma regra Disallow: bingbot não custa “3% da busca” — custa todas essas superfícies de uma só vez. Julgue as decisões sobre o Bingbot pelo alcance do ecossistema, não pelo número isolado do Bing.

2. Verifique por DNS, não por user-agent. A string de user-agent de uma solicitação é apenas um cabeçalho definido pelo cliente — qualquer pessoa pode digitar bingbot/2.0 em um comando curl. A única afirmação que não pode ser falsificada de forma barata é um registro DNS apontando para o próprio domínio search.msn.com da Microsoft, verificado nos dois sentidos (reverso e depois direto). Trate qualquer outro sinal — user-agent, lista de IPs publicada — como pista, não como prova.

3. Três alavancas, da bruta à cirúrgica. O robots.txt é o instrumento bruto: mantém o Bingbot fora de um caminho inteiro, mas é um controle de rastreamento, não de desindexação. O Crawl Control no Bing Webmaster Tools é o seletor: define quando o Bingbot acessa seu servidor com mais intensidade, hora a hora, sem bloquear nada. O IndexNow é o bisturi: ele não espera o Bingbot voltar — envia uma única URL no instante em que ela muda. Escolha a alavanca menos bruta que resolva o problema real.

4. O Google aposentou o seletor; o Bing o manteve. O Google removeu o limitador de taxa de rastreamento do Search Console. O Crawl Control do Bing ainda oferece controle ativo da taxa por hora. Se você está acostumado a tratar o gerenciamento da taxa de rastreamento como “algo que não dá mais para fazer”, isso vale para o Googlebot, mas não para o Bingbot — é uma alavanca real e atual que vale usar quando o tráfego do Bingbot sobrecarrega seu servidor nos horários de pico.

O KPI permanente: tráfego de referência do ecossistema Bing

O número de participação de mercado do próprio Bing subestima o valor do Bingbot para você, porque o índice que ele constrói também alimenta Yahoo Search, DuckDuckGo, Ecosia e Microsoft Copilot. O KPI honesto não é “tráfego do Bing” isoladamente — é o tráfego de referência combinado em todo esse ecossistema, acompanhado ao longo do tempo.

Segmente o tráfego de referência por toda a família do índice do Bing

• Métrica — sessões/cliques na sua ferramenta de análise em que o referenciador é bing.com, search.yahoo.com, duckduckgo.com, ecosia.org ou copilot.microsoft.com, somados e acompanhados como um grupo ao lado (não em vez) do seu número do Google.
• O que isso informa — se bloquear ou atender mal ao Bingbot está realmente custando tráfego além do Bing. Uma queda que apareça nos cinco referenciadores ao mesmo tempo é um problema de acesso do Bingbot, não um problema de ranking de um único mecanismo.
• Como obter — segmente sua ferramenta de análise existente (GA4, logs do servidor ou o que você já usa) pelo domínio referenciador de cada um dos cinco acima e combine-a com o Bing Webmaster Tools — Search Performance, que informa diretamente os cliques e as impressões do Bing (não consegue ver os números downstream do Yahoo/DuckDuckGo/Ecosia, portanto os dados de referenciador da análise são o único lugar em que essa visão combinada existe).
• Referência / intervalo realista — não há um número honesto para definir como meta em todo o setor — a divisão do ecossistema varia enormemente conforme o público e a geografia. Estabeleça sua própria linha de base com alguns meses de dados de referenciador antes de julgar a mudança de um único mês.
• Periodicidade — mensal basta para a tendência; verifique semanalmente logo após uma alteração no robots.txt, um lançamento do IndexNow ou qualquer outra mudança que afete o acesso do Bingbot.

Ferramentas para verificar e controlar o Bingbot

• Googlebot Verifier — minha própria ferramenta. Cole um IP que afirma ser Bingbot e ela executa a verificação de DNS reverso confirmado diretamente para você, além de identificar o verdadeiro proprietário da rede se for um falsificador. É a versão prática da verificação de DNS em duas etapas da aba Scripts, sem tocar em um terminal.
• Robots.txt Tester — minha própria ferramenta. Verifique se uma URL específica é permitida ou bloqueada especificamente para o token bingbot (diferente de * ou do Googlebot), veja exatamente qual regra vence e encontre uma diretiva msnbot antiga em conflito com a regra do Bingbot antes de publicar.
• Verify Bingbot tool — a consulta online de IP da Microsoft, útil como verificação cruzada do Googlebot Verifier.
• Bing Webmaster Tools — Crawl Control — define diretamente a taxa de rastreamento do Bingbot por hora; o controle ativo cujo equivalente o Google aposentou.
• IndexNow (indexnow.org) — envia URLs criadas/atualizadas/excluídas em vez de esperar a próxima passagem do Bingbot; um sinal chega a todos os mecanismos participantes.

Recursos que valem seu tempo

Meus textos relacionados

• Meet the New Web Crawlers: AI Bots Are Closing in on Search Engine Bots — onde abordo o passado de rastreamento agressivo do Bing, a virada com o IndexNow e a estatística de 53% de tráfego desperdiçado.
• When Should You Worry About Crawl Budget? — inclui o enquadramento de “eficiência de rastreamento” do Bing e a observação de que “Bing also has an Indexing API that’s available to everyone.” (tradução: o Bing também tem uma API de indexação disponível para todos.)
• Bingbot (Ahrefs SEO glossary) — a versão curta de referência.
• The Beginner’s Guide to Technical SEO — onde os crawlers entram no quadro maior.

Minhas palestras

• How Search Works (SlideShare) — meu passo a passo sobre rastreamento, renderização, indexação e ranking. (Aplica-se o aviso permanente: “This is my understanding of systems… not going to be 100% complete or accurate.” (tradução: esta é minha compreensão dos sistemas… não será 100% completa ou precisa.))

De outras fontes

• How Bingbot Works: Discovering, Crawling, Extracting & Indexing (SEJ) — o detalhado passo a passo de Fabrice Canel que sustenta os pontos sobre memória de URLs e pré-filtragem acima.
• Why & How Bing Plans To Improve Its Crawler, Bingbot (SEJ, 2019) — a entrevista de Canel com o número de 100 bilhões de URLs novas/dia, a citação sobre política de rastreamento cordial e a frase sobre o “problema fascinante de engenharia”.
• Microsoft Bing / Copilot: Use Schema For Its LLMs (Search Engine Land, 2025) — Canel no SMX Munich sobre a marcação de schema ajudar os LLMs da Microsoft e sobre conteúdo recente como sinal de ranking do Copilot.
• The five infrastructure gates behind crawl, render, and index (Search Engine Land) — o framework de eficiência de rastreamento de Canel, “less is more for SEO”, explicado etapa por etapa.
• How Bingbot and Googlebot choose pages (Kalicube) — a citação de Canel sobre ser “guiado por páginas importantes” na filosofia de descoberta de URLs, com comparação ao Googlebot.
• r/TechSEO — a comunidade para depuração de rastreamento/indexação.

Estatísticas que vale citar

• ~100 bilhões de URLs novas descobertas por dia — número de 2019 de Fabrice Canel sobre quantas URLs nunca vistas antes o Bingbot encontra diariamente (“more than 100 billion new URLs never seen before”; tradução: mais de 100 bilhões de URLs nunca vistas antes). Um número separado de 2020 colocou o total em cerca de 70 bilhões — mantenha a data quando citar qualquer um deles. Fonte
• ~53% do tráfego de crawlers é esforço desperdiçado — minha estimativa e o motivo para o IndexNow: enviar alterações “can help cut that number down to almost nothing.” (tradução: pode ajudar a reduzir esse número a quase zero.) Fonte
• 28 prefixos IPv4 publicados — o tamanho da lista oficial de IPs do Bingbot da Microsoft (bingbot.json, gerada em janeiro de 2024) — contexto útil, mas a Microsoft alerta que os endereços mudam; portanto, verifique por DNS reverso. Fonte

Teste seus conhecimentos: Bingbot

Cinco perguntas rápidas sobre Bingbot, verificação e alcance. Escolha uma resposta para cada uma e depois confira.

Registro de alterações