Rastreadores da web
Rastreadores da web — Português (Brasil)
Crawler Baiduspider
O que é o Baiduspider — variantes e user-agents do crawler do Baidu, conformidade com robots.txt (e a exceção cpro/ads), verificação por DNS reverso, renderização fraca de JS e controle de rastreamento no Ziyuan.
Português (Brasil) › ConteúdoCrawlers de IA: tipos, bots e controle
Os três tipos de crawler de IA — bots de treinamento, indexadores de pesquisa com IA e buscadores acionados pelo usuário —, os principais nomes e como controlar cada um sem prejudicar o SEO.
Português (Brasil) › ConteúdoRastreador Bingbot
O que é o Bingbot, o que ele alimenta além do Bing, como verificá-lo com DNS reverso e como controlar seu rastreamento com robots.txt, Crawl Control e IndexNow.
Português (Brasil) › ConteúdoRastreador Googlebot
O que o Googlebot realmente é — Smartphone vs Desktop, renderização evergreen do Chromium, strings de user-agent, verificação de faixas de IP, limites de bytes e a distinção entre rastreamento e ranqueamento.