Roboty indeksujące
Roboty indeksujące — Polski
Crawlery AI
Trzy rodzaje crawlerów AI — boty treningowe, indeksujące wyszukiwanie AI i pobieracze uruchamiane przez użytkownika — najważniejsze nazwane boty oraz sposoby kontrolowania każdego z nich bez szkody dla SEO.
Polski › TreściBaiduspider — robot indeksujący Baidu
Czym jest Baiduspider — warianty i user-agenty crawlera Baidu, zgodność z robots.txt (oraz wyjątek cpro/ads), weryfikacja odwrotnego DNS, słabe renderowanie JavaScript i kontrola indeksowania w Ziyuan.
Polski › TreściCrawler Bingbot
Czym jest Bingbot, jak działa jego indeksowanie oparte na Chromium, dlaczego jego zasięg wykracza poza Bing oraz jak zweryfikować prawdziwego crawlera przez dwuetapowy odwrotny DNS zamiast ufać user-agentowi.
Polski › TreściGooglebot i SEO
Czym właściwie jest Googlebot — Smartphone vs Desktop, evergreen Chromium, stringi user-agent, weryfikacja zakresów IP, limity bajtów oraz rozróżnienie crawl vs rank.