Roboty internetowe

TL;DR — Robot internetowy to automatyczny program, który odwiedza strony, pobiera je i podąża za odsyłaczami, aby znajdować kolejne. „Crawler”, „spider” i „bot” oznaczają to samo. Wyszukiwarki używają robotów do znajdowania stron, aby mogły pojawić się w wynikach — strona musi jednak zostać zeskanowana przed zindeksowaniem i ustaleniem pozycji, a częstsze skanowanie nie poprawia pozycji.

Czym jest robot indeksujący

Robot internetowy to oprogramowanie, które automatycznie przegląda internet. Odwiedza stronę, pobiera jej zawartość, zbiera odsyłacze, a następnie przechodzi także do nich — raz za razem, na miliardach stron.

Spotkasz trzy nazwy dokładnie tego samego: crawler, spider i bot. Można ich używać zamiennie. Robot Google nazywa się Googlebot, a robot Bing — Bingbot. Dowód potwierdzający to twierdzenie Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Zakres: Google crawler terminology. Poziom ufności: wysoki · Zweryfikowano: 2026-07-14 Google: Googlebot overview

Wyszukiwarki potrzebują robotów, ponieważ nie mogą wyświetlić strony w wynikach, dopóki jej nie znajdą i nie pobiorą. Robot gromadzi surowy materiał, a indeks wyszukiwarki jest ogromną bazą danych przeszukiwaną po wpisaniu zapytania.

Robot indeksujący nie jest tym samym co scraper. Zadaniem robota jest odkrywanie na dużą skalę — podążanie za odsyłaczami w szerokiej części internetu (lub w całej sieci). Zadaniem scrapera jest wyodrębnianie — pobieranie konkretnych danych ze stron, które wcześniej mu wskazano. W praktyce granica się zaciera: wiele narzędzi robi jedno i drugie, skanując w celu znalezienia stron, a następnie pobierając z każdej potrzebne dane.

Jak robot znajduje Twoje strony

Głównie na dwa sposoby:

• Podążając za odsyłaczami. Gdy robot pobiera stronę, odczytuje umieszczone na niej linki i dodaje nowe adresy URL do swojej listy zadań. Dobre linkowanie wewnętrzne pozwala odkrywać nowe strony.
• Za pomocą map witryny. Mapa XML to przekazywana wyszukiwarkom lista adresów URL, która może pomóc im je odkryć. Dowód potwierdzający to twierdzenie Google discovers URLs through links from known pages and through submitted sitemaps. Zakres: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Poziom ufności: wysoki · Zweryfikowano: 2026-07-14 Google: How Search works

Trzy najważniejsze etapy

Wyszukiwanie działa w ustalonej kolejności:

1. Skanowanie — bot znajduje adres URL i pobiera stronę.
2. Indeksowanie — wyszukiwarka przetwarza stronę i zapisuje ją w swojej bazie danych.
3. Wyświetlanie (ustalanie pozycji) — po wyszukaniu zapytania silnik wybiera najlepsze dopasowania i układa je w kolejności.

Skanowanie jest pierwszym etapem. Strona, której robot nigdy nie odwiedzi, nie może zostać zindeksowana, a bez indeksowania nie może zajmować pozycji. Skanowanie to więc bramka, którą trzeba przejść — nie tablica wyników. Częstsze skanowanie nie przesuwa strony wyżej w wynikach.

Najczęstsze nieporozumienie

Zablokowanie strony w robots.txt nie usuwa jej z Google. robots.txt mówi robotowi jedynie: „nie czytaj tego”. Strona nadal może trafić do wyników, jeśli prowadzą do niej odsyłacze z innych witryn. Aby naprawdę ją usunąć, zezwól na skanowanie i dodaj zamiast tego tag noindex.

Chcesz poznać wersję techniczną — kolejkę skanowania, pobieranie i analizowanie, przyczynę oddzielenia renderowania oraz sposób odróżnienia prawdziwego robota od podszywającego się? Przejdź do karty Zaawansowane.

TL;DR — Robot (crawler, spider, bot) to automatyczny program, który w pętli odkrywa, pobiera, analizuje i ponownie planuje adresy URL. Własnymi słowami Google: “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (tłumaczenie) „pobiera tekst, obrazy i filmy ze stron znalezionych w internecie za pomocą automatycznych programów zwanych robotami”. Mechanizm obejmuje frontier (kolejkę adresów URL), fetch (pobranie HTML), parse (wyodrębnienie odsyłaczy i treści) oraz scheduler (mechanizm planowania), który decyduje, co pobrać dalej i jak szybko, ograniczając tempo zależnie od stanu serwera. Renderowanie JavaScriptu jest osobnym etapem. Skanowanie jest konieczne do zajmowania pozycji, ale nie stanowi sygnału rankingowego i różni się od indeksowania — strona zablokowana dla robotów nadal może być zindeksowana. W 2026 roku skanują już nie tylko wyszukiwarki: boty AI odpowiadają za dużą i szybko rosnącą część ruchu.

Czym naprawdę jest robot indeksujący

Definicja Google jest bardzo prosta: robot “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (tłumaczenie) „pobiera tekst, obrazy i filmy ze stron znalezionych w internecie za pomocą automatycznych programów zwanych robotami”. Słowniczek Google używa jeszcze szerszego sformułowania: “a crawler is a generic term for any program that is used to automatically discover and scan websites.” (tłumaczenie) „robot to ogólne określenie każdego programu służącego do automatycznego odkrywania i skanowania witryn”. Crawler, spider, bot, spiderbot: ta sama koncepcja, różne nazwy. Dowód potwierdzający to twierdzenie Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Zakres: Google crawler terminology. Poziom ufności: wysoki · Zweryfikowano: 2026-07-14 Google: Googlebot overview

Znaczenie skanowania wynika z całego procesu. Google mówi wprost: “Google Search works in three stages, and not all pages make it through each stage” (tłumaczenie) „wyszukiwarka Google działa w trzech etapach i nie każda strona przechodzi przez wszystkie” — skanowanie, indeksowanie i wyświetlanie. Skanowanie jest pierwszą bramką. Strona, której nigdy nie zeskanowano, nie może zostać zindeksowana, a strona niezindeksowana nie może zajmować pozycji.

Jak robot działa od strony technicznej

Po pominięciu nazw marek większość robotów podążających za odsyłaczami wykonuje jakąś wersję tej samej pętli: odkryj → pobierz → przeanalizuj → zaplanuj → powtórz. To przydatny model mentalny do rozumowania o zachowaniu robotów — nie gwarancja, że każdy kiedykolwiek zbudowany robot wdraża identycznie dokładnie te etapy.

Frontier (kolejka). Robot nie porusza się losowo. Utrzymuje kolejkę znanych, lecz jeszcze nieodwiedzonych adresów URL — crawl frontier — oraz scheduler (mechanizm planowania), który wybiera następny adres. Zaczyna od początkowego zbioru znanych adresów i rozszerza kolejkę w miarę odkrywania kolejnych. Google opisuje odkrywanie tak: “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” (tłumaczenie) „Inne strony są odkrywane, gdy Google wyodrębnia z odsyłacza na znanej stronie link do nowej strony… Jeszcze inne strony są odkrywane po przesłaniu listy stron (mapy witryny) do zeskanowania przez Google. Ten proces nazywa się «odkrywaniem adresów URL»”. Dowód potwierdzający to twierdzenie Google discovers URLs through links from known pages and through submitted sitemaps. Zakres: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Poziom ufności: wysoki · Zweryfikowano: 2026-07-14 Google: How Search works

Pobieranie. Robot wysyła żądanie HTTP, a serwer zwraca stronę. Na tym etapie pobierany jest surowy HTML (zasoby takie jak JavaScript i CSS pobiera się osobno, często później). Fabrice Canel z Bing zwięźle określa cel całego procesu: “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (tłumaczenie) „Skanowanie to proces, w którym bingbot odkrywa nowe i zaktualizowane dokumenty lub treści przeznaczone do dodania do przeszukiwalnego indeksu Bing”.

Analizowanie. Pobrany HTML jest analizowany w celu wyodrębnienia odsyłaczy, tekstu, nagłówków, obrazów i metadanych. Nowo znalezione adresy URL są normalizowane i ponownie trafiają do kolejki frontier — dzięki temu pętla działa dalej.

Planowanie. O tym, co zostanie pobrane, jak często i ile stron podczas jednej wizyty, decyduje algorytm, nie Ty. Google: “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (tłumaczenie) „Googlebot korzysta z procesu algorytmicznego, aby określić, które witryny skanować, jak często i ile stron pobierać z każdej z nich”. Popularne i często zmieniające się strony są odwiedzane ponownie szybciej; mało znane, statyczne — rzadko. (Sposób ustalania harmonogramu — budżet skanowania, tempo skanowania i częstotliwość skanowania — ma osobne szczegółowe omówienia w tym klastrze.)

„Googlebot” nie jest jednym programem

Większość omówień pomija tę kwestię. „Googlebot” brzmi jak pojedynczy program, ale nim nie jest. W prezentacji Jak działa wyszukiwanie opisuję go jako ponad 1 000 systemów tworzących rodzinę wyspecjalizowanych robotów — dla komputerów, urządzeń mobilnych, obrazów, wiadomości, filmów i reklam — korzystających ze wspólnej puli budżetu skanowania. Gary Illyes zwracał uwagę na to samo od wewnątrz: nazwa jest w istocie myląca i określa centralną platformę skanowania, przez którą wiele produktów Google (Shopping, AdSense i pozostałe) kieruje żądania pod różnymi nazwami user-agentów. Czytając dzienniki, nie obserwujesz więc jednego bota, lecz flotę używającą wspólnej etykiety. (Szczegóły konkretnych wyszukiwarek znajdziesz w powiązanych artykułach Googlebot i Bingbot.)

Uprzejmość — jak roboty unikają przeciążania witryny

Dobrze zachowujący się robot celowo ogranicza tempo. Google: “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (tłumaczenie) „Roboty starają się nie skanować witryny zbyt szybko, aby jej nie przeciążyć. Tempo dostosowują do odpowiedzi serwera; przykładowo błędy HTTP 500 są sygnałem, by zwolnić”. To również sposób na tymczasowe spowolnienie skanowania — utrzymujące się odpowiedzi 5xx/429 powodują wycofanie się Googlebota (na dzień lub dwa, nie na zawsze). Uprzejmość nie jest opcjonalną grzecznością; przy skali działania robotów to jedyna rzecz, która powstrzymuje je przed przeciążaniem serwerów.

Robots.txt — standardowa kontrola skanowania

robots.txt to faktyczna konwencja kontroli dostępu. Google: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (tłumaczenie) „Plik robots.txt informuje roboty wyszukiwarek, do których adresów URL w witrynie robot może uzyskać dostęp”. Trzeba pamiętać o dwóch rzeczach:

• Kontroluje skanowanie, nie indeksowanie. Niedozwolona strona nadal może zostać zindeksowana, jeśli prowadzą do niej inne strony — Google po prostu nie widzi treści (ani umieszczonego tam tagu noindex). Jak napisałem w artykule Zindeksowano, choć zablokowano przez robots.txt: “crawling and indexing are two different things.” (tłumaczenie) „skanowanie i indeksowanie to dwie różne rzeczy”. Aby naprawdę usunąć stronę, zezwól na skanowanie i dodaj noindex — nie blokuj jej.
• Wiarygodne roboty przestrzegają pliku; nieuczciwi operatorzy nie. Googlebot, Bingbot, Ahrefsbot i podobne respektują robots.txt; wiele scraperów i nierzetelnych botów całkowicie go ignoruje. To konwencja, nie mechanizm egzekwowania.

Samodzielnie przetestowałem skutki blokowania. W artykule Historia zablokowania 2 wysoko pozycjonowanych stron za pomocą Robots.txt zablokowałem dwie nasze pozycjonowane strony na prawie pięć miesięcy. Straciły wszystkie fragmenty z odpowiedzią i niestandardowe tytuły (wyniki pokazywały “no information is available” (tłumaczenie) „brak dostępnych informacji”), a liczba kliknięć spadła bardziej, niż wynikałoby z samej pozycji — ale szacowany ruch prawie się nie zmienił. Mój wniosek pozostaje aktualny: nie blokuj stron, które chcesz indeksować. To szkodzi. Nie aż tak bardzo, jak można przypuszczać — ale nadal szkodzi.

Skanowanie ≠ indeksowanie ≠ renderowanie ≠ ustalanie pozycji

Rozróżnienia powodujące najwięcej nieporozumień:

• Skanowanie ≠ indeksowanie. Skanowanie to pobieranie, a indeksowanie to rozumienie i zapis. Strona może zostać zeskanowana, lecz niezindeksowana (Google postanowiło jej nie uwzględniać), a strona zablokowana może zostać zindeksowana bez odczytania. “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (tłumaczenie) „Indeksowanie nie jest gwarantowane; nie każda strona przetwarzana przez Google zostanie zindeksowana”.
• Skanowanie ≠ renderowanie. Pobranie HTML i wykonanie JavaScriptu to dwa różne etapy. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome,” (tłumaczenie) „Podczas skanowania Google renderuje stronę i uruchamia znaleziony JavaScript za pomocą aktualnej wersji Chrome”, ale renderowanie odbywa się w osobnej kolejce, która może pozostawać w tyle za początkowym pobraniem. Jeśli treść pojawia się dopiero po wykonaniu JavaScriptu, nie jest dostępna w tym samym przebiegu co HTML.
• Skanowanie ≠ ustalanie pozycji. Częstsze skanowanie nie jest sygnałem rankingowym. Tempo skanowania jest wyłącznie kwestią wydajności — dlatego większość witryn w ogóle nie musi zarządzać budżetem skanowania.

Rodzaje robotów (ogólnie)

Krótko — każdy ma powiązany artykuł ze szczegółami:

• Roboty wyszukiwarek — Googlebot, Bingbot. Budują indeksy obsługujące wyniki wyszukiwania.
• Roboty AI / LLM — GPTBot, ClaudeBot, CCBot i inne, zbierające treści internetowe do trenowania lub zasilania modeli AI. Szybko rosną (zobacz niżej).
• Roboty audytów SEO — Ahrefs Site Audit, Screaming Frog i podobne narzędzia, które symulują skanowanie w celu wykrycia problemów technicznych.
• Programy pobierające uruchamiane przez użytkownika — narzędzia wykonujące pojedyncze żądanie na polecenie (narzędzie do sprawdzania adresu URL Google, Test wyników z elementami rozszerzonymi). Nie są autonomicznymi robotami.

Kto obecnie skanuje internet

Nie są to już tylko wyszukiwarki. W mojej analizie danych Cloudflare Radar (Poznaj nowe roboty internetowe) roboty wyszukiwarek nadal skanują najwięcej, ale boty AI zdecydowanie zajmują drugie miejsce. Skala jest trudna do przecenienia: sam Bing odkrywa dziesiątki miliardów znormalizowanych adresów URL, których wcześniej nie widział, każdego dnia (Fabrice Canel). Właśnie dlatego wyszukiwarki muszą agresywnie ustalać priorytety faktycznego pobierania.

Jak zweryfikować, czy robot jest tym, za kogo się podaje

Każdy bot może wpisać „Googlebot” w ciągu user-agent, dlatego nie ufaj wyłącznie temu ciągowi. Właściwym testem jest wyszukiwanie DNS w obu kierunkach (zobacz kartę Skrypty): wykonaj odwrotne wyszukiwanie DNS adresu IP z dzienników, potwierdź, że prowadzi do nazwy hosta googlebot.com / google.com, a następnie wykonaj bezpośrednie wyszukiwanie DNS tej nazwy i sprawdź, czy wskazuje ten sam adres IP. Google publikuje też swoje zakresy adresów IP. Pełne dane user-agentów poszczególnych wyszukiwarek znajdziesz w powiązanym artykule user-agent.

Co dalej

To strona opisująca ogólną koncepcję. Szczegóły znajdziesz tutaj:

• Googlebot — robot Google: user-agenty, skanowanie mobile-first, renderowanie i statystyki skanowania w Search Console.
• Bingbot — robot Bing: Crawl Control i IndexNow.
• Roboty AI — GPTBot, ClaudeBot, CCBot i nowsze boty agentowe.
• User-agent — czym jest ciąg user-agent i jak go odczytać.
• Centrum skanowania — cały proces, a także budżet, tempo, częstotliwość i głębokość skanowania, pułapki na roboty oraz analiza plików dziennika.

Podsumowanie AI

Skrót wersji zaawansowanej:

• Crawler = spider = bot. Wszystkie trzy nazwy oznaczają jedno: automatyczny program, który “automatically discover[s] and scan[s] websites,” (tłumaczenie) „automatycznie odkrywa i skanuje witryny”, pobierając strony, aby wyszukiwarki mogły je indeksować i ustalać ich pozycje.
• Pętla techniczna to odkryj → pobierz → przeanalizuj → zaplanuj → powtórz. Frontier (kolejka znanych, lecz nieodwiedzonych adresów URL) zasila scheduler (mechanizm planowania); każde pobranie dostarcza HTML, analiza wyodrębnia odsyłacze i treść, a nowe adresy wracają do kolejki. Google nazywa ten proces “URL discovery” (tłumaczenie) „odkrywaniem adresów URL” (odsyłacze i mapy witryny).
• Skanowanie jest pierwszym z trzech etapów (skanowanie → indeksowanie → wyświetlanie), a “not all pages make it through each stage.” (tłumaczenie) „nie każda strona przechodzi przez każdy etap”. Jest konieczne do zajmowania pozycji, ale nie stanowi sygnału rankingowego.
• Skanowanie ≠ indeksowanie ≠ renderowanie ≠ ustalanie pozycji. Indeksowanie nie jest gwarantowane; renderowanie JavaScriptu jest osobnym, późniejszym etapem; strona zablokowana dla robotów nadal może zostać zindeksowana dzięki odsyłaczom.
• „Googlebot” to flota, nie jeden program — centralna platforma skanowania, przez którą wiele produktów Google kieruje żądania pod różnymi nazwami user-agentów.
• Wiarygodne roboty zachowują się uprzejmie i przestrzegają robots.txt (ograniczają tempo po 5xx/429 — “slow down” (tłumaczenie) „zwolnij”); nieuczciwi operatorzy i wiele scraperów nie.
• Skanują już nie tylko wyszukiwarki. Boty AI zdecydowanie zajmują drugie miejsce pod względem natężenia ruchu i zbliżają się do botów wyszukiwarek; sam Bing widzi dziesiątki miliardów nowych adresów URL dziennie.
• Weryfikuj robota przez wyszukiwanie DNS w obu kierunkach, nie na podstawie samego ciągu user-agent.

Oficjalna dokumentacja

Dokumentacja źródłowa wyszukiwarek.

Google

• Szczegółowy przewodnik po działaniu wyszukiwarki Google — omówienie etapów skanowanie → indeksowanie → wyświetlanie, odkrywania adresów URL i harmonogramu skanowania.
• Omówienie robotów i programów pobierających Google — definicja robota, wszystkie user-agenty Google i opublikowane zakresy adresów IP.
• Googlebot — dwa warianty Googlebota (Smartphone i Desktop) oraz ich zachowanie techniczne.
• Wprowadzenie do robots.txt — co robi (i czego nie robi) plik robots.txt.
• Optymalizowanie budżetu skanowania — możliwości i zapotrzebowanie na skanowanie oraz informacja, kto naprawdę musi się tym zajmować.

Bing / Microsoft

• Seria o bingbocie: maksymalizowanie wydajności skanowania — definicja skanowania według Bing i jego “crawl efficiency north star” (tłumaczenie) „główny cel wydajności skanowania”.

Cytaty ze źródeł

Oficjalne wypowiedzi Google i Bing. Każdy odsyłacz prowadzi bezpośrednio do cytowanego fragmentu na stronie źródłowej.

Google — czym jest robot i jak działa

• “Google downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (tłumaczenie) „Google pobiera tekst, obrazy i filmy ze stron znalezionych w internecie za pomocą automatycznych programów zwanych robotami”. — dokumentacja Google Search Central. Przejdź do cytatu
• “Google Search works in three stages, and not all pages make it through each stage.” (tłumaczenie) „Wyszukiwarka Google działa w trzech etapach i nie każda strona przechodzi przez każdy z nich”. Przejdź do cytatu
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” (tłumaczenie) „Inne strony są odkrywane, gdy Google wyodrębnia z odsyłacza na znanej stronie link do nowej strony… Jeszcze inne strony są odkrywane po przesłaniu listy stron (mapy witryny) do zeskanowania przez Google. Ten proces nazywa się «odkrywaniem adresów URL»”. Przejdź do cytatu
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (tłumaczenie) „Googlebot korzysta z procesu algorytmicznego, aby określić, które witryny skanować, jak często i ile stron pobierać z każdej z nich”. Przejdź do cytatu
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (tłumaczenie) „Starają się nie skanować witryny zbyt szybko, aby jej nie przeciążyć. Mechanizm opiera się na odpowiedziach witryny (na przykład błędy HTTP 500 oznaczają «zwolnij»)”. Przejdź do cytatu
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (tłumaczenie) „Podczas skanowania Google renderuje stronę i uruchamia znaleziony JavaScript za pomocą aktualnej wersji Chrome”. Przejdź do cytatu

Google — plik robots.txt

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (tłumaczenie) „Plik robots.txt informuje roboty wyszukiwarek, do których adresów URL w witrynie robot może uzyskać dostęp”. — dokumentacja Google Search Central. Przejdź do cytatu

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (tłumaczenie) „Skanowanie to proces, w którym bingbot odkrywa nowe i zaktualizowane dokumenty lub treści przeznaczone do dodania do przeszukiwalnego indeksu Bing”. Przejdź do cytatu
• “Our crawl efficiency north star is to crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (tłumaczenie) „Naszym głównym celem wydajności skanowania jest odwiedzanie adresu URL tylko wtedy, gdy treść została dodana (adres nie był wcześniej skanowany) lub zaktualizowana (nowy kontekst strony albo przydatne odsyłacze wychodzące)”. Przejdź do cytatu

Lista kontrolna: upewnij się, że roboty mogą wykonać swoje zadanie

Szybka kontrola potwierdzająca, że boty mogą znaleźć, pobrać i odczytać to, co ważne:

• Ważne strony są podlinkowane z miejsca dostępnego do skanowania (nie są osierocone) — roboty odkrywają adresy URL za pomocą odsyłaczy.
• Przesłano mapę witryny XML, aby odkrywanie nie zależało wyłącznie od linków.
• robots.txt nie blokuje niczego, co chcesz indeksować (i blokuje mało wartościowe obszary, których nigdy nie chcesz skanować).
• Nie próbujesz używać robots.txt do usuwania z indeksu — to zadanie noindex (przy dozwolonym skanowaniu).
• Serwer zwraca szybkie, stabilne odpowiedzi — boty zwalniają po 5xx/429 (“slow down” (tłumaczenie) „zwolnij”).
• Treść zależna od JS jest osiągalna przez prawdziwe odsyłacze <a href>, a nie tylko nawigację po kliknięciu (renderowanie to osobny, późniejszy etap).
• Boty w dziennikach zostały zweryfikowane jako prawdziwe (wyszukiwanie DNS w obu kierunkach), a nie uznane wyłącznie na podstawie ciągu user-agent.

Modele mentalne

1. Pętla — odkryj → pobierz → przeanalizuj → zaplanuj → powtórz. Większość robotów podążających za linkami wykonuje jakąś wersję tej pętli. Frontier przechowuje znane adresy URL; scheduler (mechanizm planowania) wybiera następny; pobranie dostarcza stronę; analiza wyodrębnia odsyłacze, które wracają do kolejki frontier. Jeśli strona nie jest skanowana, zapytaj, który etap zawodzi: czy w ogóle została odkryta (trafiła do kolejki frontier)? Czy scheduler obniżył jej priorytet?

2. Proces — skanowanie → indeksowanie → wyświetlanie. Każdy etap jest filtrem, a “not all pages make it through each stage.” (tłumaczenie) „nie każda strona przechodzi przez każdy etap”. Gdy strona osiąga słabe wyniki, przed wprowadzeniem zmian ustal, na którym etapie zawodzi.

3. Zbiór „nierówności”. Rozdzielenie tych czterech pojęć usuwa większość nieporozumień dotyczących robotów:

• Skanowanie ≠ indeksowanie (zablokowana strona nadal może zostać zindeksowana przez odsyłacze)
• Skanowanie ≠ renderowanie (JavaScript działa w osobnym, późniejszym etapie)
• Skanowanie ≠ ustalanie pozycji (tempo skanowania nie jest sygnałem rankingowym)
• „Googlebot” ≠ jeden program (to flota kierowana przez jedną platformę)

4. Reguła decyzyjna dotycząca usuwania strony. Chcesz usunąć ją z wyszukiwarki? Zezwól na skanowanie i dodaj noindex. Chcesz, aby boty całkowicie omijały obszar (i nie zależy Ci na indeksowaniu)? Dodaj dyrektywę Disallow w pliku robots.txt. Nigdy nie używaj dyrektywy Disallow do usuwania z indeksu.

Robot indeksujący — ściągawka

Trzy nazwy, jedna rzecz: crawler = spider = bot (spiderbot). Są wymienne.

Pętla: odkryj (frontier) → pobierz (HTML) → przeanalizuj (wyodrębnij odsyłacze i treść) → zaplanuj (zdecyduj, co dalej) → powtórz.

Proces: skanowanie → indeksowanie → wyświetlanie. Skanowanie jest pierwszą bramką; “not all pages make it through each stage.” (tłumaczenie) „nie każda strona przechodzi przez każdy etap”.

„Nierówności”:

Uprzejmość: roboty ograniczają własne tempo; utrzymujące się 5xx/429 = “slow down.” (tłumaczenie) „robot powinien zwolnić”.

Kontrola: robots.txt kontroluje skanowanie, nie indeksowanie — nie używaj go do usuwania z indeksu. Wiarygodne roboty go przestrzegają; wiele scraperów nie.

Weryfikacja robota: wyszukiwanie DNS w obu kierunkach, nigdy sam ciąg user-agent.

Krajobraz (2026): boty wyszukiwarek skanują najwięcej, szybko rosnące boty AI zajmują drugie miejsce, a sam Bing odkrywa dziesiątki miliardów nowych adresów URL dziennie.

Sprawdź, czy bot naprawdę jest robotem, za którego się podaje

Ciąg user-agent można łatwo sfałszować, dlatego jedynym wiarygodnym testem jest DNS. W przypadku Googlebota potwierdź za pomocą wyszukiwania DNS w obu kierunkach, że adres wskazuje domenę Google, a ta sama domena prowadzi z powrotem do tego samego adresu IP.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows (wiersz polecenia)

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Jeśli wynik odwrotnego wyszukiwania nie kończy się domeną Google lub zwykłe wyszukiwanie nie zwraca pierwotnego adresu IP, nie jest to prawdziwy Googlebot. Możesz też porównać adres IP z opublikowanymi zakresami Google (googlebot.json). Ten sam wzorzec odwrotnego, a potem zwykłego wyszukiwania pozwala weryfikować inne wiarygodne roboty na podstawie ich opublikowanych nazw hostów.

Narzędzia do sprawdzania dostępu i aktywności robotów

• Tester Robots.txt — sprawdź, czy wskazany robot może zażądać adresu URL, zanim uznasz lukę w skanowaniu za problem z harmonogramem.
• Analizator plików dziennika — zobacz, które roboty naprawdę trafiają na serwer, jakich adresów URL żądają i jakie otrzymują kody stanu.
• Narzędzie do sprawdzania nagłówków HTTP — zbadaj odpowiedź otrzymywaną przez robota, w tym przekierowania i dyrektywy dla robotów przesyłane w nagłówkach.
• Analizator różnic renderowania — porównaj surowy i wyrenderowany HTML, gdy robot może pobrać stronę, ale ważna treść zależy od renderowania po stronie klienta.

Sprawdź się: roboty internetowe

Zasoby warte Twojego czasu

Moje powiązane artykuły

• Czym jest Googlebot i jak działa? — szczegółowe omówienie konkretnej floty robotów Google.
• Zindeksowano, choć zablokowano przez robots.txt — dlaczego zablokowane strony nadal trafiają do indeksu (skanowanie ≠ indeksowanie).
• Historia zablokowania 2 wysoko pozycjonowanych stron za pomocą Robots.txt — mój własny eksperyment dotyczący skanowania i pozycji.
• Kiedy należy przejmować się budżetem skanowania? — kiedy wydajność skanowania naprawdę ma znaczenie.
• Poznaj nowe roboty internetowe: boty AI zbliżają się do botów wyszukiwarek — zmieniający się zestaw robotów.

Moje wystąpienia

• Jak działa wyszukiwanie (SlideShare) — moje omówienie skanowania, renderowania, indeksowania i ustalania pozycji. (Obowiązuje stałe zastrzeżenie: “This is my understanding of systems… not going to be 100% complete or accurate.” (tłumaczenie) „Tak rozumiem te systemy… opis nie będzie w 100% kompletny ani dokładny”.)

Od innych autorów

• Podcast Google: „Czym naprawdę jest robot internetowy?” — Gary Illyes i Lizzi Sassman o tym, czym jest robot, oraz tezie “Googlebot is a misnomer” (tłumaczenie) „nazwa Googlebot jest myląca”.
• Podcast Google: „Skanuj mądrzej, nie ciężej” (odc. 79) — Gary Illyes i John Mueller o budżecie skanowania, harmonogramie i przyczynie, dla której 90%+ witryn nie musi się nim przejmować.
• Blog Google Search Central — zasoby grudnia poświęcone skanowaniu (2024) — opracowana przez Google seria szczegółowych materiałów o podstawach skanowania.
• Search Engine Journal — priorytety skanowania Google według Gary’ego Illyesa — omówienie deklarowanej przez Illyesa misji ograniczenia skanowania bez pogarszania jakości.
• Search Engine Land — Google wyjaśnia znaczenie „budżetu skanowania” dla webmasterów — pierwsza relacja z 2017 roku, gdy Google zdefiniowało możliwości i zapotrzebowanie na skanowanie.
• Wikipedia — robot internetowy — dobre źródło formalnej terminologii informatycznej (frontier, zasady uprzejmości) i historii.
• r/TechSEO — społeczność zajmująca się diagnozowaniem skanowania i indeksowania.

Statystyki warte cytowania

• Boty AI zbliżają się do botów wyszukiwarek. Według mojej analizy Cloudflare Radar roboty wyszukiwarek nadal skanują najwięcej, ale boty AI zdecydowanie zajmują drugie miejsce pod względem natężenia ruchu. Źródło
• Dziesiątki miliardów znormalizowanych adresów URL, których wcześniej nie widziano, Bing odkrywa każdego dnia — tak wielka jest skala problemu odkrywania, który wyszukiwarki agresywnie filtrują (Fabrice Canel, Microsoft Bing, 2022). Omówienie

Dziennik zmian