Jak działa wyszukiwarka

Jak Google i Bing zmieniają otwarty internet w odpowiedź — trzy bramki procesu skanowanie → indeksowanie → wyświetlanie oraz wyjaśnienie renderowania, kanonikalizacji i systemów rankingowych.

1 sygnał dowodowy na tej stronie

Wyszukiwanie działa w trzech etapach — skanowanie → indeksowanie → wyświetlanie — które są bramkami, nie taśmą: „nie wszystkie strony przechodzą przez każdy etap”. Zeskanowanie nie oznacza indeksowania (indeksowanie nie jest gwarantowane), a indeksowanie nie zapewnia pozycji. Indeksowanie obejmuje renderowanie i kanonikalizację; ranking tworzy wiele automatycznych systemów, nie jeden algorytm. Ta strona przedstawia całą drogę i prowadzi do szczegółowych materiałów — począwszy od klastra skanowania.

TL;DR — Wyszukiwanie działa w trzech etapach — skanowanie → indeksowanie → wyświetlanie — które są bramkami: „nie wszystkie strony przechodzą przez każdy etap”. Skanowanie odkrywa i pobiera; renderowanie (uruchamianie JavaScriptu w aktualnej wersji Chrome) prowadzi do indeksowania i może nastąpić z opóźnieniem. Indeksowanie = zrozumienie + kanonikalizacja (około 40 sygnałów) + zapis, przy czym nie jest gwarantowane. Wyświetlanie = zrozumienie zapytania, a następnie ustalanie pozycji przez wiele automatycznych systemów rankingowych (RankBrain, BERT, neural matching, systemy linków/PageRank…) — nie jeden „algorytm” — na podstawie setek czynników kontekstowych, z funkcjami wyszukiwania nakładanymi na wyniki. Bing ma taki sam ogólny przebieg. Każdy diagram (także mój) traktuj jako model, nie kod źródłowy. Korzyść praktyczna: gdy strona się nie pojawia, zdiagnozuj, na której bramce utknęła.

Trzy etapy, trzy bramki

Google opisuje ten proces bez ogródek: “Google Search works in three stages, and not all pages make it through each stage” (tłumaczenie) „Wyszukiwarka Google działa w trzech etapach i nie wszystkie strony przechodzą przez każdy z nich” — skanowanie, indeksowanie i wyświetlanie. Dowód potwierdzający to twierdzenie Google describes Search as operating through crawling, indexing, and serving search results. Zakres: Google's public conceptual model, not an exhaustive implementation description. Poziom ufności: wysoki · Zweryfikowano: Google: How Search works Ostatnia część zdania stanowi sedno. Ten proces nie jest taśmą, która transportuje każdą stronę do mety, lecz trzema bramkami, z których każda ma własne warunki zaliczenia i własny rodzaj niepowodzenia.

Model myślowy, na którym warto oprzeć całość:

Odkryj i pobierz (skanowanie) → zrozum i zapisz (indeksowanie, w tym renderowanie + kanonikalizacja) → dopasuj i uporządkuj (wyświetlanie, w tym zrozumienie zapytania + systemy rankingowe + funkcje wyszukiwania).

Rozdziel w myślach skanowanie ≠ indeksowanie ≠ ranking, a większość technicznego SEO przestanie być tajemnicza.

Skanowanie, indeksowanie i wyświetlanie są kolejnymi bramkami kwalifikacji — nie gwarancjami ani jednym rankingiem. Źródło: /technical-seo/how-search-works/

Trzy etapy biegną od lewej do prawej. Skanowanie: robot odkrywa adres URL i pobiera stronę. Indeksowanie: wyszukiwarka przetwarza stronę i zapisuje kwalifikujące się informacje. Wyświetlanie lub ranking: najlepiej dopasowane zindeksowane strony są porządkowane dla zapytania. Uwaga mówi, że nie każda strona przechodzi przez każdy etap.

© Patrick Stox LLC · CC BY 4.0 ·

Etap 1 — skanowanie (odkrywanie i pobieranie)

Skanowanie to odkrywanie połączone z pobieraniem. Google odwiedza strony, które już zna, podąża z nich do nowych przez linki i czyta przesłane mapy witryn — cały ten proces nazywa “URL discovery” (tłumaczenie) „odkrywaniem adresów URL”. To, co zostanie zeskanowane, jak często i ile stron podczas jednej wizyty, jest ustalane algorytmicznie: “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (tłumaczenie) „Googlebot wykorzystuje proces algorytmiczny, aby określić, które witryny skanować, jak często i ile stron pobierać z każdej z nich”.

Dowód potwierdzający to twierdzenie Google's crawling stage discovers URLs through known pages, links, and submitted sitemaps, then algorithmically decides which discovered URLs to fetch and how often. Zakres: web Poziom ufności: wysoki · Zweryfikowano: In-depth guide to how Google Search works

Najważniejszy wniosek na tym poziomie: skanowanie jest warunkiem indeksowania, a nie sygnałem rankingowym. Dowód potwierdzający to twierdzenie Google states that not all pages make it through each Search processing stage and that increased crawl rate is not a ranking signal. Zakres: Google Search; crawling and indexing do not guarantee ranking. Poziom ufności: wysoki · Zweryfikowano: Google: How Search works Google: Crawling myths Wyższe tempo skanowania nie poprawia pozycji. Nie będę tutaj ponownie rozkładać całego procesu na części — odkrywanie, harmonogram skanowania, budżet indeksowania, logi i pozostałe tematy znajdziesz w klastrze skanowania podlinkowanym na dole. Prawdziwym zadaniem skanowania jest przekazanie pobranej strony do kolejnego etapu.

Zanim przejdziemy dalej, jedno zastrzeżenie: strony internetowe trafiają do tego procesu przez skanowanie, ale nie jest ono jedynym źródłem informacji Google. Jak opisuję niżej, indeks czerpie też z partnerstw, kanałów danych i własnego Grafu wiedzy Google. Dlatego pytania „nie ma w indeksie” i „nie ma w zeskanowanej sieci” nie są dokładnie tym samym.

Pomost — renderowanie

To etap, który większość omówień opisuje błędnie albo pomija. Między skanowaniem a indeksowaniem Google renderuje stronę. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (tłumaczenie) „Podczas skanowania Google renderuje stronę i uruchamia znaleziony JavaScript w aktualnej wersji Chrome”. W materiale dla użytkowników Google mówi też: “When crawlers find a webpage, our systems render the content of the page, just as a browser does.” (tłumaczenie) „Gdy roboty znajdują stronę, nasze systemy renderują jej zawartość tak jak przeglądarka”.

Renderowanie jest częścią indeksowania, nie skanowania — odbywa się w Web Rendering Service (stale aktualizowanym, bezgłowym Chromium) i może wystąpić z opóźnieniem względem pierwszego pobrania. Jeżeli treść pojawia się dopiero po uruchomieniu JavaScriptu, Google rozumie wersję wyrenderowaną, która może zostać przetworzona później niż surowy HTML. Dlatego witryny mocno oparte na JavaScripcie muszą traktować renderowanie jako osobne zagadnienie. (Szczegółowo omawiam je w materiałach o JavaScript SEO.)

Etap 2 — indeksowanie (zrozumienie i zapis)

Po zeskanowaniu i wyrenderowaniu strony indeksowanie próbuje nadać jej sens. Google: “After a page is crawled, Google tries to understand what the page is about. This stage is called indexing and it includes processing and analyzing the textual content and key content tags and attributes, such as <title> elements and alt attributes, images, videos, and more.” (tłumaczenie) „Po zeskanowaniu strony Google próbuje zrozumieć, czego ona dotyczy. Ten etap nazywa się indeksowaniem i obejmuje przetwarzanie oraz analizowanie tekstu, kluczowych tagów i atrybutów treści — takich jak elementy <title> i atrybuty alt — a także obrazów, filmów i innych elementów”.

Dzieją się tu trzy rzeczy, które typowe omówienia pomijają:

Zrozumienie. Google przetwarza tekst, tagi i multimedia, aby ustalić temat. W mojej prezentacji How Search Works opisuję to jako parser treści, który normalizuje HTML, tokenizuje go i wektoryzuje treść (zamienia słowa na liczby), aby można było analizować znaczenie. Po drodze wydobywane są sygnały języka, lokalizacji, schematu i tematu lub semantyki. (To moja parafraza procesu, nie cytat z Google.)

Kanonikalizacja. Indeksowanie ustala również, który adres URL reprezentuje zestaw duplikatów. “During the indexing process, Google determines if a page is a duplicate of another page on the internet or canonical. The canonical is the page that may be shown in search results.” (tłumaczenie) „Podczas indeksowania Google ustala, czy strona jest duplikatem innej strony w internecie, czy wersją kanoniczną. Wersja kanoniczna może być wyświetlana w wynikach”. Google grupuje duplikaty i wybiera jedną wersję reprezentującą grupę. Nie jest to rzut monetą, lecz decyzja ważona sygnałami. Jak opisuję w materiale Google wykorzystuje około 40 sygnałów kanonikalizacji, “canonicalization is the process that search engines use to determine the main version of the URL that will be indexed and shown to users when there are duplicate URLs” (tłumaczenie) „kanonikalizacja to proces, za pomocą którego wyszukiwarki ustalają główną wersję adresu URL przeznaczoną do indeksowania i wyświetlania użytkownikom, gdy istnieją zduplikowane adresy”. Według Allana Scotta z Google istnieje około 40 różnych sygnałów wyboru wersji kanonicznej (przekierowania, rel=canonical, adresy w mapie witryny, linki wewnętrzne i zewnętrzne, hreflang, PageRank, HTTPS zamiast HTTP, krótsze adresy zamiast dłuższych i inne).

Zapis. “The collected information about the canonical page and its cluster may be stored in the Google index, a large database hosted on thousands of computers.” (tłumaczenie) „Zebrane informacje o stronie kanonicznej i jej klastrze mogą zostać zapisane w indeksie Google — dużej bazie danych utrzymywanej na tysiącach komputerów”. Indeks jest olbrzymi — “hundreds of billions of webpages… well over 100,000,000 gigabytes in size” (tłumaczenie) „setki miliardów stron… znacznie ponad 100 000 000 gigabajtów” — i obejmuje nie tylko zeskanowany HTML: “we have multiple indexes of different types of information, which is gathered through crawling, through partnerships, through data feeds being sent to us and through our own encyclopedia of facts, the Knowledge Graph.” (tłumaczenie) „mamy wiele indeksów różnych rodzajów informacji, zbieranych przez skanowanie, partnerstwa, przesyłane nam kanały danych oraz naszą własną encyklopedię faktów — Graf wiedzy”.

Indeksowanie nie jest gwarantowane

Najważniejsze obalenie mitu: zeskanowanie strony nie zapewnia jej indeksowania. Google: “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (tłumaczenie) „Indeksowanie nie jest gwarantowane; nie każda strona przetwarzana przez Google zostanie zindeksowana”. Do częstych przyczyn należą treść niskiej jakości, dyrektywa noindex dla robotów oraz konstrukcja strony utrudniająca indeksowanie.

John Mueller ujął to bardziej po ludzku. Zapytany, jak długo może trwać status „wykryto/przeskanowano — obecnie nie zindeksowano”, odpowiedział, że może trwać wiecznie, ponieważ Google po prostu nie skanuje i nie indeksuje wszystkich stron. Rozwiązaniem nie jest sztuczka, lecz wartość: “continue working on the website and making sure that our systems recognize that there’s value in crawling and indexing more and then over time we will crawl and index more.” (tłumaczenie) „pracuj dalej nad witryną i zadbaj, aby nasze systemy rozpoznały wartość w skanowaniu i indeksowaniu większej liczby stron; z czasem będziemy skanować i indeksować więcej”.

Udowodniłem różnicę skanowanie ≠ indeksowanie także od drugiej strony. W materiale Zindeksowano mimo blokady w robots.txt sedno jest proste: “crawling and indexing are two different things.” (tłumaczenie) „skanowanie i indeksowanie to dwie różne rzeczy”. Strona zablokowana przed skanowaniem nadal może trafić do indeksu, jeśli prowadzą do niej linki — Google po prostu nie zobaczy jej treści (ani umieszczonej na niej dyrektywy noindex).

Etap 3 — wyświetlanie wyników (dopasowanie i kolejność)

Wyświetlanie zaczyna się w chwili, gdy ktoś wpisuje zapytanie. Według Google jego maszyny przeszukują wtedy indeks pod kątem pasujących stron i zwracają wyniki uznane za najwyższej jakości i najbardziej trafne dla zapytania użytkownika. W tym etapie są jednak dwa odrębne ruchy.

Najpierw zrozumienie zapytania

Zanim cokolwiek otrzyma pozycję, Google musi zrozumieć pytanie. Obejmuje to korektę pisowni, synonimy, rozszerzanie zapytania i rozpoznawanie intencji. W prezentacji How Search Works opisuję korektę pisowni przez głęboką sieć neuronową, rozszerzanie zapytań o synonimy, skróty i rdzenie wyrazów oraz neural matching łączący pojęciowo pokrewne określenia — przy czym znacząca część codziennych zapytań jest dla Google nowa. (To parafraza prezentacji.) Zrozumienie zapytania jest osobnym krokiem, nie tym samym co ustalanie pozycji.

Następnie ranking — wiele systemów, nie „algorytm”

To najważniejsze sprostowanie. Ranking nie jest jednym wzorem. Google korzysta z automatycznych systemów rankingowych, które analizują wiele czynników i sygnałów dotyczących setek miliardów stron oraz innych treści w indeksie, aby w ułamku sekundy przedstawić najbardziej trafne i przydatne wyniki. Zwróć uwagę na liczbę mnogą: systemy rankingowe. Google wymienia między innymi RankBrain (“an AI system that helps us understand how words are related to concepts” (tłumaczenie) „system AI pomagający rozumieć związki słów z pojęciami”), BERT, neural matching (system AI służący do rozumienia reprezentacji pojęć w zapytaniach i stronach oraz ich wzajemnego dopasowywania) oraz systemy analizy linków i PageRank (różne systemy rozumiejące, jak strony łączą się ze sobą). Helpful content system jest dziś opisywany w czasie przeszłym — został włączony do głównych systemów rankingowych w aktualizacji z marca 2024 roku i nie działa już jako osobny system.

Warto uczyć dwóch rozróżnień:

  • Systemy ≠ aktualizacje. Systemy rankingowe są stale działającą maszynerią; aktualizacje rankingowe to zmiany wprowadzane przez Google do tych systemów. Są śledzone osobno.
  • Nie istnieją stałe „3 najważniejsze czynniki”. Gary Illyes sprzeciwiał się tezie, że linki są jednym z trzech najważniejszych czynników: “I think they are important, but I think people overestimate the importance of links. I don’t agree it’s in the top three. It hasn’t been for some time.” (tłumaczenie) „Uważam, że są ważne, ale ludzie przeceniają ich znaczenie. Nie zgadzam się, że należą do pierwszej trójki. Od pewnego czasu tak nie jest”. Powiedział też: “it is possible to rank without links.” (tłumaczenie) „można uzyskać pozycję bez linków”. Illyes twierdził również, że uniwersalna pierwsza trójka w ogóle nie istnieje, bo różne witryny mają inne kluczowe sygnały (to parafraza jego wypowiedzi w Search Engine Land, nie dosłowny cytat).

Pięć czynników wymienianych przez Google

W materiałach dla początkujących Google dzieli ranking na pięć grup:

  1. Znaczenie zapytania — “To return relevant results, we first need to establish what you’re looking for - the intent behind your query.” (tłumaczenie) „Aby zwrócić trafne wyniki, najpierw musimy ustalić, czego szukasz — intencję kryjącą się za zapytaniem”.
  2. Trafność treści — “The most basic signal that information is relevant is when content contains the same keywords as your search query.” (tłumaczenie) „Najbardziej podstawowym sygnałem trafności informacji jest obecność w treści tych samych słów kluczowych co w zapytaniu”.
  3. Jakość treści — “they identify signals that can help determine which content demonstrates expertise, authoritativeness, and trustworthiness.” (tłumaczenie) „identyfikują sygnały pomagające ustalić, które treści wykazują wiedzę ekspercką, autorytatywność i wiarygodność”. (W tym cytacie Google mówi o E-A-T — expertise, authoritativeness, trustworthiness; „experience”, które tworzy E-E-A-T, jest moim dopowiedzeniem, nie słowem z cytatu.)
  4. Użyteczność treści — kwestie jakości strony i dostępności.
  5. Kontekst i ustawienia — “we use information such as your location, past Search history, and Search settings to determine what is most relevant for you.” (tłumaczenie) „korzystamy z danych takich jak lokalizacja, wcześniejsza historia wyszukiwania i ustawienia wyszukiwania, aby ustalić, co jest dla Ciebie najtrafniejsze”.

Trafność zależy od kontekstu: “Relevancy is determined by hundreds of factors, which could include information such as the user’s location, language, and device (desktop or phone).” (tłumaczenie) „Trafność określają setki czynników, w tym na przykład lokalizacja, język i urządzenie użytkownika (komputer lub telefon)”. Wagi zmieniają się zależnie od zapytania — “when searching for current news topics, content freshness plays a bigger role than dictionary definitions.” (tłumaczenie) „przy wyszukiwaniu aktualnych wiadomości świeżość treści ma większe znaczenie niż definicje słownikowe”. Nie istnieje jeden „najlepszy” wynik identyczny dla wszystkich.

Wyświetlanie to nie dziesięć niebieskich linków

Wyświetlanie decyduje także o tym, jak wygląda wynik. “Based on the user’s query the search features that appear on the search results page also change.” (tłumaczenie) „Funkcje wyszukiwania pojawiające się na stronie wyników również zmieniają się zależnie od zapytania”. Panele wiedzy, wyniki z elementami rozszerzonymi, obrazy, filmy i pakiety lokalne są częścią wyświetlania, nie osobnym dodatkiem. I jeszcze dwa uporczywe mity: “we never provide special treatment to advertisers in how our search algorithms rank their websites, and nobody can pay us to do so.” (tłumaczenie) „Nigdy nie traktujemy reklamodawców szczególnie przy ustalaniu pozycji ich witryn przez nasze algorytmy i nikt nie może nam za to zapłacić”. Nie można kupić pozycji organicznej, a zgłoszenie adresu URL jest tylko sygnałem — nie gwarantuje indeksowania ani rankingu.

Bing ma taki sam przebieg

Bing również działa według schematu skanowanie → indeksowanie → ranking, choć nazywa elementy po swojemu. Microsoft: “Crawling is how Bingbot discovers new and updated pages and content to add to our search index.” (tłumaczenie) „Skanowanie to sposób, w jaki Bingbot odkrywa nowe i zaktualizowane strony oraz treści przeznaczone do dodania do indeksu”. Następnie “as Bingbot crawls the web, it sends information to Bing about what it finds. These pages are then added to the Bing index.” (tłumaczenie) „gdy Bingbot skanuje internet, przesyła Bing informacje o swoich znaleziskach. Strony są następnie dodawane do indeksu Bing”. Wreszcie “complex algorithms generate Microsoft Bing search results using the user’s search query matching it with third-party webpages in our index.” (tłumaczenie) „złożone algorytmy tworzą wyniki Microsoft Bing, dopasowując zapytanie użytkownika do zewnętrznych stron w indeksie”. Bing publikuje własne nazwane czynniki rankingowe — trafność, jakość i wiarygodność, zaangażowanie użytkowników, świeżość, lokalizację i czas wczytywania strony — czyli czytelny odpowiednik pięciu grup Google.

To model, nie kod źródłowy

Jedno uczciwe zastrzeżenie, zanim uznasz ten opis za prawdę objawioną. Wyszukiwarki mówią nam wiele, ale nie wszystko, a ich mechanizmy się zmieniają. Każdy diagram procesu — również mój — jest użytecznym przybliżeniem, nie rzeczywistym kodem. Umieściłem to zastrzeżenie już na slajdzie 3 prezentacji How Search Works: tak rozumiem te systemy na podstawie wielu publicznych wypowiedzi Google i własnej wiedzy, lecz ten obraz nie będzie w 100% kompletny ani dokładny. Traktuj model elastycznie; wykorzystuj go do rozumowania, a nie do rozstrzygania sporów.

Na którym etapie utknęła strona?

Tu widać wartość modelu trzech bramek. Gdy strona nie osiąga wyników, nie zgaduj — znajdź niezaliczoną bramkę, a następnie napraw ten etap:

ObjawPrawdopodobny etapCo sprawdzić najpierw
Strona w ogóle nie jest skanowanaSkanowanieStrona osierocona (nic do niej nie linkuje), blokada w robots.txt, błędy serwera, brak w mapie witryny
Zeskanowana, ale niezindeksowanaIndeksowanieJakość treści, noindex, kanonikalizacja do innego URL-a, treść JS, której nie wyrenderowano
Zindeksowana, ale bez pozycjiWyświetlanie / rankingTrafność dla zapytania, jakość treści, konkurencja, niedopasowanie intencji
Pozycję uzyskuje niewłaściwy URLIndeksowanie (kanonikalizacja)Klaster duplikatów wybrał inną wersję — sprawdź około 40 sygnałów
W indeksie brakuje treści JSRenderowanie (w indeksowaniu)Prawdziwe linki <a href>, opóźnienie renderowania, ograniczenia WRS

Diagnoza wskazuje, którego szczegółowego materiału potrzebujesz.

Dokąd przejść dalej

Ta strona jest mapą. Każdy etap ma własne szczegółowe materiały:

Skanowanie — jedyny etap rozbudowany dotąd jako pełny klaster. Zacznij od centrum skanowania, a następnie przejdź do budżetu indeksowania (pojemność + popyt i kto naprawdę musi się nim przejmować), tempa skanowania (jak szybko roboty pobierają i jak przyspieszyć lub zwolnić), częstotliwości skanowania (co skłania Google do szybszej ponownej wizyty) i głębokości skanowania (dlaczego ważne strony powinny być blisko strony głównej). Przy diagnozie pomagają analiza logów (źródło prawdy o faktycznych działaniach robotów) i pułapki na roboty (nieskończone przestrzenie URL-i marnujące budżet). Szybszemu odkrywaniu służą IndexNow (protokół push używany przez Bing i inne wyszukiwarki) oraz Google Indexing API (wraz z mitem, że indeksuje dowolną stronę).

Renderowanie — pomost między skanowaniem a indeksowaniem, rozwinięty w dwóch materiałach. Renderowanie opisuje sposób uruchamiania JavaScriptu przez Google w Web Rendering Service oraz warianty renderowania (CSR, SSR, SSG, hydration, ISR, edge, dynamic) i ich kompromisy SEO. JavaScript SEO omawia praktyczne problemy i naprawy — prawdziwe linki <a href>, zgodność DOM, treść wczytywaną leniwie, soft 404 oraz powód, dla którego dwie strony nieskończonego przewijania mogą zostać zindeksowane jako jedna.

Indeksowanie — kanonikalizacja i możliwość indeksowania mają już własny klaster; zacznij od centrum indeksowania.

Ranking — systemy rankingowe, stojące za nimi sygnały i miejsce E-E-A-T stanowią osobny temat, który pojawi się w następnej kolejności.

Wszystkie materiały tego klastra znajdziesz w jednym miejscu w klastrze „Jak działa wyszukiwarka”.

Dodaj notatkę eksperta

Przypnij cytat eksperta

Nowa osoba? Najpierw utwórz jej nieprzejęty profil na /admin/experts/ → Przypnij cytat eksperta .

Polski › Treści

SEO i dostępność

Gdzie dostępność stron internetowych i SEO naprawdę się pokrywają (tekst alternatywny, nagłówki, tekst linków, szybkość), a gdzie się rozchodzą — oraz dlaczego Google mówi, że dostępność nie jest czynnikiem rankingowym.

Czytaj artykuł →
Polski › Treści

Strona alternatywna z prawidłowym tagiem kanonicznym

„Strona alternatywna z prawidłowym tagiem kanonicznym” w raporcie indeksowania Google Search Console nie jest błędem — to system kanonikalizacji działający zgodnie z przeznaczeniem. Wyjaśniamy znaczenie statusu, dlaczego duże liczby zwykle są normalne, czym różni się on od dwóch statusów duplikatów oraz jakie nieliczne przypadki warto zbadać.

Czytaj artykuł →
Polski › Treści

Mapy witryn

Czym jest mapa witryny, czy jej potrzebujesz, jakie są jej typy oraz jak ją znaleźć, utworzyć i przesłać — a także dlaczego pomaga w odkrywaniu, ale nigdy nie gwarantuje indeksowania.

Czytaj artykuł →
Polski › Treści

Crawlowanie

Jak wyszukiwarki odkrywają i pobierają sieć — Googlebot i Bingbot, odkrywanie URL-i, harmonogram crawlowania, renderowanie oraz różnice między crawlowaniem, indeksowaniem i rankingiem. Hub poświęcony całemu tematowi crawlowania.

Czytaj artykuł →
Polski › Treści

Budżet indeksowania

Czym właściwie jest budżet indeksowania — pojemność indeksowania plus zapotrzebowanie na indeksowanie — co go marnuje, oraz uczciwy test, czy Twoja witryna jest wystarczająco duża, aby w ogóle trzeba było się tym przejmować.

Czytaj artykuł →
Polski › Treści

Robots.txt

Co naprawdę robi robots.txt — kontroluje pobieranie, a nie indeksowanie — oraz dokładna składnia, sposób obsługi przez Google i błędy, które mogą zaszkodzić witrynie.

Czytaj artykuł →
Polski › Treści

Kanoniczność

Jak wyszukiwarki wybierają jeden kanoniczny URL spośród duplikatów i konsolidują na nim sygnały rankingowe — dlaczego rel=canonical jest wskazówką, a nie regułą, i jak dopasować wszystkie sygnały.

Czytaj artykuł →
Polski › Treści

Zduplikowana treść

Nie ma kary za zduplikowaną treść. Co naprawdę kosztuje Cię zduplikowana treść, jak Google grupuje duplikaty i wybiera kanoniczny adres URL oraz jak to naprawić.

Czytaj artykuł →
Polski › Treści

Kanały RSS

Jak wyszukiwarki używają kanałów RSS 2,0 i Atom 1,0 jako kanału odkrywania świeżej treści — Feedfetcher, robots.txt, WebSub oraz powód, dla którego kanał uzupełnia, ale nigdy nie zastępuje mapy witryny XML.

Czytaj artykuł →
Polski › Treści

Mapa witryny XML

Czym jest mapa witryny XML, jej budowa, ignorowane tagi (priority/changefreq), dokładny lastmod, limity 50 000/50 MB, hreflang w mapach witryny oraz jak ją przesłać.

Czytaj artykuł →
Polski › Treści

Crawlery AI

Trzy rodzaje crawlerów AI — boty treningowe, indeksujące wyszukiwanie AI i pobieracze uruchamiane przez użytkownika — najważniejsze nazwane boty oraz sposoby kontrolowania każdego z nich bez szkody dla SEO.

Czytaj artykuł →
Polski › Treści

Zablokowano z powodu nieautoryzowanego żądania (401)

Co oznacza status indeksowania stron Google Search Console „Blocked due to unauthorized request (401)”, czym różni się od 403 według RFC 9110, jakie są typowe przyczyny, jak diagnozować problem jako bot i jak dobrać naprawę do rodzaju strony — publicznej, prywatnej, błędnie zablokowanej przez WAF lub za paywallem.

Czytaj artykuł →
Polski › Treści

Baiduspider — robot indeksujący Baidu

Czym jest Baiduspider — warianty i user-agenty crawlera Baidu, zgodność z robots.txt (oraz wyjątek cpro/ads), weryfikacja odwrotnego DNS, słabe renderowanie JavaScript i kontrola indeksowania w Ziyuan.

Czytaj artykuł →
Polski › Treści

Crawler Bingbot

Czym jest Bingbot, jak działa jego indeksowanie oparte na Chromium, dlaczego jego zasięg wykracza poza Bing oraz jak zweryfikować prawdziwego crawlera przez dwuetapowy odwrotny DNS zamiast ufać user-agentowi.

Czytaj artykuł →
Polski › Treści

Agent użytkownika

Czym jest user agent — nagłówek HTTP, za pomocą którego roboty indeksujące i przeglądarki identyfikują siebie, token w robots.txt a pełny ciąg znaków oraz jak zweryfikować, czy bot jest prawdziwy.

Czytaj artykuł →
Polski › Treści

PageRank i SEO

PageRank to oryginalny algorytm analizy linków Google — czym jest, model przypadkowego internauty i wzór, aktualizacja Reasonable Surfer, jego historia od paska narzędziowego do wycieku API w 2024 roku, dlaczego nadal jest podstawowym systemem rankingowym i co oznacza dla Twoich linków oraz architektury wewnętrznej.

Czytaj artykuł →
Polski › Treści

Przekierowania JavaScript

Czym jest przekierowanie JavaScript, jak potok renderowania Google traktuje je inaczej niż przekierowanie 301 po stronie serwera, kiedy jest akceptowalnym ostatecznym rozwiązaniem oraz jak je wdrożyć i wykryć — a także gdzie pasują meta refresh i History API.

Czytaj artykuł →
Polski › Treści

Googlebot i SEO

Czym właściwie jest Googlebot — Smartphone vs Desktop, evergreen Chromium, stringi user-agent, weryfikacja zakresów IP, limity bajtów oraz rozróżnienie crawl vs rank.

Czytaj artykuł →
Polski › Treści

Indeksowanie

Jak wyszukiwarki przechowują i porządkują strony, aby móc je pozycjonować — analiza treści, kanonikalizacja, dlaczego zaindeksowane nie oznacza zaindeksowane, oraz czytanie raportu indeksowania stron w GSC.

Czytaj artykuł →
Polski › Treści

Indeksowanie Mobile-First

Czym właściwie jest indeksowanie mobile-first — Google używa Twojego mobilnego HTML do indeksowania i rankingu — dlaczego parytet treści jest zasadą

Czytaj artykuł →
Polski › Treści

Nie znaleziono (404)

Co oznacza "Nie znaleziono (404)" w raporcie Indeksowanie stron w Google Search Console — dlaczego Google znalazło adresy URL, których nigdy nie przesłałeś, dlaczego błędy 404 zwykle nie szkodzą SEO oraz mały zestaw błędów 404, które faktycznie warto naprawić.

Czytaj artykuł →
Polski › Treści

URL oznaczony jako 'noindex' (status GSC)

Co oznacza status "URL oznaczony jako 'noindex'" w Google Search Console — oraz wariant "Zgłoszony URL oznaczony jako 'noindex'" i starsza nazwa "Wykluczony przez tag 'noindex'". Kiedy jest to zamierzone, a kiedy błąd, gdzie znajduje się noindex (meta tag vs. nagłówek X-Robots-Tag), konflikt z robots.txt, fantomowy/CDN noindex, oraz jak to naprawić i zweryfikować.

Czytaj artykuł →
Polski › Treści

Rozrost indeksu

Rozrost indeksu to termin SEO oznaczający zaindeksowane adresy URL o niskiej wartości, cienkie i zduplikowane. To problem efektywności indeksowania i jakości, a nie kara — oto jak go naprawić.

Czytaj artykuł →
Polski › Treści

API indeksowania Google

Co faktycznie robi Google Indexing API — oficjalnie wspierane tylko dla stron z danymi strukturalnymi JobPosting i BroadcastEvent (transmisje na żywo), a nie dla ogólnych treści. Mity, co naprawdę mówi Google i czego użyć zamiast tego, aby przyspieszyć indeksowanie.

Czytaj artykuł →
Polski › Treści

IndexNow dla SEO

IndexNow to otwarty protokół push, który natychmiast informuje Bing, Yandex, Naver, Seznam i Yep o zmianach adresów URL — jedna subskrypcja, udostępniana wszystkim. Jak działa, jak go skonfigurować i dlaczego nie ma wpływu na Google.

Czytaj artykuł →
Polski › Treści

Protokół WebSub

WebSub (dawniej PubSubHubbub) to protokół push, który w czasie rzeczywistym rozgłasza zmiany kanałów RSS/Atom do wyszukiwarek takich jak Google — czym jest, jak działa i jakie ma ograniczenia.

Czytaj artykuł →
Polski › Treści

Renderowanie

Jak usługa renderowania Google uruchamia Twój JavaScript, aby zbudować stronę, którą indeksuje — oraz opcje renderowania (CSR, SSR, SSG, hydratacja, ISR, edge, dynamiczne) i ich kompromisy SEO.

Czytaj artykuł →
Polski › Treści

Raport indeksowania stron (GSC)

Jak działa raport indeksowania stron w Google Search Console (dawniej Stan w indeksie) — strony zindeksowane i niezindeksowane, kolumna Źródło, wszystkie stany, Weryfikacja poprawki oraz opóźnienie raportu.

Czytaj artykuł →