Web crawler

In breve — Un web crawler è un programma automatizzato che visita le pagine web, le scarica e segue i link per trovarne altre. «Crawler», «spider» e «bot» indicano la stessa cosa. I motori di ricerca usano i crawler per trovare le pagine e poterle mostrare nei risultati, ma una pagina deve essere sottoposta a crawling prima di poter essere indicizzata e posizionata; un crawling più frequente non migliora il ranking.

Che cos’è un crawler

Un web crawler è un software che naviga automaticamente sul web. Visita una pagina, ne scarica il contenuto, raccoglie i link e poi visita anche quelli, ripetendo il processo su miliardi di pagine.

Sentirai tre nomi per la stessa cosa: crawler, spider e bot. Sono intercambiabili. Il crawler di Google si chiama Googlebot; quello di Bing è Bingbot. Prova a sostegno di questa affermazione Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Ambito: Google crawler terminology. Attendibilità: alta · Verificato: 2026-07-14 Google: Googlebot overview

I motori di ricerca hanno bisogno dei crawler perché non possono mostrare una pagina nei risultati se prima non l’hanno trovata e scaricata. Il crawler raccoglie la materia prima; l’indice è l’enorme database in cui il motore cerca quando digiti una query.

Un crawler non è la stessa cosa di uno scraper. Il crawler serve a scoprire contenuti su larga scala, seguendo link in una vasta porzione del web o nell’intero web. Lo scraper serve invece a estrarre dati specifici da pagine che gli sono già state indicate. Nella pratica il confine è sfumato: molti strumenti fanno entrambe le cose, usando il crawling per trovare pagine e lo scraping per estrarre i dati necessari.

Come un crawler trova le tue pagine

Soprattutto in due modi:

• Seguendo i link. Quando scarica una pagina, il crawler ne legge i link e aggiunge i nuovi URL alla propria lista di attività. Un buon linking interno consente di scoprire nuove pagine.
• Sitemap. Una sitemap XML è un elenco di URL consegnato direttamente ai motori di ricerca e può aiutarli a scoprirli. Prova a sostegno di questa affermazione Google discovers URLs through links from known pages and through submitted sitemaps. Ambito: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Attendibilità: alta · Verificato: 2026-07-14 Google: How Search works

Le tre fasi che contano

La ricerca funziona in un ordine preciso:

1. Crawling — un bot trova un URL e scarica la pagina.
2. Indicizzazione — il motore elabora la pagina e la archivia nel database.
3. Pubblicazione dei risultati (ranking) — quando qualcuno cerca, il motore estrae le corrispondenze migliori e le ordina.

Il crawling è la prima fase. Se una pagina non viene mai sottoposta a crawling, non può essere indicizzata; se non è indicizzata, non può posizionarsi. Il crawling è quindi una soglia da superare, non un punteggio: più scansioni non fanno salire nei risultati.

L’errore più comune

Bloccare una pagina in robots.txt non la rimuove da Google. robots.txt dice soltanto al crawler «non leggerla». La pagina può comunque apparire nei risultati se altri siti la collegano. Per rimuoverla davvero, consenti il crawling e aggiungi invece un tag noindex.

Vuoi la spiegazione meccanica — coda di scansione, recupero e analisi, motivo per cui il rendering è separato e metodo per distinguere un crawler autentico da uno falso? Passa alla scheda Avanzato.

In breve — Un crawler (spider o bot) è un programma automatizzato che scopre, recupera, analizza e ripianifica gli URL in un ciclo. Nelle parole di Google, «scarica testo, immagini e video dalle pagine trovate su Internet tramite programmi automatici chiamati crawler». La meccanica comprende una frontier (la coda degli URL), un recupero (download dell’HTML), un’analisi (estrazione di link e contenuto) e uno scheduler che decide che cosa recuperare dopo e a quale velocità, rallentando in base alla salute del server. Il rendering di JavaScript è una fase separata. Il crawling è necessario per il ranking ma non è un segnale di ranking, ed è distinto dall’indicizzazione: una pagina bloccata da robots può comunque essere indicizzata. Nel 2026, inoltre, non eseguono crawling soltanto i motori di ricerca: i bot IA sono una quota ampia e in rapida crescita del traffico.

Che cos’è davvero un crawler

La definizione di Google è molto semplice: «scarica testo, immagini e video dalle pagine trovate su Internet tramite programmi automatici chiamati crawler». Il glossario di Google è ancora più ampio: «crawler è un termine generico per qualsiasi programma usato per scoprire e analizzare automaticamente i siti web». Crawler, spider, bot e spiderbot: stesso concetto, nomi diversi. Prova a sostegno di questa affermazione Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Ambito: Google crawler terminology. Attendibilità: alta · Verificato: 2026-07-14 Google: Googlebot overview

Il crawling conta per via della pipeline. Google lo dice chiaramente: «Google Search funziona in tre fasi e non tutte le pagine superano ogni fase» — crawling, indicizzazione e pubblicazione. Il crawling è la prima soglia. Una pagina mai sottoposta a crawling non può essere indicizzata, e una pagina non indicizzata non può posizionarsi.

Come funziona meccanicamente un crawler

Tolti i nomi commerciali, la maggior parte dei crawler che segue link esegue una versione di questo ciclo: scoperta → recupero → analisi → pianificazione → ripetizione. È un modello mentale utile per ragionare sul comportamento dei crawler, non la garanzia che ogni crawler mai creato implementi le stesse identiche fasi.

La frontier (la coda). Un crawler non vaga a caso. Mantiene una coda di URL noti ma non ancora visitati — la crawl frontier — e uno scheduler che decide quale URL prelevare dopo. Parte da un insieme iniziale di URL conosciuti e amplia la coda via via che ne scopre altri. Google descrive così la scoperta: «Altre pagine vengono scoperte quando Google estrae da una pagina nota un link verso una nuova pagina… Altre ancora quando invii a Google un elenco di pagine (una sitemap) da sottoporre a crawling. Questo processo è chiamato “scoperta degli URL”.» Prova a sostegno di questa affermazione Google discovers URLs through links from known pages and through submitted sitemaps. Ambito: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Attendibilità: alta · Verificato: 2026-07-14 Google: How Search works

Recupero. Il crawler invia una richiesta HTTP e il server restituisce la pagina. In questa fase scarica l’HTML grezzo; risorse come JavaScript e CSS vengono recuperate separatamente, spesso più tardi. Fabrice Canel di Bing riassume così l’obiettivo: «Il crawling è il processo con cui bingbot scopre documenti o contenuti nuovi e aggiornati da aggiungere all’indice consultabile di Bing.»

Analisi. L’HTML recuperato viene analizzato per estrarre link, testo, titoli, immagini e metadati. I nuovi URL vengono normalizzati e reinseriti nella frontier, alimentando il ciclo.

Pianificazione. Che cosa viene recuperato, con quale frequenza e quante pagine per visita è deciso algoritmicamente, non da te. Google: «Googlebot usa un processo algoritmico per determinare quali siti sottoporre a crawling, con quale frequenza e quante pagine recuperare da ciascun sito.» Le pagine popolari e aggiornate spesso vengono rivisitate prima; quelle poco note e statiche più raramente. Il modo in cui si determina questa pianificazione — crawl budget, velocità e frequenza di scansione — è approfondito negli articoli dedicati di questo cluster.

«Googlebot» non è un unico programma

È il punto che molte spiegazioni tralasciano. «Googlebot» sembra un singolo programma, ma non lo è. Nella mia presentazione Come funziona la ricerca lo descrivo come oltre 1000 sistemi che eseguono una famiglia di crawler specializzati — desktop, mobile, immagini, notizie, video e annunci — attingendo allo stesso pool di crawl budget. Gary Illyes ha espresso lo stesso concetto dall’interno: il nome è in sostanza improprio per una piattaforma centrale di crawling attraverso cui molti prodotti Google (Shopping, AdSense e gli altri) instradano le richieste con nomi di user agent diversi. Nei log non osservi quindi un solo bot, ma una flotta che condivide un’etichetta. I dettagli specifici sono negli articoli su Googlebot e Bingbot.

Cortesia: come i crawler evitano di sovraccaricare il sito

Un crawler ben progettato rallenta deliberatamente. Google: «Cerca di non eseguire il crawling del sito troppo velocemente per evitare di sovraccaricarlo. Questo meccanismo si basa sulle risposte del sito (per esempio, gli errori HTTP 500 significano “rallenta”).» È anche la leva per ridurre temporaneamente il crawling: risposte 5xx/429 persistenti fanno arretrare Googlebot per uno o due giorni, non per sempre. La cortesia non è un gesto facoltativo; alla scala dei crawler, è ciò che impedisce loro di abbattere i server.

Robots.txt: il controllo standard del crawling

robots.txt è la convenzione di fatto per il controllo dell’accesso. Google: «Un file robots.txt indica ai crawler dei motori di ricerca a quali URL del sito possono accedere.» Tieni distinti due aspetti:

• Controlla il crawling, non l’indicizzazione. Una pagina vietata può comunque essere indicizzata se altre pagine la collegano: Google non può vederne il contenuto né un tag noindex. Come ho scritto in Indicizzata, anche se bloccata da robots.txt, «crawling e indicizzazione sono due cose diverse». Per rimuovere davvero una pagina, consenti il crawling e aggiungi noindex: non bloccarla.
• I crawler affidabili lo rispettano; i malintenzionati no. Googlebot, Bingbot, Ahrefsbot e simili rispettano robots.txt; molti scraper e bot poco affidabili lo ignorano. È una convenzione, non un meccanismo di imposizione.

Ho verificato direttamente l’effetto del blocco. In La storia del blocco con robots.txt di due pagine ben posizionate ho bloccato due pagine in ranking per quasi cinque mesi. Hanno perso tutti i featured snippet e i titoli personalizzati (i risultati mostravano «non sono disponibili informazioni»), e i clic sono calati più di quanto spiegasse la sola posizione; la stima del traffico, però, è cambiata poco. La conclusione resta: non bloccare le pagine che vuoi indicizzare. Fa male. Non quanto potresti pensare, ma fa comunque male.

Crawling ≠ indicizzazione ≠ rendering ≠ ranking

Le distinzioni che generano più confusione:

• Crawling ≠ indicizzazione. Il crawling recupera e scarica; l’indicizzazione comprende e archivia. Una pagina può essere sottoposta a crawling ma non indicizzata, e una pagina bloccata può essere indicizzata senza essere letta. «L’indicizzazione non è garantita; non tutte le pagine elaborate da Google vengono indicizzate.»
• Crawling ≠ rendering. Recuperare l’HTML ed eseguirne JavaScript sono due fasi diverse. «Durante il crawling, Google esegue il rendering della pagina e qualsiasi JavaScript trovato usando una versione recente di Chrome», ma il rendering avviene in una coda separata e può restare indietro rispetto al recupero iniziale. Il contenuto che appare soltanto dopo JavaScript non è disponibile nello stesso passaggio dell’HTML.
• Crawling ≠ ranking. Una scansione più frequente non è un segnale di ranking. La velocità di crawling è soltanto una questione di efficienza; per questo la maggior parte dei siti non deve gestire il crawl budget.

Tipi di crawler, in sintesi

Ogni categoria ha un articolo dedicato:

• Crawler dei motori di ricerca — Googlebot e Bingbot; costruiscono gli indici dei risultati.
• Crawler IA/LLM — GPTBot, ClaudeBot, CCBot e altri, che raccolgono contenuti web per addestrare o alimentare modelli IA. Crescono rapidamente.
• Crawler per audit SEO — Ahrefs Site Audit, Screaming Frog e strumenti simili che simulano una scansione per individuare problemi tecnici.
• Fetcher attivati dall’utente — strumenti che eseguono una singola richiesta su richiesta, come Controllo URL e Test dei risultati avanzati di Google. Non sono crawler autonomi.

Chi esegue il crawling del web oggi

Non ci sono più soltanto i motori di ricerca. Nella mia analisi dei dati Cloudflare Radar, Incontra i nuovi web crawler, i bot dei motori eseguono ancora più crawling, ma i bot IA occupano saldamente il secondo posto. La scala è enorme: Bing da solo scopre ogni giorno decine di miliardi di URL normalizzati mai visti prima, secondo Fabrice Canel. Ecco perché i motori devono stabilire priorità aggressive su ciò che recuperano davvero.

Come verificare l’identità dichiarata da un crawler

Qualsiasi bot può inserire «Googlebot» nella stringa user agent, quindi non fidarti della sola stringa. Il controllo reale è una risoluzione DNS inversa e diretta (vedi la scheda Script): esegui il DNS inverso dell’IP dai log, verifica che restituisca un hostname googlebot.com/google.com, poi esegui il DNS diretto dell’hostname e conferma che punti allo stesso IP. Google pubblica anche i propri intervalli IP. I dettagli per motore e user agent sono nell’articolo dedicato agli user agent.

Dove proseguire

Questa è la pagina sul concetto generale. Per i dettagli:

• Googlebot — il crawler di Google: user agent, crawling mobile-first, rendering e Statistiche di scansione di Search Console.
• Bingbot — il crawler di Bing: Controllo crawling e IndexNow.
• Crawler IA — GPTBot, ClaudeBot, CCBot e i nuovi bot agentici.
• User agent — che cos’è la stringa user agent e come leggerla.
• Hub sul crawling — l’intera pipeline, oltre a crawl budget, velocità, frequenza, profondità, spider trap e analisi dei file di log.

Riepilogo IA

Una versione condensata della scheda Avanzato:

• Crawler = spider = bot. I tre nomi indicano un programma automatizzato che «scopre e analizza automaticamente i siti web», scaricando pagine che i motori possono indicizzare.
• Il ciclo è scoperta → recupero → analisi → pianificazione → ripetizione. Una frontier (coda di URL noti ma non visitati) alimenta uno scheduler; il recupero scarica l’HTML, l’analisi estrae link e contenuto, i nuovi URL tornano nella coda. Google chiama questa fase «scoperta degli URL» e cita link e sitemap.
• Il crawling è la prima di tre fasi (crawling → indicizzazione → pubblicazione) e «non tutte le pagine superano ogni fase». È necessario per il ranking, ma non è un segnale di ranking.
• Crawling ≠ indicizzazione ≠ rendering ≠ ranking. L’indicizzazione non è garantita; il rendering JavaScript è una fase separata e successiva; una pagina bloccata da robots può essere comunque indicizzata tramite link.
• «Googlebot» è una flotta, non un programma: una piattaforma centrale di crawling usata da molti prodotti Google con user agent diversi.
• I crawler affidabili sono cortesi e rispettano robots.txt, rallentando su 5xx/429; i malintenzionati e molti scraper no.
• Non ci sono più solo i motori. I bot IA sono chiaramente secondi per volume e Bing vede ogni giorno decine di miliardi di nuovi URL.
• Verifica il crawler con DNS inverso e diretto, non con la sola stringa user agent.

Documentazione ufficiale

Documentazione di prima parte dei motori di ricerca.

Google

• Guida approfondita al funzionamento di Google Search — panoramica crawling → indicizzazione → pubblicazione, scoperta degli URL e scheduler.
• Panoramica dei crawler e fetcher di Google — definizione di crawler, user agent e intervalli IP pubblicati.
• Googlebot — varianti Smartphone e Desktop e comportamento tecnico.
• Introduzione a robots.txt — che cosa fa e non fa robots.txt.
• Ottimizzare il crawl budget — capacità e domanda di crawling e siti che ne hanno davvero bisogno.

Bing / Microsoft

• Serie bingbot: massimizzare l’efficienza del crawling — definizione di Bing e suo obiettivo di efficienza.

Citazioni dalla fonte

Dichiarazioni ufficiali di Google e Bing. Ogni link porta al passaggio citato.

Google: che cos’è un crawler e come funziona

• “Google downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (traduzione) «Google scarica testo, immagini e video dalle pagine trovate su Internet tramite programmi automatici chiamati crawler.» — documentazione di Google Search Central. Vai alla citazione
• “Google Search works in three stages, and not all pages make it through each stage.” (traduzione) «Google Search funziona in tre fasi e non tutte le pagine superano ogni fase.» Vai alla citazione
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” (traduzione) «Altre pagine vengono scoperte quando Google estrae da una pagina nota un link verso una nuova pagina… Altre ancora quando invii un elenco di pagine, una sitemap. Questo processo è chiamato “scoperta degli URL”.» Vai alla citazione
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (traduzione) «Googlebot usa un processo algoritmico per determinare quali siti sottoporre a crawling, con quale frequenza e quante pagine recuperare da ogni sito.» Vai alla citazione
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (traduzione) «Cercano di non eseguire il crawling troppo velocemente per evitare sovraccarichi. Il meccanismo si basa sulle risposte del sito: per esempio, gli errori HTTP 500 significano “rallenta”.» Vai alla citazione
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (traduzione) «Durante il crawling, Google esegue il rendering della pagina e qualsiasi JavaScript trovato usando una versione recente di Chrome.» Vai alla citazione

Google: robots.txt

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (traduzione) «Un file robots.txt indica ai crawler dei motori di ricerca a quali URL del sito possono accedere.» — documentazione di Google Search Central. Vai alla citazione

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (traduzione) «Il crawling è il processo con cui bingbot scopre documenti o contenuti nuovi e aggiornati da aggiungere all’indice consultabile di Bing.» Vai alla citazione
• “Our crawl efficiency north star is to crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (traduzione) «Il nostro obiettivo guida per l’efficienza è sottoporre un URL a crawling solo quando il contenuto è stato aggiunto o aggiornato.» Vai alla citazione

Verifica che i crawler possano fare il loro lavoro

• Le pagine importanti sono collegate da un punto sottoponibile a crawling e non sono orfane.
• È stata inviata una sitemap XML, così la scoperta non dipende solo dai link.
• robots.txt non blocca ciò che vuoi indicizzare e blocca gli spazi di scarso valore che non vuoi scansionare.
• Non usi robots.txt per deindicizzare: quello è il compito di noindex, con crawling consentito.
• Il server restituisce risposte rapide e stabili; i bot rallentano su 5xx/429.
• Il contenuto dipendente da JavaScript è raggiungibile tramite veri link <a href>, non solo tramite clic.
• I bot nei log sono verificati con DNS inverso e diretto, non soltanto per stringa user agent.

I modelli mentali

1. Il ciclo: scoperta → recupero → analisi → pianificazione → ripetizione. La maggior parte dei crawler che segue link esegue una versione di questo ciclo. Una frontier contiene gli URL noti, uno scheduler sceglie il prossimo, il recupero lo scarica e l’analisi estrae link che tornano nella frontier. Se una pagina non viene scansionata, chiediti quale fase fallisce: è stata scoperta? Lo scheduler la sta deprioritizzando?

2. La pipeline: crawling → indicizzazione → pubblicazione. Ogni fase è un filtro e «non tutte le pagine superano ogni fase». Se una pagina rende male, individua la fase in cui fallisce prima di cambiare qualcosa.

3. L’insieme dei “non uguale”. Tieni distinti questi quattro concetti:

• Crawling ≠ indicizzazione: una pagina bloccata può essere indicizzata tramite link.
• Crawling ≠ rendering: JavaScript viene eseguito in una fase separata e successiva.
• Crawling ≠ ranking: la velocità di scansione non è un segnale di ranking.
• «Googlebot» ≠ un programma: è una flotta instradata attraverso una piattaforma.

4. La regola decisionale per rimuovere una pagina. Vuoi eliminarla dai risultati? Consenti il crawling + noindex. Vuoi che i bot ignorino un intero spazio e l’indicizzazione non ti interessa? Disallow in robots.txt. Non usare mai Disallow per deindicizzare.

Crawler: promemoria

Tre nomi, una cosa: crawler = spider = bot (spiderbot).

Il ciclo: scoperta (frontier) → recupero (HTML) → analisi (link e contenuto) → pianificazione → ripetizione.

La pipeline: crawling → indicizzazione → pubblicazione. Il crawling è la prima soglia.

Cortesia: i crawler rallentano; 5xx/429 persistenti significano «rallenta».

Controllo: robots.txt controlla il crawling, non l’indicizzazione. I crawler affidabili lo rispettano; molti scraper no.

Verifica: DNS inverso e diretto, mai la sola stringa user agent.

Panorama 2026: i bot dei motori eseguono più crawling; i bot IA crescono rapidamente al secondo posto; Bing scopre ogni giorno decine di miliardi di nuovi URL.

Verifica che un bot sia davvero il crawler dichiarato

Una stringa user agent è facile da falsificare, quindi il controllo affidabile è il DNS. Per Googlebot, verifica che una risoluzione inversa e diretta termini su un dominio Google e torni allo stesso IP.

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Se la risoluzione inversa non termina su un dominio Google o quella diretta non coincide con l’IP originale, non è davvero Googlebot. Puoi anche confrontare l’IP con gli intervalli pubblicati da Google. Lo stesso schema inverso-poi-diretto vale per altri crawler affidabili rispetto ai loro hostname pubblicati.

Strumenti per controllare accesso e attività dei crawler

• Tester robots.txt — verifica se un crawler può richiedere un URL prima di attribuire una lacuna alla pianificazione.
• Analizzatore dei file di log — scopri quali crawler raggiungono il server, quali URL richiedono e quali codici ricevono.
• Controllo header HTTP — esamina la risposta ricevuta dal crawler, inclusi redirect e direttive negli header.
• Analizzatore del divario di rendering — confronta HTML grezzo e renderizzato quando il contenuto dipende dal rendering client-side.

Mettiti alla prova: web crawler

Risorse che meritano tempo

I miei articoli correlati

• Che cos’è Googlebot e come funziona? — approfondimento sulla flotta di crawler di Google.
• Indicizzata, anche se bloccata da robots.txt — perché le pagine bloccate vengono comunque indicizzate.
• La storia del blocco con robots.txt di due pagine ben posizionate — il mio esperimento crawling-vs-ranking.
• Quando preoccuparsi del crawl budget? — quando l’efficienza di scansione conta davvero.
• I nuovi web crawler: i bot IA si avvicinano ai bot dei motori — il panorama in evoluzione.

Le mie presentazioni

• Come funziona la ricerca — panoramica di crawling, rendering, indicizzazione e ranking. Vale l’avvertenza: «Questa è la mia comprensione dei sistemi… non sarà completa o accurata al 100%.»

Da altri autori

• Search Off the Record — “What is a web crawler, really?” — Gary Illyes e Lizzi Sassman sul concetto e sull’imprecisione del nome Googlebot.
• Search Off the Record — “Crawling smarter, not harder” (ep. 79) — crawl budget, scheduler e motivo per cui oltre il 90% dei siti non deve preoccuparsene.
• Google Search Central Blog — risorse sul crawling di dicembre 2024 — serie curata da Google.
• Search Engine Journal — priorità di crawling secondo Gary Illyes — missione di ridurre il crawling senza perdere qualità.
• Search Engine Land — che cosa significa crawl budget — copertura della definizione del 2017.
• Wikipedia — Web crawler — terminologia informatica formale e storia.
• r/TechSEO — comunità per il debug di crawling e indicizzazione.

Statistiche da citare

• I bot IA si avvicinano ai bot dei motori. Secondo la mia analisi Cloudflare Radar, i crawler dei motori eseguono ancora più crawling, ma i bot IA sono chiaramente secondi per volume. Fonte
• Decine di miliardi di URL normalizzati mai visti prima vengono scoperti da Bing ogni giorno: è la scala del problema che i motori filtrano con decisione (Fabrice Canel, Microsoft Bing, 2022). Copertura

Cronologia modifiche