Nov 16 – Dec 15 2026

BLACK FRIDAY

UPTO 75% OFF For new accounts the first 6 months

Crawler dei motori di ricerca

SEO Crawlers Indexing AffiliateMarketing

Un crawler dei motori di ricerca è un programma software automatizzato — chiamato anche bot, spider o spiderbot — che naviga sistematicamente il World Wide Web, scarica il contenuto delle pagine e segue collegamenti ipertestuali per scoprire URL nuovi o aggiornati. Il suo compito principale è alimentare l’indice di un motore di ricerca con dati freschi, così quando qualcuno digita una query, il motore può restituire risultati pertinenti e aggiornati. Senza crawler, un motore di ricerca non ha modo di sapere che una pagina esiste.

Il crawler stesso non classifica nulla. Scopre e trasferisce ciò che trova — testo, collegamenti, metadati, immagini — a un sistema separato di indicizzazione e ranking. Scansione, indicizzazione e ranking sono tre fasi distinte. Una pagina può essere scansionata e tuttavia non apparire mai nei risultati di ricerca se non soddisfa le soglie di qualità del motore durante l’indicizzazione.

La documentazione di Google sui crawler distingue i crawler comuni, i crawler per casi speciali e i fetcher attivati dall’utente. Controlla l’identità e il comportamento documentati del crawler pertinente quando indaghi su problemi di accesso.

Come Funziona un Web Crawler?

Un web crawler opera in un ciclo continuo basato su alcuni passaggi fondamentali. Comprendere questi passaggi aiuta i proprietari di siti web a diagnosticare perché le pagine potrebbero non apparire nei risultati di ricerca — il problema è spesso nella fase di scansione, molto prima che si consideri il ranking.

URL Seed e il Crawl Frontier

Ogni crawler inizia con un insieme di URL noti chiamati URL seed. Questi possono provenire da pagine già scansionate in precedenza, sitemap inviate o punti di partenza selezionati manualmente. Il crawler scarica ogni pagina seed, estrae ogni collegamento ipertestuale che trova e aggiunge qualsiasi collegamento non ancora visto a una coda di esecuzione chiamata crawl frontier.

Il ciclo poi si ripete:

  1. Preleva un URL dal crawl frontier.
  2. Recupera la pagina dal suo server.
  3. Estrae tutti i collegamenti e aggiunge quelli nuovi alla coda.
  4. Passa il contenuto della pagina al sistema di indicizzazione.

Questo ciclo non termina mai veramente. Il web cambia costantemente e nuove pagine appaiono ogni secondo, quindi un crawler lavora semplicemente su ciò che è successivo nella coda, rivisitando le vecchie pagine per verificare eventuali modifiche e aggiungendo URL appena scoperti.

Rendering, Download e Indicizzazione

Una volta che un crawler recupera una pagina, ne elabora il rendering — leggendo l’HTML, eseguendo JavaScript dove possibile ed estraendo testo, immagini, metadati e dati strutturati. Poi scarica queste informazioni e le passa all’indicizzatore del motore di ricerca.

Non tutti i crawler gestiscono JavaScript allo stesso modo. Googlebot esegue il rendering di JavaScript e attende i contenuti caricati dinamicamente, ma i crawler di motori di ricerca più piccoli potrebbero leggere solo HTML statico. Ecco perché i siti costruiti interamente con framework JavaScript lato client possono essere invisibili ad alcuni motori di ricerca, a meno che non sia implementato un rendering lato server.

Seguire Collegamenti e Sitemap

I crawler scoprono nuove pagine attraverso due canali principali:

  • Collegamenti ipertestuali: Sia collegamenti interni (all’interno dello stesso sito) che esterni (da altri siti). Una pagina senza collegamenti in entrata da nessuna parte è effettivamente invisibile ai crawler — si trova in quello che viene talvolta chiamato il problema della “pagina orfana”.
  • Sitemap XML: Un file strutturato che elenca ogni URL che un proprietario del sito desidera venga scansionato, insieme a metadati come la data dell’ultima modifica e la priorità. Le sitemap forniscono ai crawler una mappa organizzata invece di obbligarli a trovare ogni pagina attraverso la sola scoperta di collegamenti.
Logo PostAffiliatePro

Lancia il tuo programma di affiliazione oggi

Configura il tracciamento avanzato in pochi minuti. Nessuna carta di credito richiesta.

Come le Politiche di Scansione Determinano Cosa Viene Scansionato

I crawler non trattano tutte le pagine allo stesso modo. Operano secondo un insieme di politiche di scansione che determinano quali pagine visitare, in quale ordine e con quale frequenza tornare.

Politiche di Selezione

Un crawler deve decidere quali URL prioritizzare dalla sua coda di scansione. I segnali comuni includono:

  • Popolarità della pagina: Gli URL con più collegamenti in entrata tendono a essere scansionati più spesso.
  • Segnali di aggiornamento: Le pagine che cambiano frequentemente — siti di notizie, blog con aggiornamenti regolari — vengono rivisitate in modo più aggressivo.
  • Qualità della struttura URL: Gli URL puliti e logici sono preferiti rispetto a quelli lunghi e ricchi di parametri che suggeriscono navigazione sfaccettata o ID di sessione.

Politiche di Rivisitazione

La frequenza con cui un crawler torna a una pagina dipende dalla frequenza con cui quella pagina cambia. La homepage di un sito di notizie potrebbe essere scansionata ogni pochi minuti. Una pagina statica “Chi Siamo” potrebbe essere rivisitata una volta ogni pochi mesi. I webmaster possono segnalare la frequenza di aggiornamento tramite i tag <changefreq> della sitemap XML, anche se i motori di ricerca trattano questi come suggerimenti, non comandi.

Politiche di Cortesia

I crawler sono programmati per evitare di sovraccaricare i server web. Rispettano un limite del tasso di scansione — il numero massimo di richieste che invieranno a un singolo sito in un dato periodo. Se un server risponde con errori HTTP come 500 o 503, il crawler arretra per non aggravare il problema. Questo fa parte di ciò che rende il crawling su larga scala una vera sfida ingegneristica.

Il File Robots.txt

Il file robots.txt è un documento di testo semplice posizionato nella radice di un dominio che dice ai crawler quali URL possono e non possono richiedere. È lo strumento più importante per gestire l’accesso dei crawler. Una voce robots.txt potrebbe apparire così:

User-agent: Googlebot
Disallow: /private/
Allow: /public/
Questo dice al crawler di Google di saltare tutto ciò che si trova sotto /private/ ma permette tutto ciò che è sotto /public/. Altri crawler controllano lo stesso file e seguono le proprie direttive User-agent. Vale la pena notare che robots.txt è un protocollo volontario — i crawler ben educati lo rispettano, ma i bot malevoli potrebbero ignorarlo completamente.

Crawl Budget

Il crawl budget è il numero di pagine che un motore di ricerca scansionerà su un sito in un determinato periodo di tempo. È determinato da due fattori:

  • Limite del tasso di scansione: Quanto velocemente il motore può recuperare le pagine senza degradare le prestazioni del sito.
  • Domanda di scansione: Quanto il motore vuole scansionare un sito, guidato da popolarità, aggiornamento e valore percepito.

Per i siti piccoli, il crawl budget è raramente un problema. Per le grandi piattaforme di e-commerce o i siti di contenuti con milioni di URL, gestire il crawl budget diventa essenziale — scansioni sprecate su contenuti duplicati, parametri di navigazione sfaccettata o pagine di scarso valore significano meno risorse per le pagine che contano.

Principali Motori di Ricerca e Loro Crawler

Ogni motore di ricerca principale opera con il proprio crawler, contraddistinto da una stringa user-agent — un identificatore che il bot invia con ogni richiesta HTTP in modo che i server sappiano quale crawler sta visitando.

Motore di RicercaNome CrawlerIdentificativo User-AgentScopo
GoogleGooglebotGooglebot/2.1Esegue la scansione e indicizza le pagine web per Google Search e altri servizi Google
BingBingbotMozilla/5.0 (compatible; bingbot/2.0)Esegue la scansione e indicizza le pagine per Microsoft Bing
DuckDuckGoDuckDuckBotDuckDuckBot/1.0Esegue la scansione delle pagine per i risultati di ricerca di DuckDuckGo
YandexYandexBotMozilla/5.0 (compatible; YandexBot/3.0)Esegue la scansione delle pagine per Yandex Search (dominante in Russia)
BaiduBaiduspiderMozilla/5.0 (compatible; Baiduspider/2.0)Esegue la scansione delle pagine per Baidu Search (dominante in Cina)
AppleApplebotApplebot/1.0Esegue la scansione delle pagine per Spotlight Search e suggerimenti Siri

Google gestisce anche crawler specializzati per diversi tipi di contenuto — Googlebot Image esegue la scansione delle immagini, Googlebot Video gestisce i contenuti video, Googlebot News ha come target gli articoli di notizie e AdsBot verifica la qualità delle landing page per Google Ads.

Come Identificare un Crawler di Google

Identificare se un visitatore è genuinamente Googlebot richiede più della semplice verifica di una stringa user-agent, poiché queste stringhe possono essere falsificate. Per verificare un crawler di Google:

  1. Controlla la stringa user-agent nei log del server per Googlebot.
  2. Esegui un reverse DNS lookup sull’indirizzo IP. Dovrebbe risolversi in un dominio googlebot.com o google.com.
  3. Esegui un forward DNS lookup su quel dominio per confermare che mappa allo stesso indirizzo IP — una tecnica chiamata verifica DNS inverso-diretto.

Google fornisce documentazione ufficiale che elenca i suoi intervalli IP su google.com/bot.html. Qualsiasi visitatore che afferma di essere Googlebot ma non supera questi passaggi di verifica è un bot falsificato e dovrebbe essere trattato come sospetto.

I Crawler dei Motori di Ricerca Possono Accedere a Immagini e Video?

Sì, ma con limiti. I principali motori di ricerca gestiscono crawler dedicati per contenuti non testuali:

  • Googlebot Image esegue la scansione dei file immagine e legge il testo alternativo associato, i nomi dei file e il contesto della pagina circostante per capire cosa rappresenta l’immagine.
  • Googlebot Video gestisce i contenuti video e cerca marcature di dati strutturati come lo schema VideoObject per comprendere titolo, descrizione, miniatura e durata.
  • Google può indicizzare tipi di file tra cui PDF, documenti Microsoft Office e file di testo semplice.

Tuttavia, i crawler non possono “vedere” le immagini come farebbe un essere umano né “guardare” un video. Si affidano interamente a segnali testuali — nomi di file, attributi alt, didascalie, testo circostante del corpo e dati strutturati — per determinare la pertinenza. I contenuti bloccati dietro muri di accesso, paywall o incorporati in complessi player JavaScript potrebbero non essere scansionati affatto.

Web Crawler vs. Web Scraper: Qual è la Differenza?

Questi termini sono spesso usati in modo intercambiabile, ma descrivono cose diverse:

AspettoWeb CrawlerWeb Scraper
ScopoScoprire e indicizzare URL su tutto il webEstrarre dati specifici da pagine mirate
AmbitoAmpio — segue i collegamenti ovunqueRistretto — ha come target URL o domini noti
OutputAlimenta un indice di ricercaProduce dati strutturati (CSV, database, foglio di calcolo)
Operatore tipicoMotori di ricerca (Google, Bing)Aziende, ricercatori, analisti di dati
Rispetta robots.txtSì (crawler legittimi)Variabile — molti scraper lo ignorano
EsempiGooglebot, BingbotStrumenti di monitoraggio prezzi, scraper per generazione lead, collettori di dati per addestramento IA

Come Scoprono Nuove Pagine i Motori di Ricerca?

I motori di ricerca trovano nuove pagine attraverso diversi canali:

  • Riscansione di URL noti: Se una pagina già indicizzata aggiunge nuovi collegamenti, il crawler li segue.
  • Sitemap XML: Inviate tramite Google Search Console o Bing Webmaster Tools, dicono al motore esattamente quali URL scansionare.
  • Backlink: Quando un sito esterno si collega a una pagina che il motore non ha ancora visto, quel collegamento diventa un percorso di scoperta.
  • Invii di URL: Strumenti come lo strumento di Ispezione URL di Google permettono ai proprietari del sito di richiedere una scansione immediata di una pagina specifica.
  • Segnali social e feed RSS: Sebbene meno diretti, i collegamenti condivisi su piattaforme social o pubblicati nei feed RSS possono accelerare la scoperta.

Il percorso più veloce per far scansionare una nuova pagina è inviare il suo URL direttamente tramite Search Console e assicurarsi che sia collegata da una pagina già indicizzata sullo stesso sito.

Con Quale Frequenza i Crawler Rivisitano le Pagine Web?

Non esiste una programmazione fissa. La frequenza di rivisitazione dipende da:

  • Frequenza di aggiornamento: La homepage di un sito di notizie potrebbe essere scansionata ogni pochi minuti; una pagina statica “Contatti” potrebbe passare mesi tra una rivisitazione e l’altra.
  • Autorità e popolarità: I siti con profili di backlink forti e traffico elevato vengono scansionati più spesso.
  • Velocità del sito: Le pagine a caricamento rapido incoraggiano una scansione più frequente perché consumano meno crawl budget per pagina.
  • Tassi di errore: I siti che restituiscono frequenti errori del server (codici 5xx) vengono scansionati meno spesso — il crawler arretra per evitare di sprecare risorse.

I proprietari del sito possono influenzare la frequenza di rivisitazione pubblicando contenuti regolarmente, mantenendo tempi di risposta rapidi del server e inviando sitemap aggiornate. Ma alla fine, è il crawler a decidere la propria programmazione in base ai segnali che osserva.

Contenuti del Web Profondo che i Crawler Non Possono Raggiungere

I crawler generalmente non possono accedere a:

  • Pagine protette da password e contenuti riservati ai membri
  • Contenuti dietro paywall o porte di abbonamento
  • Pagine generate dinamicamente dopo l’invio di un modulo (ad es. risultati di ricerca voli)
  • Intranet e reti aziendali private
  • Contenuti in formati non standard che il crawler non può analizzare

Un crawler vede solo ciò che è pubblicamente accessibile e collegato. Se una pagina richiede autenticazione o interazione dell’utente per essere visualizzata, è effettivamente invisibile ai motori di ricerca — a meno che il proprietario del sito non conceda esplicitamente l’accesso o fornisca un percorso alternativo, come una sitemap che elenca l’URL combinata con dati strutturati che descrivono il contenuto.

Perché i Web Crawler si Rompono su Larga Scala

Costruire un crawler che funzioni per poche centinaia di pagine è semplice. Costruirne uno che funzioni per miliardi è un problema completamente diverso. I punti di fallimento comuni includono:

  • Rilevamento bot e blocco IP: I crawler aggressivi vengono segnalati e bloccati da firewall, CDN e servizi anti-bot. Ruotare gli IP e rispettare i limiti di velocità è essenziale.
  • Costo del rendering JavaScript: Eseguire il rendering di applicazioni a pagina singola su larga scala richiede browser headless, che sono computazionalmente costosi. Un crawler che esegue il rendering di ogni pagina in un ambiente browser completo sarà ordini di grandezza più lento di uno che analizza HTML statico.
  • Contenuti duplicati e canonicalizzazione URL: Lo stesso contenuto sotto URL multipli spreca crawl budget e inquina l’indice. I crawler devono rilevare e consolidare i duplicati in tempo reale.
  • Trappole di scansione: Alcuni siti generano URL unici infiniti attraverso widget di calendario, navigazione sfaccettata o ID di sessione. Un crawler senza protezione contro queste trappole scansionerà all’infinito senza trovare nuovi contenuti.
  • Volume enorme: Ci sono trilioni di pagine sul web. Anche Google, con la sua enorme infrastruttura, non può scansionare tutto — deve costantemente prioritizzare.

Per la maggior parte delle aziende, gestire un crawler web su larga scala non è pratico senza un’infrastruttura gestita. La decisione di solito si riduce all’utilizzo di uno strumento esistente piuttosto che costruire da zero.

Il Web Crawling è Legale?

Negli Stati Uniti, il web crawling di pagine pubblicamente accessibili è generalmente legale. Diverse sentenze giudiziarie — incluso hiQ Labs v. LinkedIn — hanno stabilito che la raccolta di dati pubblicamente accessibili non viola le leggi federali.

Tuttavia, la legalità dipende da diversi fattori:

  • Se il contenuto è pubblicamente accessibile: Scansionare pagine dietro autenticazione senza permesso è quasi certamente illegale.
  • Se il crawler rispetta robots.txt: Sebbene robots.txt non sia legalmente vincolante, ignorarlo può essere usato come prova di malafede in una causa.
  • Lo scopo della scansione: Lo scraping per intelligence competitiva può attirare sfide legali anche quando i dati sono pubblici.
  • Giurisdizione: Le leggi variano da paese a paese.

La distinzione tra crawling per indicizzazione di ricerca (ampiamente accettato) e scraping per estrazione di dati commerciali (più contestato legalmente) è importante. La maggior parte dei crawler legittimi dei motori di ricerca opera in un territorio chiaramente legale.

ChatGPT è un Web Crawler?

No — ChatGPT stesso non è un web crawler. ChatGPT è un modello di IA conversazionale che genera risposte. Tuttavia, OpenAI gestisce un web crawler separato chiamato GPTBot, che esegue la scansione di pagine web pubbliche per raccogliere dati di addestramento per modelli di IA e per supportare funzionalità di recupero in tempo reale in alcuni prodotti OpenAI.

GPTBot si identifica con il token user-agent GPTBot e rispetta le direttive robots.txt. I proprietari di siti che desiderano bloccare GPTBot specificamente possono aggiungere quanto segue al loro file robots.txt:

User-agent: GPTBot
Disallow: /
Questo blocca GPTBot senza influenzare Googlebot, Bingbot o altri crawler di motori di ricerca — una distinzione che conta perché bloccare Googlebot rimuove un sito dai risultati di ricerca, mentre bloccare GPTBot impedisce solo a OpenAI di utilizzare il contenuto per l’addestramento.

Rilevanza per Operatori di Marketing Affiliato, Inserzionisti e Program Manager

I crawler dei motori di ricerca influenzano direttamente tutti nell’ecosistema del marketing affiliato. Se una pagina non viene scansionata, non si posiziona, e se non si posiziona, non genera traffico organico — e nessun guadagno da affiliazione.

Per gli Editori Affiliati

Il sito di contenuti di un editore vive o muore in base alla crawlability. Ogni recensione di prodotto, guida comparativa o raccolta di offerte deve essere scopribile dai crawler. Gli errori comuni degli editori che bloccano la scansione includono:

  • Utilizzare JavaScript per caricare link affiliati o dati di prodotto senza rendering lato server.
  • Bloccare accidentalmente directory di contenuti chiave in robots.txt.
  • Trascurare il collegamento interno, lasciando pagine preziose come orfane senza un percorso di scansione.
  • Generare pagine con contenuti sottili o duplicati — come elenchi di prodotti quasi identici — che sprecano crawl budget.

Gli editori dovrebbero verificare che le loro pagine più preziose appaiano nel rapporto di copertura dell’indice di Google Search Console e che nessun tag noindex o regola robots.txt le blocchi involontariamente.

Per Inserzionisti e Commercianti

Un inserzionista che gestisce un programma di affiliazione ha bisogno che le proprie pagine prodotto vengano scansionate e indicizzate in modo che gli editori possano collegarsi a pagine live e visibili. Se le pagine prodotto di un commerciante non sono nell’indice di Google, gli editori non hanno dove inviare traffico. I rischi specifici includono:

  • Navigazione sfaccettata che genera migliaia di URL quasi duplicati che consumano crawl budget.
  • Pagine prodotto esaurite che restituiscono errori 404, segnalando una scarsa salute del sito ai crawler.
  • Dati di prezzo o disponibilità renderizzati in JavaScript che i crawler non possono analizzare.

I commercianti dovrebbero mantenere strutture URL pulite, inviare sitemap dei prodotti e monitorare le statistiche di scansione in Search Console per individuare i problemi prima che influenzino i partner editori.

Per i Program Manager di Affiliazione

I program manager si trovano tra commercianti ed editori e dovrebbero comprendere il comportamento dei crawler per risolvere i problemi di visibilità. Quando un editore segnala che la pagina prodotto di un commerciante “non appare su Google”, il problema è spesso un problema di scansione o indicizzazione — non di ranking. I passaggi pratici includono:

  • Verificare se la pagina è indicizzata utilizzando l’operatore di ricerca site: di Google.
  • Verificare il file robots.txt per blocchi accidentali.
  • Assicurarsi che la pagina abbia almeno un collegamento interno da una pagina indicizzata.
  • Inviare l’URL tramite lo strumento di ispezione di Google Search Console.
  • Confermare che la pagina si carichi rapidamente e restituisca un codice di stato HTTP 200.

Un program manager in grado di diagnosticare problemi di base di scansione aggiunge valore diretto a entrambi i lati della relazione di affiliazione — aiutando i commercianti a risolvere problemi tecnici e aiutando gli editori a confermare che le pagine che promuovono sono trovate.

Domande frequenti

Ottimizza il tuo sito per i motori di ricerca

Scopri come comprendere e ottimizzare i crawler può aumentare la visibilità del tuo sito web e il posizionamento nei motori di ricerca.

Per saperne di più

Crawler dei motori di ricerca

Crawler dei motori di ricerca

Un crawler dei motori di ricerca è un bot automatizzato che esplora le pagine web per indicizzare i contenuti per motori come Google e Bing. Scopri come funzion...

12 min di lettura
SEO DigitalMarketing +3
Come Funzionano i Web Crawler? Guida Tecnica Completa
Come Funzionano i Web Crawler? Guida Tecnica Completa

Come Funzionano i Web Crawler? Guida Tecnica Completa

Scopri come funzionano i web crawler, dagli URL seed all'indicizzazione. Comprendi il processo tecnico, i tipi di crawler, le regole del robots.txt e come i cra...

10 min di lettura

Sarai in buone mani!

Unisciti alla nostra community di clienti soddisfatti e fornisci un eccellente supporto clienti con PostAffiliatePro.

Capterra
G2 Crowd
GetApp
Post Affiliate Pro Dashboard - Campaign Manager Interface