Pay per crawl e AI: come funziona, confronto tra i modelli e trade-off

Un crawler è il programma che visita i siti e ne legge le pagine. Google lo fa da sempre per costruire i risultati di ricerca; oggi lo fanno anche OpenAI, Anthropic, Perplexity e gli altri, per addestrare i loro modelli e per rispondere alle domande degli utenti.

Il pay per crawl aggiunge un pedaggio: il proprietario del sito decide un prezzo fisso per ogni richiesta e, per ciascun crawler, se lasciarlo passare gratis, farlo pagare o bloccarlo. È nato come beta privata di Cloudflare il 1° luglio 2025 e nel 2026 si è allargato a nuovi modelli, come il Pay Per Use.

• I bot hanno superato le persone. A luglio 2026 il CEO di Cloudflare, Matthew Prince, ha dichiarato che la maggior parte del traffico di Internet non è più umana.
• Le AI leggono molto e restituiscono poche visite. Secondo i dati Cloudflare di luglio 2025, per ogni visita mandata a un sito Anthropic leggeva circa 38.000 pagine, OpenAI circa 1.100, Perplexity circa 195 e Google circa 5.
• Gran parte della lettura serve ad addestrare i modelli. Nei dati Cloudflare del 2025 circa l'80% del crawling AI era per l'addestramento, il 18% per la ricerca e il 2% per azioni richieste da un utente.
• Cambiano le impostazioni predefinite. Dal 15 settembre 2026, per i nuovi clienti Cloudflare e per i siti sul piano gratuito che non hanno cambiato le impostazioni, i crawler "misti" (che usano gli stessi dati per ricerca, agenti e addestramento) vengono bloccati sulle pagine con pubblicità.
• Si passa dal pagare la lettura al pagare l'uso. A settembre 2026 Cloudflare ha aperto in beta il Pay Per Use (l'AI paga quando usa davvero il contenuto) e il Monetization Gateway, basato sul protocollo x402, per far pagare gli agenti AI a ogni chiamata.

In sintesi: il web sta diventando un posto dove persone e agenti AI leggono gli stessi contenuti, e chi li produce cerca un modo per essere pagato o almeno citato.

1. Il proprietario del sito sceglie le regole. Imposta un prezzo per richiesta e, per ogni crawler, decide tra consenti (gratis), fai pagare o blocca. Può lasciare gratuite alcune pagine.
2. Il crawler si identifica. Deve firmare ogni richiesta con Web Bot Auth, una firma digitale che dimostra chi è davvero: così un bot qualsiasi non può spacciarsi per GPTBot.
3. Il sito risponde "402 Payment Required". Se la pagina è a pagamento, il server non la mostra e restituisce il codice 402 con il prezzo nell'intestazione `crawler-price`.
4. Il crawler accetta o rinuncia. Può ripetere la richiesta dichiarando di accettare il prezzo (`crawler-exact-price`) oppure indicare in anticipo quanto è disposto a spendere (`crawler-max-price`). Se rinuncia, se ne va senza leggere la pagina.
5. La pagina viene consegnata e addebitata. Il server risponde con il contenuto e conferma l'addebito nell'intestazione `crawler-charged`.
6. Cloudflare incassa e paga. Fa da intermediario (merchant of record): somma gli addebiti, fattura le aziende AI e gira i ricavi al proprietario del sito.

Il pay per crawl funziona solo se il sito passa da Cloudflare e solo con le aziende AI che accettano di pagare. Un crawler che non vuole pagare non è obbligato a farlo: semplicemente non legge la pagina.

Il punto in comune: nessun modello obbliga un'AI a pagare. Funzionano quando dall'altra parte c'è un'azienda che accetta le regole, oppure quando il blocco tecnico (come quello di Cloudflare) impedisce davvero l'accesso a chi non paga.

Mettere un prezzo alla lettura significa scegliere tra ricavo diretto e visibilità. Ecco le due facce:

Per un giornale o una banca dati il contenuto è il prodotto: farlo pagare ha senso. Per una PMI, un artigiano o uno studio professionale il contenuto serve a farsi trovare: il valore sta nel cliente che arriva dopo che ChatGPT o Perplexity ti hanno nominato, non nei centesimi pagati per una pagina letta.

1. Lascia libera la ricerca. Permetti l'accesso ai crawler che servono alle risposte e alla ricerca, come OAI-SearchBot e ChatGPT-User di OpenAI, Claude-SearchBot e Claude-User di Anthropic, PerplexityBot e Bingbot: sono loro che ti fanno comparire nelle risposte.
2. Decidi sull'addestramento. Se non vuoi che i tuoi testi addestrino i modelli, puoi bloccare solo quei crawler, come GPTBot, ClaudeBot o Google-Extended, senza sparire dalla ricerca di Google. È una scelta: chi resta aperto ha più probabilità che i modelli conoscano il suo nome.
3. Se usi Cloudflare, controlla le impostazioni. Dopo il 15 settembre 2026 i valori predefiniti possono essere cambiati, soprattutto se il sito ha pubblicità: verifica nel pannello AI Crawl Control che i crawler di ricerca non siano bloccati per errore.
4. Non mettere a pagamento le pagine che ti portano clienti. Servizi, guide, contatti e il file llms.txt devono restare leggibili.
5. Se vendi dati o servizi, valuta un'API a pagamento. Lì il modello giusto è far pagare l'uso (chiave API o x402), non la lettura delle pagine.

Se vuoi capire come le AI leggono oggi il tuo sito e cosa cambiare, è il lavoro della nostra GPT Optimization (GEO): controlliamo robots.txt, dati strutturati e contenuti, e ti diciamo con chiarezza cosa aprire e cosa no.

Nessuno può garantire che un'AI ti citi: possiamo rendere il sito chiaro, leggibile e affidabile per le AI, che è la condizione per avere più probabilità di essere nominati.