Una riga sbagliata nel robots.txt ti cancella da ChatGPT. E quella che consigliano tutti non ha mai fatto niente.

Ogni azienda che sviluppa un prodotto IA fa girare più di un crawler, cioè più di un programma che scandaglia il web scaricando pagine. Non fanno lo stesso lavoro e non rispondono alle stesse regole, e la differenza fra loro è il punto su cui sbaglia quasi tutta la consulenza in circolazione. Ogni riga della tabella qui sotto viene dalla documentazione pubblicata da chi quel crawler lo gestisce.

Le due correzioni che contano più della tabella

Google-Extended non ti ha mai tenuto fuori dalle AI Overviews, i riquadri di risposta che Google mostra in cima ai risultati. Viene consigliato per quello scopo in guida dopo guida dal 2023. La documentazione di Google sui propri crawler dice che governa l’addestramento dell’app Gemini e la ricerca sul web dentro Vertex AI. Per finire nelle AI Overviews, Google chiede soltanto che una pagina sia «indexed and eligible to be shown in Google Search with a snippet» (indicizzata e idonea a comparire nella ricerca Google con un’anteprima). Fino a metà 2026 non esisteva nessun modo di stare nella ricerca Google e non nelle AI Overviews. Adesso esiste, in Search Console, il pannello gratuito di Google per chi possiede un sito, dal 31 agosto 2026. Non è mai stato Google-Extended.

OAI-SearchBot è l’errore opposto, e costa molto di più. Non è un crawler di addestramento. La documentazione di OpenAI dice che i siti che si escludono da lui «will not be shown in ChatGPT search answers» (non compariranno nelle risposte della ricerca di ChatGPT). Chi lo ha aggiunto a una lista di blocco per tenere i propri contenuti fuori dall’addestramento si è tolto da ChatGPT del tutto. L’abbiamo trovato su siti veri, messo lì da sviluppatori in buona fede che avevano letto un elenco di crawler IA e li avevano bloccati tutti.

La trappola: i crawler che il robots.txt non ferma

Esiste una terza categoria di programmi, che scaricano una pagina perché una persona lo ha chiesto in quel momento: ChatGPT-User di OpenAI, Perplexity-User di Perplexity, meta-externalfetcher di Meta. La loro documentazione avverte che le regole del robots.txt, il foglio di istruzioni che ogni sito espone ai crawler, potrebbero non applicarsi, perché la richiesta l’ha avviata un essere umano e non una scansione programmata. Le parole di OpenAI: «Because these actions are initiated by a user, robots.txt rules may not apply» (poiché queste azioni sono avviate da un utente, le regole di robots.txt potrebbero non applicarsi).

Non è quindi il robots.txt a fermarli. È il firewall applicativo, il servizio che protegge il sito dagli attacchi bloccando i programmi ostili e mettendo un tetto alle richieste. Spesso non riesce a distinguere un assistente che scarica una pagina per un cliente da chi copia i contenuti, e li blocca entrambi. È il guasto invisibile che troviamo più spesso, non compare in nessun file che puoi aprire, e chi lo ha configurato di solito se n’è andato due anni fa.

Anthropic è l’eccezione che vale la pena segnalare: si impegna a rispettare il robots.txt anche per Claude-User, il crawler che agisce su richiesta di una persona.

Bloccare i crawler funziona davvero?

Meno di quanto penseresti. BuzzStream e Citation Labs hanno analizzato quattro milioni di citazioni IA nel marzo 2026 e hanno guardato i siti di giornali che bloccavano un determinato crawler: fra il 70,6% e il 92,3% compariva lo stesso nelle citazioni. È un dato da prendere con le pinze, perché dice soltanto che le due cose vanno insieme, non che una causi l’altra: un giornale viene citato perché è un giornale, e una citazione può arrivare dal riassunto di qualcun altro o da una copia in archivio invece che dal sito in diretta. Ma smonta la promessa facile, quella per cui basta una riga nel robots.txt per sparire.

Cosa fare, in pratica

Per un’azienda che vuole farsi trovare, cioè quasi tutte quelle che stanno leggendo, l’indicazione è corta. Lascia passare i crawler che scaricano le pagine e quelli della ricerca. Lascia passare quelli avviati da una persona, sia nel firewall sia nel robots.txt. Blocca quelli dell’addestramento solo se hai una ragione vera per farlo: «non voglio che l’IA abbia i miei contenuti» è una ragione legittima, ma va saputo che non costa niente in visibilità e non fa guadagnare niente, perché i modelli erano già stati addestrati prima che tu decidessi.

E controlla il firewall. Non il robots.txt. Il firewall.

Un buco documentato, segnalato invece che glissato. Claude in Chrome è diventato disponibile a tutti il 26 agosto 2026: un agente che legge le pagine, clicca e compila i moduli usando gli accessi già attivi di una persona. Anthropic non pubblica per lui nessun identificativo, nessun controllo per chi possiede il sito e nessuna indicazione sul robots.txt. Se visita il tuo sito, oggi non hai nessun modo documentato di riconoscerlo. Non lo ha ancora risolto nessuno.