Quasi tutti bloccano il programma sbagliato
Non esiste un "programma IA" unico. Bloccare quello sbagliato ti toglie del tutto da ChatGPT, e quello che consigliano tutti non ha mai fatto il lavoro per cui lo consigliavano.
documentazione dei fornitori · 15 aprile 2026 · 4 min di lettura
Ogni azienda che ha un prodotto IA fa girare diversi programmi automatici. Fanno lavori diversi, rispondono a regole diverse, e la differenza fra loro è il punto su cui quasi tutti i consigli che si leggono in questo campo sono semplicemente sbagliati.
Ogni riga di questa tabella viene dalla documentazione di chi lo gestisce.
| Se blocchi questo | Perdi | Non perdi |
|---|---|---|
GPTBot | L’uso dei tuoi contenuti per addestrare il modello | Le citazioni nella ricerca di ChatGPT |
OAI-SearchBot | Del tutto le risposte della ricerca di ChatGPT | L’esclusione dall’addestramento, che è un’altra cosa |
Google-Extended | L’addestramento dell’app Gemini, l’ancoraggio su Vertex AI | Niente delle AI Overviews o di AI Mode |
Googlebot | Tutta la ricerca Google, e con lei AI Overviews e AI Mode | |
Applebot-Extended | L’addestramento dei modelli di base di Apple | Ricerca, Siri e Spotlight |
ClaudeBot | L’addestramento | La ricerca di Claude e le richieste avviate da una persona |
NOARCHIVE di Bing | Le risposte e i link di Copilot | I risultati organici di Bing |
Due correzioni che contano più del resto della tabella.
Google-Extended non ti ha mai tenuto fuori dalle AI Overviews. Viene consigliato per quello
scopo in guida dopo guida dal 2023. La documentazione di Google sui suoi programmi dice
esplicitamente che governa l’addestramento dell’app Gemini e l’ancoraggio su Vertex AI. Per le AI
Overviews, quello che Google chiede è che una pagina sia “indicizzata e idonea a comparire nella
ricerca Google con un’anteprima”: niente di più. Fino a metà 2026 non c’era proprio nessun modo
di comparire nella ricerca Google e non nelle AI Overviews. Adesso c’è, nella console di Google,
dal 31 agosto 2026. E non è mai stato Google-Extended.
OAI-SearchBot è l’errore opposto, e costa di più. Non è un programma di addestramento. La
documentazione di OpenAI dice che i siti che si escludono da lui “non compariranno nelle risposte
della ricerca di ChatGPT”. Chi lo ha aggiunto a una lista di blocco cercando di tenere i propri
contenuti fuori dall’addestramento si è tolto da ChatGPT del tutto. Lo abbiamo trovato su siti
veri, messo lì da sviluppatori in buona fede che hanno letto un elenco di programmi IA e li hanno
bloccati tutti.
E adesso la trappola, che nel tuo file di istruzioni non c’è proprio.
Esiste una terza categoria di programmi: quelli che scaricano una pagina perché una persona lo ha
chiesto. ChatGPT-User di OpenAI, Perplexity-User di Perplexity, meta-externalfetcher di
Meta. La loro documentazione dice che le regole del file di istruzioni potrebbero non
applicarsi, perché la richiesta l’ha avviata un essere umano e non una scansione programmata. Le
parole di OpenAI: “Poiché queste azioni sono avviate da un utente, le regole di robots.txt
potrebbero non applicarsi”.
Il che significa che non è il tuo file di istruzioni a fermarli. È il tuo strato di sicurezza.
Il servizio che protegge il tuo sito dagli attacchi, il firewall applicativo, il gestore dei bot, il limitatore di richieste, spesso non riesce a distinguere un assistente che scarica una pagina per un cliente da chi ti copia i contenuti, e blocca entrambi. È il guasto invisibile che troviamo più spesso, non compare in nessun file che puoi leggere, e chi lo ha configurato di solito se n’è andato due anni fa.
(Anthropic è l’eccezione che vale la pena segnalare: si impegna a rispettare il file di
istruzioni anche per Claude-User.)
Ma bloccare funziona davvero? Meno di quanto penseresti. Un’analisi su quattro milioni di citazioni IA ha trovato che, fra i siti di news che bloccavano un dato programma, dal 70,6% al 92,3% compariva lo stesso nelle citazioni. Quel dato è correlazionale e pieno di variabili confuse: i siti di news vengono citati perché sono siti di news, e una citazione può arrivare dal riassunto di un terzo o da una copia in archivio invece che da uno scaricamento in diretta. Ma smonta la promessa semplice che una riga nel file di istruzioni ti faccia sparire.
La posizione pratica per un’azienda che vuole farsi trovare, cioè quasi tutte quelle che stanno leggendo, è corta:
Lascia passare i programmi che scaricano le pagine e quelli della ricerca. Lascia passare quelli avviati da una persona, sia nel firewall sia nel file di istruzioni. Blocca quelli dell’addestramento solo se hai una ragione vera per farlo. E “non voglio che l’IA abbia i miei contenuti” è una ragione, ma sappi che non ti costa niente in visibilità e non ti fa guadagnare niente, perché i modelli erano già stati addestrati prima che tu decidessi.
E controlla il bordo della rete. Non il file. Il bordo.
Un buco documentato, segnalato invece che glissato. Claude in Chrome è diventato disponibile a tutti il 26 agosto 2026: un agente che legge le pagine, clicca e compila i moduli usando gli accessi già attivi di una persona. Anthropic non pubblica per lui nessun identificativo, nessun controllo per chi possiede il sito e nessuna indicazione sul file di istruzioni. Se visita il tuo sito, oggi non hai nessun modo documentato di riconoscerlo. Non lo ha ancora risolto nessuno.
