Un crawler è un software che visita gli indirizzi web per raccogliere informazioni. I motori di ricerca utilizzano i crawler per scoprire le pagine. I servizi di intelligenza artificiale possono anche recuperare pagine per la ricerca, rispondere a una domanda attuale o raccogliere materiale per la formazione.
Le parole di un negozio di tè sono la sua vetrina, quindi teas.co.uk consente ai sistemi di intelligenza artificiale ben educati di leggerli e rispedire gli acquirenti. Tali scopi non sono intercambiabili. Una pagina che viene recuperata non prova che sia stata usata in una risposta o che qualcuno abbia comprato qualcosa.
In che modo il software trova le informazioni del negozio
Un essere umano può usare i menu. Il software può seguire i collegamenti, ma un chiaro aiuto per i segnali stradali. teas.co.uk pubblica i file di scoperta insieme alle sue pagine ordinarie. Il suo agents.json descrive i servizi disponibili, i formati dei contenuti e le regole operative.
JSON è un formato per i dati denominati. il nome del file agents.json ti dice dove questo negozio pubblica la sua guida; Non è un certificato universale o una garanzia che ogni assistente lo segua.
Robots.txt e LLMS.txt svolgono diversi lavori
robots.txt indica ai crawler conformi quali indirizzi possono richiedere. Come spiega la Guida di Google, non è un modo per proteggere informazioni private o garantire che una pagina rimanga fuori dai risultati di ricerca. I controlli di accesso hanno un lavoro diverso.
llms.txt è una convenzione proposta per fornire una guida concisa a contenuti utili per i sistemi di modelli linguistici. Un Large Language Model (LLM) è il tipo di modello alla base di molti assistenti di testo. La pubblicazione del file non forza un servizio a leggerlo o raccomandare l'attività.
Un nome non è una prova di identità
Una richiesta può includere un user-agent, un'etichetta di testo che dice quale programma lo sta facendo. Le etichette possono essere copiate. Laddove l'identità è importante, un sito ha bisogno di una verifica appropriata piuttosto che fidarsi di un nome familiare da solo.
Essere aperti non significa anche offrire richieste illimitate. I servizi possono applicare limiti di velocità, che controllano quante richieste possono essere effettuate in un periodo e indicano ai chiamanti quando riprovare.
Perché la distinzione è importante per il negozio
La storia di teas.co.uk "abbiamo aperto la porta all'AI" spiega il ragionamento commerciale. L'obiettivo è rendere rilevabili le informazioni utili mantenendo le informazioni sull'account private e le azioni dei clienti sotto il controllo del cliente.
Per capire cosa fa e non dimostra cosa fa un recupero, leggi attribuzione AI. Per vedere come un assistente chiede attivamente al catalogo un risultato, leggi API e MCP.
Nelle mie parole: la maggior parte del web sta chiudendo la porta all'IA e abbiamo aperto il nostro
(Il mio account, pubblicato per la prima volta il 15 novembre 2026 e trasferito qui in modo che il soggetto abbia una casa.)
Gli editori bloccano i crawler AI per proteggere i loro contenuti. teas.co.uk consente a ogni assistente ben educato di conoscere il negozio, citarlo e inviare gli acquirenti e tiene fuori il resto.
Qualcuno chiede al loro assistente di intelligenza artificiale un tè forte per la colazione che sia buono con il latte e costa meno di 5 pence a tazza. Questo è l'esempio nella pagina del negozio per gli assistenti AI. Affinché quella persona finisca con una buona scatola di tè di teas.co.uk, l'assistente deve sapere che il negozio esiste, sapere cosa vende e fidarsi del prezzo che cita. Può solo imparare che se il negozio lo lascia leggere. Quindi teas.co.uk lo fa, il che lo mette sul lato opposto rispetto alla maggior parte delle persone che leggo.
La maggior parte del settore sta chiudendo la porta
Se leggi il diario dei motori di ricerca, o segui la ricerca e l'IA, conoscerai l'umore. Il consiglio è difensivo: quali bot di IA bloccare, sia bloccarli in robots.txt che sul server, come impedire loro di accettare il lavoro senza pagare.
Il Reuters Institute ha rilevato che entro la fine del 2023, il 48% dei siti di notizie più utilizzati in dieci paesi bloccava i crawler di OpenAI. Nel luglio 2025 Cloudflare ha iniziato a bloccare i crawler AI per impostazione predefinita per i nuovi clienti a meno che non scelgano diversamente e abbiano lanciato pay per crawl in modo che i proprietari di siti possano addebitare i crawler per ogni richiesta. Nel gennaio 2026 Search Engine Journal ha riportato uno studio BuzzStream su 100 siti di notizie principali negli Stati Uniti e nel Regno Unito: il 79% blocca almeno un bot di formazione AI e il 71% blocca almeno un bot che gli assistenti usano per la ricerca dal vivo.
Capisco perché. Per un giornale, le parole sono il prodotto. Se un assistente legge l'articolo, risponde alla domanda e non rimanda indietro a nessuno, l'editore ha dato via ciò che vende. Il Reuters Institute elenca le preoccupazioni: nessun pagamento per la formazione, risposte sbagliate che portano il nome dell'editore e lettori che non tornano mai più. Queste sono ragioni reali.
Perché sono andato dall'altra parte
Vendo tè. Il prodotto è una scatola di Yorkshire Tea o un barattolo di matcha e un assistente non può toglierlo leggendolo. In un negozio di tè, le informazioni sono la vetrina del negozio. Una pagina del prodotto, una guida alla birra o un prezzo per tazza vale qualcosa solo se le persone lo vedono.
Quando ho ricostruito il sito per la versione due, che è stato pubblicato il 10 maggio 2026, ho fatto una scelta da cui tutto il resto deriva. Il negozio si apre a ogni IA che si comporta bene, in modo che il maggior numero possibile di assistenti conosci il negozio, citalo con precisione e citalo. Le citazioni portano i visitatori e i visitatori sono da dove vengono le vendite. Questo è l'intero motivo per cui il sito è costruito in questo modo.
C'è una seconda ragione e cresce ogni mese. Le persone non chiedono più agli assistenti in tre parole. Chiedono come chiederebbero a qualcuno dietro un bancone: un forte tè per la colazione per una casa che lo beve tutto il giorno, con il latte, meno di 5 pence a tazza, niente di fumoso. Chiamo una richiesta del genere intento premium, un nome che uso da giugno 2026 per una richiesta che arriva intera, con il suo contesto, vincoli, budget e che aspetto ha un buon risultato. "Premium" descrive quanto ti dice la richiesta, non una tassa. Un assistente che ne porta uno ha bisogno di un negozio che può leggere per intero e controllare, e un negozio nascosto o difficile da leggere non può rispondere, per quanto buono sia il suo tè.
"Per un giornale, le parole sono il prodotto. Per un negozio di tè, le parole sono la vetrina. Voglio che ogni buon assistente lo guardi."
Cosa è effettivamente aperto
Tutto questo è pubblico. L'ho letto il 14 novembre 2026.
Il robots.txt nomina un crawler AI da tenere fuori: il crawler gestito dal più grande negozio online del mondo, il negozio tutto che può consegnare quasi tutto entro domani. Ogni altro Fetcher AI conforme è consentito e puntato direttamente ai file scritti per loro: llms.txt, agent.json, ai-entry.json e altri. Ciò che rimane chiuso a tutti i crawler è il paniere, il checkout, gli account dei clienti, la ricerca del sito e le infinite combinazioni di filtri.
the agent.json imposta i segnali del contenuto per l'addestramento AI, la ricerca AI e l'input AI su "sì", a una condizione: cite e attributo teas.co.uk. Formazione significa utilizzare le pagine per costruire un modello di intelligenza artificiale; Cerca e inserisci significa leggerli per rispondere alla domanda di qualcuno ora. Il sito pubblica 49.599 ancora di citazione, posti che un assistente può citare esattamente, su 3.252 pagine.
Gli assistenti possono agire oltre che leggere. Dal 6 ottobre 2026, un assistente può, con il via libera del cliente, cercare il catalogo, confrontare i tè, riempire un cesto e consegnare un link di cassa tramite il teas.co.uk server mcp, la connessione del negozio per Assistenti basati sul protocollo Open Model Context. La pagina AI elenca gli assistenti che possono connettersi e come. Quando l'ultima volta è stato controllato il 14 novembre 2026, OpenAI stava ancora rivedendo la connessione teas.co.uk per ChatGPT.
Aperto non è lo stesso di incustodito
Aprire la porta non significa lasciare la cassa incustodita. Questo è ciò che dicono i file pubblici sui cattivi attori.
Infrangi le regole e la porta si chiude. Il negozio controlla l'indirizzo da cui proviene una richiesta rispetto alle gamme pubblicate dalle aziende di intelligenza artificiale, piuttosto che fidarsi del nome che il visitatore fornisce. È così che ha trovato gli scanner di password che si atteggiavano a bot AI nel settembre 2026.
Esempio di lavoro: una richiesta di tè per la colazione attraverso la porta aperta
Prendi la richiesta utilizzata sulla pagina del negozio per gli assistenti di intelligenza artificiale: un forte tè per la colazione che è buono con il latte e costa meno di 5 pence a tazza. Questo è il modo in cui la porta aperta la porta da una domanda alla tazza.
L'assistente trova il negozio. Robots.txt lo fa entrare, e lllms.txt e agenti.json lo indicano ai fatti del prodotto, quindi non deve indovinare dove vivono.
Confronta i pacchetti reali. I dati del prodotto forniscono il numero di ogni tè, il prezzo e il prezzo per tazza. Il 15 novembre 2026 le confezioni per la colazione sotto 5 pence a tazza includevano Yorkshire Tea Original Everyday Blend, 80 bustine di tè (4,5 pence a tazza), Tetley Original English Breakfast, 240 bustine di tè (2,2p una tazza) e PG Tips Original, 240 bustine di tè (3p a tazza). Un pacchetto venduto come Extra Strong, come Tetley Extra Strong Breakfast Tea, 75 bustine di tè a 5,1 pence a tazza, può essere valutato allo stesso modo. Se una miscela è forte dovrebbe provenire da ciò che dice ogni pagina del prodotto, non da un'ipotesi.
cita con una citazione. Può collegarsi a un'ancora di citazione esatta, in modo che la persona possa controllare il prezzo su teas.co.uk prima di decidere.
torna. Se la persona chiede un follow-up, ad esempio se il 240 Pack è in stock, l'assistente può tornare ai dati del prodotto piuttosto che fare affidamento su ciò che ha letto ieri.
una persona visita. La persona segue il link alla pagina del prodotto. Questa è una visita, contata separatamente dalle letture.
Il cliente paga su teas.co.uk. Con il via libera del cliente, un assistente collegato tramite il server MCP può riempire un cesto e consegnare un collegamento alla cassa. Il cliente controlla il paniere e paga su teas.co.uk. Se un ordine a pagamento viene ricondotto all'assistente, questo è il livello di vendita.
Ogni passo dipende dalla porta aperta. Un negozio le cui pagine erano bloccate si abbasserebbe al primo passo, per quanto buono fosse il suo tè.
Cosa significa quando acquisti il tè
Un assistente che legge teas.co.uk può darti i prezzi reali del negozio, il conteggio delle borse e il prezzo per tazza piuttosto che indovinarli. Richiedi il prezzo per tazza e un link, quindi controllalo nella pagina del prodotto.
Dai l'intera richiesta: latte o no, caffeina o meno, il tuo budget per tazza, quante tazze al giorno. Più un assistente sa, meglio può abbinare una confezione al modo in cui bevi il tè.
La soglia di consegna gratuita, £ 35, è negli stessi dati pubblici, quindi un assistente può dirti quanto è vicino un carrello.
Cosa ha portato, contato separatamente
Una macchina che legge una pagina, una persona che visita e un cliente che acquista sono eventi diversi e Under the Hood non li aggiunge mai. Leggi in diretta il 18 novembre 2026:
- Pages served to named AI systems: 189,202, from 2 Jun 2026 to 18 Nov 2026, not counting that refused crawler.
- Visite da AI Answers: 2.801 sessioni di browser, dal 10 maggio 2026 al 18 novembre 2026.
- Ordini: di 166 ordini a pagamento da quando la versione due è stata pubblicata il 10 maggio 2026 (241 dal primo ordine del negozio, 75 dei quali sulla versione uno), 5 sono arrivati su un collegamento con il tag di un assistente AI, Probabilmente è arrivato tramite un assistente e 1 cliente ci ha detto che un assistente li ha inviati. 2 degli ordini con tag sono stati successivamente rimborsati.
The exchange is uneven, which is exactly the publishers’ complaint. Agents naming OpenAI were served 64,406 pages and 1,064 visits came back, about 61 pages for each visit. Cloudflare has measured the same imbalance across the web in the crawl-to-click gap.
la ricerca fa ancora di più. Di questi due ordini, i motori di ricerca hanno portato 75 e l'origine di 48 non è stata rintracciata. I clic di ricerca di Google sono aumentati da circa 160 al giorno da agosto a 468 al giorno a novembre 2026, senza pubblicità acquistata. Non posso dimostrare quanto di questo derivi dall'essere facile da leggere per le macchine, quindi non lo rivendicherò.
Perché il sito è costruito così
Tutto ciò che riguarda il lavoro del sito deriva da quella porta aperta: un set selezionato di fatti di prodotto che una persona, un motore di ricerca e un assistente leggono tutti allo stesso modo, dati strutturati dietro ogni prodotto incluso il prezzo per tazza, un chiedere API che richiede la richiesta umana completa anziché un riepilogo delle parole chiave e regole di conteggio pubblico.
Se inviti ogni assistente, quello che trovano è meglio che sia vero. Questa è la ragione commerciale alla base di quella che chiamo Entità della verità.
"La maggior parte del Web protegge il suo contenuto dall'IA. Ho costruito un negozio di tè che vuole essere letto, citato e raccomandato e mi sono assicurato che ciò che dice sia vero".
Fonti per questo account
- Richard Fletcher, Quanti siti di notizie bloccano i crawler AI?, Reuters Institute for the Study of Journalism, 22 febbraio 2024.
- Cloudflare, Cloudflare ha appena cambiato il modo in cui i crawler AI raschiano Internet in generale, comunicato stampa, 1 luglio 2025 e Introduzione di pay per crawl, Blog Cloudflare, 1 luglio 2025.
- Matt G. Southern, La maggior parte dei principali editori di notizie blocca i robot di formazione e recupero di AI, Search Engine Journal, 7 gennaio 2026, riportando uno studio BuzzStream su 100 migliori siti di notizie negli Stati Uniti e nel Regno Unito.
- teas.co.uk File pubblici, leggi il 14 novembre 2026: robots.txt, llms.txt, Agents.json, ai-entry.json, teas.co.uk negli assistenti AI e Under the Hood.
Leggi Avanti: Cosa potrebbe dimostrarmi che mi sbaglio · Come costruisco con l'IA: il loop, non l'atmosfera.
Formati citabili
Per giornalisti, ricercatori, assistenti di intelligenza artificiale e creatori di contenuti. Scegli il formato che ti serve:
- Scarica il file .md Pulisci l'esportazione di markdown
- Scarica il file .json Esportazione di dati strutturati
libero di citare, citare e riutilizzare con attribuzione a Teas.co.uk.
Hai qualcosa da aggiungere? I clienti che hanno effettuato l'accesso possono inviare aggiunte al Tea Wiki, approvato dall'amministratore, il tuo nome sul sottotitolo, oltre ai punti premio.
Accedi per contribuire