Venda de outono: 20% de desconto em quase tudo até 24 de dezembroVeja a venda →
Veja todos os 402 produtos Entrega grátis no Reino Unido acima de £35
Entrada do wiki · 11 minutos de leitura

Rastreadores de AI: Por que teas.co.uk abriu a porta para eles

Um crawler é um software que visita endereços da Web para coletar informações. Os mecanismos de pesquisa usam rastreadores para descobrir páginas. Os serviços de IA também podem buscar páginas para pesquisar, responder a uma pergunta atual ou coletar material para treinamento.

Publicado Escrito por curador, não crowdsourced

Um crawler é um software que visita endereços da Web para coletar informações. Os mecanismos de pesquisa usam rastreadores para descobrir páginas. Os serviços de IA também podem buscar páginas para pesquisar, responder a uma pergunta atual ou coletar material para treinamento.

As palavras de uma loja de chá são sua vitrine, então teas.co.uk permite que sistemas de IA bem comportados as leiam e enviem os compradores de volta. Esses propósitos não são intercambiáveis. Uma página sendo buscada não prova que foi usado em uma resposta ou que alguém comprou alguma coisa.

Como o software encontra as informações da loja

Um humano pode usar menus. O software pode seguir links, mas ajuda claras de sinalização. teas.co.uk publica arquivos de descoberta ao lado de suas páginas comuns. Seu agents.json descreve os serviços disponíveis, formatos de conteúdo e regras operacionais.

JSON é um formato para dados nomeados. O nome do arquivo Agents.json informa onde esta loja publica seu guia; Não é um certificado universal ou uma garantia de que todos os assistentes o seguem.

Robots.txt e llms.txt fazem diferentes trabalhos

Robots.txt Diz aos rastreadores compatíveis quais endereços eles podem solicitar. Como Guia do Google Explica que não é uma forma de proteger informações privadas ou uma garantia de que uma página ficará fora dos resultados da pesquisa. Os controles de acesso têm um trabalho diferente.

llms.txt é uma convenção proposta para fornecer um guia conciso para conteúdo útil para sistemas de modelos de linguagem. Um modelo de linguagem grande (LLM) é o tipo de modelo por trás de muitos assistentes de texto. A publicação do arquivo não obriga um serviço a lê-lo ou recomendar a empresa.

Um nome não é uma prova de identidade

Uma solicitação pode incluir um user-agent, uma etiqueta de texto informando qual programa está sendo desenvolvido. Os rótulos podem ser copiados. Onde a identidade é importante, um site precisa de uma verificação adequada, em vez de confiar apenas em um nome familiar.

Estar aberto também não significa oferecer solicitações ilimitadas. Os serviços podem aplicar limites de taxa, que controlam quantas solicitações podem ser feitas em um período, e diga aos chamadores quando tentarem novamente.

Por que a distinção é importante para a loja

A história de teas.co.uk “Nós abrimos a porta para ai” explica o raciocínio comercial. O objetivo é tornar as informações úteis detectáveis, mantendo as informações da conta privadas e do cliente sob o controle do cliente.

Para entender o que uma busca faz e o que não demonstra, leia Atribuição de AI. Para ver como um assistente pede ativamente ao catálogo um resultado, leia APIs e mcp.


Em minhas palavras: a maior parte da web está fechando a porta para a AI, e abrimos a nossa

(Minha própria conta, publicada pela primeira vez em 15 de novembro de 2026 e mudou-se para cá para que o assunto tenha uma casa).

Os editores estão bloqueando os rastreadores de IA para proteger seu conteúdo. teas.co.uk permite que todos os assistentes bem comportados conheçam a loja, citem e enviem compradores e mantenha o resto fora.

Alguém pede ao seu assistente de IA um chá de café da manhã forte que é bom com leite e custa menos de 1,50 dólares por xícara. Esse é o exemplo na página da loja para assistentes de IA. Para que essa pessoa acabe com uma boa caixa de chá da teas.co.uk, o assistente precisa saber que a loja existe, saber o que ela vende e confiar no preço que ela cita. Ele só pode aprender que se a loja permitir que leia. Então, teas.co.uk sim, o que o coloca no lado oposto da maioria das pessoas que leio.


A maior parte da indústria está fechando a porta

Se você ler o Search Engine Journal, ou seguir a pesquisa e a IA, você saberá o clima. O conselho é defensivo: quais bots de IA devem ser bloqueados, seja para bloqueá-los no robots.txt ou no servidor, como impedi-los de trabalhar sem pagar.

O Reuters Institute descobriu que, no final de 2023, 48% dos sites de notícias mais usados em dez países estavam bloqueando os rastreadores da OpenAI. Em julho de 2025, a Cloudflare começou a bloquear os rastreadores de IA por padrão para novos clientes, a menos que eles escolham o contrário e lançaram o pagamento por rastreamento para que os proprietários do site possam cobrar dos rastreadores por cada solicitação. Em janeiro de 2026, o Search Engine Journal relatou um estudo do BuzzStream com os 100 principais sites de notícias dos EUA e do Reino Unido: 79% bloqueiam pelo menos um bot de treinamento de IA e 71% bloqueiam pelo menos um bot que os assistentes usam para pesquisa ao vivo.

Eu entendo porque. Para um jornal, as palavras são o produto. Se um assistente ler o artigo, responder à pergunta e enviar a ninguém de volta, o editor deu o que vende. O Reuters Institute lista as preocupações: não há pagamento por treinamento, respostas erradas com o nome do editor e leitores que nunca mais voltam. Essas são razões reais.


Por que eu fui para o outro lado

Eu vendo chá. O produto é uma caixa Yorkshire Tea ou uma lata de matcha, e um assistente não pode tirar isso lendo sobre isso. Em uma loja de chá, a informação é a vitrine. Uma página de produto, um guia de fabricação de cerveja ou um preço por xícara só vale algo se as pessoas o virem.

Quando reconstruí o site para a versão dois, que foi lançado em 10 de maio de 2026, fiz uma escolha da qual todo o resto segue. A loja se abre para todas as IAs que se comportam bem, para que o maior número possível de assistentes conheça a loja, cite-a com precisão e a cite. As citações trazem visitantes e os visitantes são de onde vêm as vendas. Essa é a razão pela qual o site foi construído dessa maneira.

Há uma segunda razão, e cresce a cada mês. As pessoas não perguntam mais aos assistentes em três palavras. Eles perguntam como perguntariam a alguém atrás de um balcão: um chá de café da manhã forte para uma casa que bebe o dia todo, com leite, menos de 17h por xícara, nada defumado. Eu chamo uma solicitação como essa premium inte, um nome que usei desde junho de 2026 para uma solicitação que chega inteiro, com seu contexto, restrições, orçamento e como é um bom resultado. “Premium” descreve o quanto a solicitação informa, não uma taxa. Um assistente que carregue alguém precisa de uma loja que possa ler e verificar, e uma loja que está escondida ou difícil de ler não pode responder, por mais que seja um chá.

"Para um jornal, as palavras são o produto. Para uma loja de chá, as palavras são a vitrine. Eu quero que todos os bons assistentes olhem sobre ela."


O que está realmente aberto

Tudo isso é público. Li-o em 14 de novembro de 2026.

O robots.txt nomeia um rastreador de AI para manter do lado de fora: o rastreador administrado pela maior loja online do mundo, a loja Anything que pode entregar quase tudo amanhã. Todos os outros compatíveis com AI Fetcher são permitidos e apontados diretamente para arquivos escritos para eles: llms.txt, agents.json, ai-entry.json e muito mais. O que fica fechado para todos os rastreadores é a cesta, o check-out, as contas do cliente, a pesquisa do site e as infinitas combinações de filtros.

O agents.json define os sinais de conteúdo para treinamento em IA, busca de IA e tudo para “sim”, em uma condição: cite e atribua teas.co.uk. Treinar significa usar o Pages para construir um modelo de IA; Pesquise e insira a leitura delas para responder à pergunta de alguém agora. O site publica 49.599 Citation Anchors, coloca um assistente exatamente cotado, em 3.252 páginas.

Os assistentes podem agir assim como ler. Desde 6 de outubro de 2026, um assistente pode, com o aval do cliente, pesquisar o catálogo, comparar chás, preencher uma cesta e entregar um link de check-out através do teas.co.uk Servidor MCP, a conexão da loja para Assistentes criados no protocolo de contexto de modelo aberto. A página AI lista os assistentes que podem se conectar e como. Quando foi verificada pela última vez em 14 de novembro de 2026, a OpenAI ainda estava revisando a conexão teas.co.uk do chatgpt.


Abrir não é o mesmo que desprotegido

Abrir a porta não significa deixar o caixa sem vigilância. Isso é o que dizem os arquivos públicos sobre os maus atores.

Quebre as regras e a porta se fecha. A loja verifica o endereço de uma solicitação contra as faixas que as empresas de IA publicam, em vez de confiar no nome que o visitante fornece. Foi assim que encontrou os scanners de senha que se apresentam como bots de IA em setembro de 2026.

Exemplo trabalhado: um pedido de chá de café da manhã pela porta aberta

Aceite o pedido usado na página da loja para assistentes de IA: um chá de café da manhã forte que é bom com leite e custa menos de 17h por xícara. É assim que a porta aberta a carrega de uma pergunta para outra.

O assistente encontra a loja. Robots.txt permite que ele entre, e llms.txt e agents.json apontam para os fatos do produto, então ele não precisa adivinhar onde eles moram.

Ele compara pacotes reais. Os dados do produto fornecem a contagem de malas, preço e preço por xícara de cada chá. Em 15 de novembro de 2026, o café da manhã embala abaixo de 17:00 um copo incluído Yorkshire Tea Original Everyday Blend, 80 saquinhos de chá (4,5p o copo), Tetley Original English Breakfast, 240 saquinhos de chá (2,2p o copo) e PG Tips Original, 240 saquinhos de chá (3p a xícara). Um pacote vendido como extra forte, como Tetley Extra Strong Breakfast Tea, 75 saquinhos de chá Em 5,1p, uma xícara, pode ser ponderada em relação ao orçamento da mesma maneira. Se uma mistura é forte deve vir do que cada página do produto diz, não de um palpite.

Ele cita com uma citação. Ele pode se conectar a uma âncora de citação exata, para que a pessoa possa verificar o preço em teas.co.uk antes de decidir.

ele volta. Se a pessoa solicitar um acompanhamento, como se o pacote 240 está em estoque, o assistente pode retornar aos dados do produto em vez de confiar no que leu ontem.

uma pessoa visita. A pessoa segue o link para a página do produto. Essa é uma visita, contabilizada separadamente das leituras.

O cliente paga em teas.co.uk. Com o aval do cliente, um assistente conectado por meio do servidor MCP pode encher uma cesta e entregar um link de check-out. O cliente verifica a cesta e paga em teas.co.uk. Se um pedido pago for rastreado até o assistente, esse é o nível de venda.

Cada degrau depende da porta aberta. Uma loja cujas páginas estavam bloqueadas sairia na primeira etapa, por mais que seja um chá bom.

O que isso significa quando você compra chá

Um assistente que lê teas.co.uk pode fornecer os preços reais da loja, a contagem de malas e o preço por xícara, em vez de adivinhar. Peça o preço por xícara e um link e verifique-o na página do produto.

Dê todo o pedido: leite ou não, cafeína ou não, seu orçamento por xícara, quantos copos por dia. Quanto mais um assistente souber, melhor poderá combinar o tamanho de uma embalagem com a forma como você bebe chá.

O limite de entrega gratuita, £35, está nos mesmos dados públicos, então um assistente pode dizer o quão perto uma cesta está.


O que trouxe, contado separadamente

Uma máquina que lê uma página, uma pessoa que visita e compra um cliente são eventos diferentes, e Under the Hood nunca os soma. Leia ao vivo em 18 de novembro de 2026:

  • Pages served to named AI systems: 194,654, from 2 Jun 2026 to 18 Nov 2026, not counting that refused crawler.
  • Visits from AI answers: 2,802 browser sessions, from 10 May 2026 to 18 Nov 2026.
  • Pedidos: de 166 pedidos pagos desde a versão dois, lançado em 10 de maio de 2026 (241 desde o primeiro pedido da loja, 75 deles na versão um), 5 chegou em um link com uma etiqueta própria de um assistente de IA, Eu provavelmente veio por meio de um assistente, e 1 cliente nos disse que um assistente os enviou. 2 dos pedidos marcados foram posteriormente reembolsados.

The exchange is uneven, which is exactly the publishers’ complaint. Agents naming OpenAI were served 64,941 pages and 1,064 visits came back, about 61 pages for each visit. Cloudflare has measured the same imbalance across the web in the crawl-to-click gap.

A pesquisa ainda faz mais. Desses versões de dois pedidos, os motores de busca trouxeram 75, e a origem de 48 não pôde ser rastreada. Os cliques na pesquisa do Google aumentaram de cerca de 160 por dia em agosto para 468 por dia em novembro de 2026, sem publicidade comprada. Não posso provar o quanto isso vem de ser fácil para as máquinas lerem, então não vou reivindicá-lo.


Por que o site é construído assim

Tudo sobre como o site funciona segue a partir daquela porta aberta: um conjunto verificado de fatos de produto que uma pessoa, um mecanismo de busca e um assistente lêem da mesma maneira, dados estruturados por trás de cada produto, incluindo preço por xícara, um pergunte API que solicita a solicitação humana completa em vez de um resumo de palavras-chave e regras de contagem pública.

Se você convidar todos os assistentes, o que eles acham melhor ser verdade. Essa é a razão comercial por trás do que chamo de Entidade Verdade.

"A maior parte da web está protegendo seu conteúdo da IA. Construí uma loja de chá que quer ser lida, citada e recomendada, e certifiquei-me de que o que ele diz é verdade."








Fontes para esta conta

Tem algo a acrescentar? Os clientes conectados podem enviar adições ao Tea Wiki, aprovado pelo administrador, seu nome na assinatura, além de pontos de recompensa.

Faça login para contribuir
Notas de chá e atualizações de estoque

Notas úteis do chá, apenas quando há algo a dizer.

Chegadas de ações, notas de compra e orientação prática do catálogo. Sem preenchimento, ruído diário, cancelar a inscrição em um clique.

por família

por momento

marca do mêsHyson Pacotes de prova sazonaisComo funcionam os pacotes sazonais Clube do chá do mêsCaixa mensal escolhida pelo curador Encontre o seu cháQuestionário de 60 segundos
Veja todos os 402 produtos