Venta de otoño: 20% de descuento en casi todo hasta el 24 de diciembreVer la venta →
Ver todos los 402 productos Entrega gratuita en el Reino Unido de más de £ 35
Entrada de wiki · 11 min de lectura

AI Crawlers: Por qué teas.co.uk les abrió la puerta

Un rastreador es un software que visita direcciones web para recopilar información. Los motores de búsqueda usan rastreadores para descubrir páginas. Los servicios de IA también pueden buscar páginas para buscar, responder una pregunta actual o recopilar material para la capacitación.

Publicado Curador-escrito, no colaborativo

Un rastreador es un software que visita direcciones web para recopilar información. Los motores de búsqueda usan rastreadores para descubrir páginas. Los servicios de IA también pueden buscar páginas para buscar, responder una pregunta actual o recopilar material para la capacitación.

Las palabras de una tienda de té son su escaparate, por lo que teas.co.uk permite que los sistemas de IA se comporten bien las lean y envíen a los compradores de vuelta. Esos propósitos no son intercambiables. Una página que se busca no prueba que se haya usado en una respuesta o que alguien compró algo.

Cómo el software encuentra la información de la tienda

Un humano puede usar menús. El software puede seguir los enlaces, pero los carteles claros ayudan. teas.co.uk Publica archivos de descubrimiento junto con sus páginas ordinarias. Su agents.json describe los servicios, los formatos de contenido y las reglas de operación disponibles.

json es un formato para los datos con nombre. El nombre de archivo agents.json le indica dónde publica esta tienda su guía; No es un certificado universal o garantía de que cada asistente lo siga.

Robots.txt y LLMs.txt realizan diferentes trabajos

robots.txt les dice a los rastreadores que cumplen las direcciones que pueden solicitar. Como explica Guía de Google, no es una forma de asegurar información privada o una garantía de que una página permanecerá fuera de los resultados de búsqueda. Los controles de acceso tienen un trabajo diferente.

LLMs.txt es una convención propuesta para proporcionar una guía concisa de contenido útil para sistemas de modelos de lenguaje. Un modelo de lenguaje grande (LLM) es el tipo de modelo detrás de muchos asistentes de texto. Publicar el archivo no obliga a un servicio a leerlo ni recomendar el negocio.

Un nombre no es prueba de identidad

Una solicitud puede incluir un usuario-agente, una etiqueta de texto que dice qué programa lo está creando. Las etiquetas se pueden copiar. Cuando la identidad importa, un sitio necesita una verificación adecuada en lugar de confiar solo en un nombre familiar.

Estar abierto tampoco significa ofrecer solicitudes ilimitadas. Se pueden aplicar servicios rate limits, que controlan cuántas solicitudes se pueden realizar en un período, y les dice a las personas que llaman cuándo volver a intentarlo.

Por qué importa la distinción a la tienda

La historia de teas.co.uk “Abrimos la puerta a AI” explica el razonamiento comercial. El objetivo es hacer que la información útil sea detectable mientras se mantiene la información de la cuenta privada y las acciones del cliente bajo el control del cliente.

Para comprender lo que demuestra y no demuestra una búsqueda, lea Atribución de AI. Para ver cómo un asistente le pide al catálogo un resultado activamente, lea apis y MCP.


En mis palabras: la mayor parte de la web está cerrando la puerta a la IA, y abrimos la nuestra

(Mi propia cuenta, publicada por primera vez el 15 de noviembre de 2026 y se mudó aquí para que el tema tenga una casa).

Los editores están bloqueando rastreadores de IA para proteger su contenido. teas.co.uk Permite a todos los asistentes que se portan bien para conocer la tienda, citarlo y enviar compradores, y mantener el resto fuera.

Alguien le pide a su asistente de IA un té de desayuno fuerte que sea bueno con la leche y cuesta menos de 5 peniques por taza. Ese es el ejemplo en la página de la tienda para los asistentes de IA. Para que esa persona termine con una buena caja de té de teas.co.uk, el asistente tiene que saber que la tienda existe, saber lo que vende y confiar en el precio que cotiza. Solo puede aprender que si la tienda lo deja leer. Así que teas.co.uk lo hace, lo que lo pone en el lado opuesto de la mayoría de las personas que leo.


La mayor parte de la industria está cerrando la puerta

Si lee el diario del motor de búsqueda, o sigue la búsqueda y la IA, sabrá el estado de ánimo. El consejo es defensivo: qué bots de IA se deben bloquear, ya sea bloquearlos en robots.txt o en el servidor, cómo evitar que tomen trabajo sin pagar.

El Instituto de Reuters descubrió que a fines de 2023, el 48% de los sitios web de noticias más utilizados en diez países estaban bloqueando los rastreadores de OpenAI. En julio de 2025, Cloudflare comenzó a bloquear los rastreadores de IA de forma predeterminada para los nuevos clientes a menos que elijan lo contrario, y lanzó Pay Per Rawl para que los propietarios de sitios puedan cobrar a los rastreadores por cada solicitud. En enero de 2026, Search Engine Journal reportó un estudio de BuzzStream de 100 principales sitios de noticias de EE. UU. y el Reino Unido: el 79 % bloquea al menos un bot de entrenamiento de IA y el 71 % bloquea al menos un bot que los asistentes usan para la búsqueda en vivo.

Entiendo por qué. Para un periódico, las palabras son el producto. Si un asistente lee el artículo, responde la pregunta y no envía a nadie de vuelta, el editor ha regalado lo que vende. El Instituto Reuters enumera las preocupaciones: no hay pago por capacitación, respuestas incorrectas que lleven el nombre del editor y lectores que nunca regresan. Esas son verdaderas razones.


Por qué fui al otro lado

Vendo té. El producto es una caja de Yorkshire Tea o una lata de matcha, y un asistente no puede quitarlo al leer sobre él. En una tienda de té, la información es el escaparate. Una página de producto, una guía de elaboración de cerveza o un precio por taza solo vale algo si la gente lo ve.

Cuando reconstruí el sitio para la versión dos, que se lanzó el 10 de mayo de 2026, tomé una decisión de la que todo lo demás sigue. La tienda se abre a todas las IA que se comportan bien, de modo que tantos asistentes como sea posible conozcan la tienda, citálalo con precisión y cítalo. Las citas traen a los visitantes y los visitantes son de donde provienen las ventas. Esa es toda la razón por la que el sitio se construye de esta manera.

Hay una segunda razón, y crece cada mes. La gente ya no pregunta a los asistentes en tres palabras. Preguntan cómo le pedirían a alguien detrás de un mostrador: un té de desayuno fuerte para una casa que lo bebe todo el día, con leche, bajo 5p por taza, nada ahumado. Llamo a una solicitud como esa premium intent, un nombre que he usado desde junio de 2026 para una solicitud que llega entera, con su contexto, restricciones, presupuesto y cómo se ve un buen resultado. “Premium” describe cuánto le dice la solicitud, no una tarifa. Un asistente que lleva uno necesita una tienda que pueda leer en su totalidad y verificar, y una tienda que está escondida o difícil de leer no puede responder, por buena que sea el té.

"Para un periódico, las palabras son el producto. Para una tienda de té, las palabras son el escaparate. Quiero que cada buen asistente lo mire".


Lo que está realmente abierto

Todo esto es público. Lo leí el 14 de noviembre de 2026.

The Robots.txt nombra a One AI Crawler para mantener fuera: el rastreador dirigido por la tienda en línea más grande del mundo, la tienda de todo que puede entregar casi cualquier cosa para mañana. Se permiten todos los demás coincidencias de IA compatibles y apuntan directamente a los archivos escritos para ellos: llms.txt, agents.json, ai-entry.json y más. Lo que permanece cerrado para todos los rastreadores es la canasta, el pago, las cuentas de los clientes, la búsqueda del sitio y las interminables combinaciones de filtros.

Agents.json establece las señales de contenido para el entrenamiento de IA, la búsqueda de IA y la entrada de IA en "sí", en una condición: citar y atributo teas.co.uk. Entrenamiento significa usar páginas para construir un modelo de IA; La búsqueda y el aporte significan leerlos para responder la pregunta de alguien ahora. El sitio publica 49.599 Anclajes de citas, lugares que un asistente puede citar exactamente en 3.252 páginas.

Los asistentes pueden actuar y leer. Desde el 6 de octubre de 2026, un asistente puede, con el visto bueno del cliente, buscar en el catálogo, comparar tés, llenar una canasta y entregar un enlace de pago a través del teas.co.uk Servidor MCP, la conexión de la tienda para Asistentes construidos sobre el protocolo de contexto abierto del modelo. La página de IA enumera los asistentes que pueden conectarse y cómo. Cuando se revisó por última vez el 14 de noviembre de 2026, OpenAI todavía estaba revisando la conexión teas.co.uk para chatgpt.


Abrir no es lo mismo que desprotegido

Abrir la puerta no significa dejar la caja desatendida. Esto es lo que dicen los archivos públicos sobre los malos actores.

Rompe las reglas y la puerta se cierra. La tienda verifica la dirección de la que proviene una solicitud contra los rangos que publican las empresas de IA, en lugar de confiar en el nombre que da el visitante. Así fue como encontró los escáneres de contraseñas posando como bots de IA en septiembre de 2026.

Ejemplo resuelto: una solicitud de té de desayuno a través de la puerta abierta

Tome la solicitud utilizada en la página de la tienda para asistentes de IA: un té de desayuno fuerte que es bueno con leche y cuesta menos de 5 peniques por taza. Así es como la puerta abierta lo lleva de una pregunta a otra.

El asistente encuentra la tienda. robots.txt lo deja entrar, y llms.txt y agents.json lo señalan a los hechos del producto, por lo que no tiene que adivinar dónde viven.

Compara paquetes reales. Los datos del producto dan el conteo, el precio y el precio de cada taza de té. El 15 de noviembre de 2026, los paquetes de desayuno de menos de 5p por taza incluido Yorkshire Tea Original Everyday Blend, 80 bolsas de té (4.5p por taza), Tetley Original English Breakfast, 240 bolsas de té (2.2p por taza) y PG Tips Original, 240 bolsas de té (3p por taza). Un paquete vendido como extra fuerte, como Tetley Extra Strong Breakfast Tea, 75 bolsas de té A 5,1 peniques por copa, se puede pesar de la misma manera contra el presupuesto. Si una mezcla es fuerte debería provenir de lo que dice cada página de producto, no de una suposición.

Cita con una cita. Puede vincular a un ancla de cita exacta, por lo que la persona puede verificar el precio en teas.co.uk antes de decidir.

Vuelve. Si la persona le pide un seguimiento, por ejemplo, si el paquete 240 está en stock, el asistente puede volver a los datos del producto en lugar de confiar en lo que leyó ayer.

una persona visita. La persona sigue el enlace a la página del producto. Esa es una visita, contada por separado de las lecturas.

El cliente paga en teas.co.uk. Con el visto bueno del cliente, un asistente conectado a través del servidor MCP puede llenar una canasta y entregar un enlace de pago. El cliente revisa la cesta y paga en teas.co.uk. Si una orden pagada se remonta al asistente, ese es el nivel de venta.

Cada paso depende de que la puerta esté abierta. Una tienda cuyas páginas estaban bloqueadas se retiraría en el primer paso, por bueno que sea el té.

Qué significa esto cuando compras té

Un asistente que lee teas.co.uk puede darte los precios reales de la tienda, los recuentos de bolsas y el precio por taza en lugar de adivinarlos. Pregunte por el precio por taza y un enlace, luego verifíquelo en la página del producto.

Da toda la solicitud: leche o no, cafeína o no, tu presupuesto por taza, cuantas tazas al día. Cuanto más sepa un asistente, mejor puede igualar el tamaño de un paquete con el de cómo bebes el té.

El umbral de entrega gratuita, £ 35, está en los mismos datos públicos, por lo que un asistente puede decirle qué tan cerca está una canasta.


Lo que ha traído, contado por separado

Una máquina que lee una página, una persona que visita y un cliente compra son diferentes eventos, y Under the Hood nunca los suma. Lea en vivo el 18 de noviembre de 2026:

  • Pages served to named AI systems: 194,654, from 2 Jun 2026 to 18 Nov 2026, not counting that refused crawler.
  • Visits from AI answers: 2,802 browser sessions, from 10 May 2026 to 18 Nov 2026.
  • Pedidos: de 166 pedidos pagados desde la versión dos desde que se puso en marcha el 10 de mayo de 2026 (241 desde el primer pedido de la tienda, 75 de ellos en la versión uno), 5 llegaron en un enlace con una etiqueta propia de AI Assistant, Probablemente vine a través de un asistente, y 1 cliente nos dijo que un asistente los envió. 2 de los pedidos etiquetados fueron posteriormente reembolsados.

The exchange is uneven, which is exactly the publishers’ complaint. Agents naming OpenAI were served 64,941 pages and 1,064 visits came back, about 61 pages for each visit. Cloudflare has measured the same imbalance across the web in the crawl-to-click gap.

La búsqueda todavía hace más. De esos dos pedidos de la versión, los motores de búsqueda trajeron 75 y no se pudo rastrear el origen de 48. Los clics de búsqueda de Google aumentaron de aproximadamente 160 al día de agosto a 468 al día de noviembre de 2026, sin comprar publicidad. No puedo probar cuánto de eso proviene de ser fácil de leer para las máquinas, por lo que no lo reclamaré.


Por qué el sitio está construido así

Todo sobre cómo funciona el sitio se sigue de esa puerta abierta: un conjunto marcado de los hechos del producto que una persona, un motor de búsqueda y un asistente leen de la misma manera, datos estructurados detrás de cada producto, incluido el precio por taza, una pregunte API que solicita la solicitud humana completa en lugar de un resumen de palabras clave y las reglas de conteo público.

Si invitas a todos los asistentes a entrar, lo que encuentran sería mejor que sea cierto. Esa es la razón comercial detrás de lo que llamo la entidad de la verdad.

"La mayor parte de la web protege su contenido de la IA. Construí una tienda de té que quiere leer, citar y recomendar, y me aseguré de que lo que dice sea cierto".








Fuentes para esta cuenta

¿Tienes algo que agregar? Los clientes registrados pueden enviar adiciones al Tea Wiki, aprobado por el administrador, tu nombre en la línea, además de puntos de recompensa.

Iniciar sesión para contribuir
Notas y actualizaciones de acciones de té

Notas de té útiles, solo cuando hay algo que decir.

Llegadas de acciones, notas de compra y orientación práctica del catálogo. Sin relleno, sin ruido diario, darse de baja en un solo clic.

por familia

por momento

Marca del mesHyson Packs de degustación de temporadaCómo funcionan los paquetes de temporada Club del Té del MesCaja mensual seleccionada por curador Encuentra tu téCuestionario de 60 segundos
Ver todos los 402 productos