Vente d'automne : 20 % de réduction sur presque tout jusqu'au 24 décembreVoir la vente →
Voir les 402 produits Livraison gratuite au Royaume-Uni à plus de 35 £
Entrée wiki · 11 min de lecture

Crawlers AI : Pourquoi teas.co.uk leur a ouvert sa porte

Un crawler est un logiciel qui visite les adresses Web pour collecter des informations. Les moteurs de recherche utilisent des crawlers pour découvrir des pages. Les services d'IA peuvent également récupérer des pages pour rechercher, répondre à une question actuelle ou collecter du matériel pour la formation.

Publié Curateur-écrit, non participatif

Un crawler est un logiciel qui visite les adresses Web pour collecter des informations. Les moteurs de recherche utilisent des crawlers pour découvrir des pages. Les services d'IA peuvent également récupérer des pages pour rechercher, répondre à une question actuelle ou collecter du matériel pour la formation.

Les mots d'un magasin de thé sont sa vitrine, alors teas.co.uk permet aux systèmes d'IA bien élevés les lire et renvoyer les acheteurs. Ces objectifs ne sont pas interchangeables. Une page en cours de récupération ne prouve pas qu'elle a été utilisée dans une réponse ou que quelqu'un a acheté quoi que ce soit.

Comment le logiciel trouve les informations de la boutique

Un humain peut utiliser des menus. Les logiciels peuvent suivre des liens, mais des panneaux de signalisation clairs aident. teas.co.uk publie des fichiers de découverte à côté de ses pages ordinaires. Son agents.json décrit les services disponibles, les formats de contenu et les règles de fonctionnement.

json est un format pour les données nommées. Le nom de fichier agents.json vous indique où cette boutique publie son guide ; Ce n'est pas un certificat universel ou une garantie que chaque assistant le suit.

robots.txt et llms.txt effectuent différents travaux

robots.txt indique aux crawlers conformes les adresses qu'ils peuvent demander. Comme l'explique Google's Guide, ce n'est pas un moyen de sécuriser des informations privées ou une garantie qu'une page restera à l'écart des résultats de recherche. Les contrôles d'accès ont un travail différent.

llms.txt est une convention proposée pour fournir un guide concis du contenu utile pour les systèmes de modèles de langage. Un modèle de grand langage (LLM) est le type de modèle derrière de nombreux assistants textuels. La publication du fichier n'oblige pas un service à le lire ou à recommander l'entreprise.

Un nom n'est pas une preuve d'identité

Une requête peut inclure un user-agent, une étiquette de texte indiquant quel programme le crée. Les étiquettes peuvent être copiées. Lorsque l'identité est importante, un site a besoin d'une vérification appropriée plutôt que de faire confiance à un seul nom familier.

Être ouvert ne signifie pas non plus offrir des demandes illimitées. Les services peuvent s'appliquer limites de taux, qui contrôlent le nombre de requêtes pouvant être effectuées au cours d'une période, et indiquent aux appelants le moment de réessayer.

Pourquoi la distinction est importante pour la boutique

L'histoire de teas.co.uk "Nous avons ouvert la porte à AI", explique le raisonnement commercial. L'objectif est de rendre les informations utiles accessibles tout en gardant les informations de compte privées et les actions des clients sous le contrôle du client.

Pour comprendre ce qu'un fetch fait et ne démontre pas, lisez Attribution AI. Pour voir comment un assistant demande activement un résultat au catalogue, lisez API et MCP.


Selon mes mots : la majeure partie du Web ferme la porte de l'IA, et nous avons ouvert le nôtre

(Mon propre compte, publié pour la première fois le 15 novembre 2026 et déménagé ici pour que le sujet ait une maison.)

Les éditeurs bloquent les robots d'exploration d'IA pour protéger leur contenu. teas.co.uk permet à chaque assistant bien élevé de connaître la boutique, de le citer et d'envoyer des acheteurs, et d'empêcher le reste.

Quelqu'un demande à son assistant IA un thé fort pour le petit-déjeuner, qui est bon avec le lait et coûte moins de 5 pc par tasse. C'est l'exemple de la page de la boutique pour les assistants IA. Pour que cette personne se retrouve avec une bonne boîte de thé de teas.co.uk, l'assistant doit savoir que la boutique existe, savoir ce qu'elle vend et faire confiance au prix qu'il propose. Il ne peut apprendre que si la boutique le laisse lire. Alors teas.co.uk le fait, ce qui le place du côté opposé de la plupart des gens que je lis.


La plupart de l'industrie ferme la porte

Si vous lisez le journal des moteurs de recherche, ou suivez la recherche et l'IA, vous connaîtrez l'ambiance. Le conseil est défensif : quels bots IA bloquer, que ce soit pour les bloquer dans robots.txt ou sur le serveur, comment les empêcher de travailler sans payer.

Le Reuters Institute a constaté qu'à la fin de 2023, 48 % des sites Web d'information les plus utilisés dans dix pays bloquaient les robots d'exploration d'OpenAI. En juillet 2025, Cloudflare a commencé à bloquer les robots d'exploration d'intelligence artificielle par défaut pour les nouveaux clients, à moins qu'ils ne choisissent le contraire, et ont lancé Pay Per Crawl afin que les propriétaires de sites puissent facturer des robots pour chaque demande. En janvier 2026, Search Engine Journal a rapporté une étude BuzzStream portant sur 100 meilleurs sites d'information aux États-Unis et au Royaume-Uni : 79 % bloquent au moins un bot de formation d'IA et 71 % bloquent au moins un bot que les assistants utilisent pour la recherche en direct.

Je comprends pourquoi. Pour un journal, les mots sont le produit. Si un assistant lit l'article, répond à la question et ne renvoie personne, l'éditeur a donné ce qu'il vend. Le Reuters Institute énumère les inquiétudes : aucun paiement pour la formation, les mauvaises réponses portant le nom de l'éditeur et les lecteurs qui ne reviennent jamais. Ce sont de vraies raisons.


Pourquoi j'ai pris l'autre sens

Je vends du thé. Le produit est une boîte de Thé du Yorkshire ou une boîte de matcha, et un assistant ne peut pas enlever cela en lisant à ce sujet. Dans un magasin de thé, l'information est la vitrine. Une page produit, un guide de brassage ou un prix par tasse ne vaut quelque chose que si les gens le voient.

Lorsque j'ai reconstruit le site de la version deux, qui a été mis en ligne le 10 mai 2026, j'ai fait un choix dont tout le reste découle. La boutique s'ouvre à toutes les IA qui se comportent bien, de sorte que le plus grand nombre d'assistants possibles connaissent la boutique, la citent avec précision et citent. Les citations attirent les visiteurs et les visiteurs sont d'où viennent les ventes. C'est la raison pour laquelle le site est construit de cette façon.

Il y a une deuxième raison, et elle se développe chaque mois. Les gens ne demandent plus aux assistants en trois mots. Ils demandent la façon dont ils demanderaient à quelqu'un derrière un comptoir : un thé de petit-déjeuner fort pour une maison qui le boit toute la journée, avec du lait, moins de 17 000 par une tasse, rien de fumé. J'appelle une requête comme celle Premium Intent, un nom que j'utilise depuis juin 2026 pour une requête qui arrive entière, avec son contexte, contraintes, le budget et à quoi ressemble un bon résultat. "Premium" décrit ce que la demande vous indique, pas des frais. Un assistant qui en transporte un a besoin d'un magasin qu'il peut lire en entier et vérifier, et un magasin caché ou difficile à lire ne peut pas y répondre, aussi soit sa qualité de thé.

"Pour un journal, les mots sont le produit. Pour un magasin de thé, les mots sont la vitrine. Je veux que chaque bon assistant regarde à travers."


Ce qui est réellement ouvert

Tout cela est public. Je l'ai lu le 14 novembre 2026.

Le robots.txt nomme un robot d'exploration d'intelligence artificielle à garder à l'écart : le robot d'exploration géré par la plus grande boutique en ligne au monde, le magasin tout ce qui peut livrer presque tout d'ici demain. Tous les autres fichiers AI conformes sont autorisés et pointés directement vers des fichiers écrits pour eux : llms.txt, agents.json, ai-entry.json et plus encore. Ce qui reste fermé à tous les robots d'exploration, c'est le panier, la caisse, les comptes clients, la recherche de sites et les combinaisons de filtres sans fin.

Agents.json définit les signaux de contenu pour la formation AI, la recherche d'IA et l'IA en entrée sur "Oui", à une condition : citer et attribut teas.co.uk. La formation signifie utiliser des pages pour créer un modèle d'IA ; Recherchez et saisissez signifie les lire pour répondre à la question de quelqu'un maintenant. Le site publie 49 599 ancres de citation, places qu'un assistant peut citer exactement, sur 3 252 pages.

Les assistants peuvent agir ainsi que lire. Depuis le 6 octobre 2026, un assistant peut, avec le feu vert du client, rechercher dans le catalogue, comparer les thés, remplir un panier et remettre un lien de paiement via le teas.co.uk serveur mcp, la connexion de la boutique pour Assistants basés sur le protocole de contexte de modèle ouvert. La page AI répertorie les assistants qui peuvent se connecter et comment. Lors de la dernière vérification le 14 novembre 2026, OpenAI examinait toujours la connexion teas.co.uk pour chatgpt.


Ouvert n'est pas le même que non surveillé

L'ouverture de la porte ne signifie pas laisser la caisse sans surveillance. C'est ce que disent les fichiers publics sur les mauvais acteurs.

Enfreindre les règles et la porte se ferme. Le magasin vérifie l'adresse d'une requête provenant de la plage que les entreprises d'IA publient, plutôt que de faire confiance au nom que le visiteur donne. C'est ainsi qu'il a trouvé les scanners de mots de passe se faisant passer pour des robots IA en septembre 2026.

Exemple de travail : une demande de thé au petit-déjeuner à travers la porte ouverte

Prenez la demande utilisée sur la page de la boutique pour les assistants AI : un thé de petit-déjeuner fort, bon avec le lait et coûte moins de 5 pc par tasse. C'est ainsi que la porte ouverte la porte de la question à la tasse.

L'assistant trouve la boutique. Robots.txt le laisse entrer, et llms.txt et agents.json le signalent aux faits du produit, afin qu'il n'ait pas à deviner où ils vivent.

Il compare les vrais packs. Les données du produit donnent le nombre de sacs de thé, le prix et le prix par tasse de chaque thé. Le 15 novembre 2026, le petit-déjeuner est moins de 5 p. Yorkshire Tea Original Everyday Blend, 80 sachets de thé (4,5p par tasse), Tetley Original English Breakfast, 240 sachets de thé (2,2p par tasse) et PG Tips Original, 240 sachets de thé (3p par tasse). Un pack vendu comme très fort, comme Tetley Extra Strong Breakfast Tea, 75 sachets de thé À 5,1 px par tasse, peut être pesé par rapport au budget de la même manière. La question de savoir si un mélange est solide doit provenir de ce que dit chaque page de produit, pas d'une supposition.

Il cite avec une citation. Il peut être lié à une ancre de citation exacte, afin que la personne puisse vérifier le prix sur teas.co.uk avant de décider.

ça revient. Si la personne demande un suivi, par exemple si le pack 240 est en stock, l'assistant peut retourner aux données du produit plutôt que de se fier à ce qu'il a lu hier.

une personne visite. La personne suit le lien vers la page du produit. C'est une visite, comptée séparément des lectures.

Le client paie sur teas.co.uk. Avec le feu vert du client, un assistant connecté via le serveur MCP peut remplir un panier et remettre un lien de paiement. Le client vérifie le panier et paie le teas.co.uk. Si une commande payée est retracée jusqu'à l'assistant, c'est le niveau de vente.

Chaque étape dépend de l'ouverture de la porte. Un magasin dont les pages étaient bloquées abandonnerait à la première étape, aussi bon soit-il.

Qu'est-ce que cela signifie lorsque vous achetez du thé

Un assistant qui lit teas.co.uk peut vous donner les prix réels de la boutique, le nombre de sacs et le prix par tasse plutôt que de les deviner. Demandez le prix par tasse et un lien, puis vérifiez-le sur la page du produit.

Donnez toute la demande : lait ou non, caféine ou non, votre budget par tasse, combien de tasses par jour. Plus un assistant en sait, mieux il peut correspondre à une taille de paquet à la façon dont vous buvez du thé.

Le seuil de livraison gratuite, 35 £, est dans les mêmes données publiques, de sorte qu'un assistant peut vous dire à quel point un panier est proche.


Ce qu'il a apporté, compté séparément

Une machine lisant une page, une personne qui visite et un client achète sont des événements différents, et Under the Hood ne les ajoute jamais. Lire en direct le 16 novembre 2026 :

  • Pages served to named AI systems: 164,799, from 2 Jun 2026 to 16 Nov 2026, not counting that refused crawler.
  • Visites depuis AI Answers : 2 790 sessions de navigateur, du 10 mai 2026 au 16 novembre 2026.
  • Commandes : de 166 commandes payées depuis la version 2 est mise en ligne le 10 mai 2026 (241 depuis la première commande de la boutique, dont 75 sur la première version), 5 sont arrivés sur un lien avec une assistante d'IA. Je suis probablement passé par un assistant et 1 client nous a dit qu'un assistant les avait envoyés. 2 des commandes étiquetées ont ensuite été remboursées.

The exchange is uneven, which is exactly the publishers’ complaint. Agents naming OpenAI were served 49,006 pages and 1,060 visits came back, about 46 pages for each visit. Cloudflare has measured the same imbalance across the web in the crawl-to-click gap.

La recherche en fait toujours plus. De ces deux commandes, les moteurs de recherche en ont apporté 75, et l'origine de 48 n'a pas pu être tracée. Les clics de recherche Google sont passés d'environ 160 par jour en août à 468 par jour en novembre 2026, sans publicité achetée. Je ne peux pas prouver à quel point cela vient du fait d'être facile à lire pour les machines, donc je ne le revendiquerai pas.


Pourquoi le site est construit comme ceci

Tout ce qui concerne le fonctionnement du site découle de cette porte ouverte : un ensemble vérifié de faits sur les produits qu'une personne, un moteur de recherche et un assistant lisent tous de la même manière, données structurées derrière chaque produit, y compris le prix par tasse, un demander API qui demande la demande humaine complète plutôt qu'un résumé des mots clés et des règles de comptage public.

Si vous invitez tous les assistants, ce qu'ils trouvent ferait mieux d'être vrai. C'est la raison commerciale de ce que j'appelle l'entité Truth.

"La plupart du Web protège son contenu de l'IA. J'ai construit un salon de thé qui veut être lu, cité et recommandé, et je me suis assuré que ce qu'il dit est vrai."








Sources de ce compte

Ajoutez quelque chose à ajouter ? Les clients connectés peuvent soumettre des ajouts à Tea Wiki, approuvé par l'administrateur, votre nom sur la ligne de signature, ainsi que les points de récompense.

Connectez-vous pour contribuer
Notes de thé et mises à jour des actions

Notes utiles sur le thé, uniquement lorsqu'il y a quelque chose à dire.

Arrivées de stocks, notes d'achat et conseils pratiques du catalogue. Pas de remplissage, pas de bruit quotidien, désabonner en un seul clic.

par famille

par moment

Marque du moisHyson Packs de dégustation de saisonComment fonctionnent les forfaits saisonniers Club du thé du moisBoîte mensuelle choisie par le conservateur Trouvez votre théQuizz de 60 secondes
Voir les 402 produits