Herfstverkoop: 20% korting bijna alles tot 24 decemberZie de verkoop →
Bekijk alle 402 producten Gratis verzending in het VK meer dan £ 35
Wiki-invoer · 11 min. Lezen

AI-crawlers: waarom teas.co.uk zijn deur voor hen opende

Een crawler is software die webadressen bezoekt om informatie te verzamelen. Zoekmachines gebruiken crawlers om pagina's te ontdekken. AI-services kunnen ook pagina's ophalen om te zoeken, een actuele vraag te beantwoorden of materiaal te verzamelen voor training.

Gepubliceerd Curator-geschreven, niet crowdsourced

Een crawler is software die webadressen bezoekt om informatie te verzamelen. Zoekmachines gebruiken crawlers om pagina's te ontdekken. AI-services kunnen ook pagina's ophalen om te zoeken, een actuele vraag te beantwoorden of materiaal te verzamelen voor training.

De woorden van een theewinkel zijn de etalage, dus laat teas.co.uk goed opgevoede AI-systemen ze lezen en kopers terugsturen. Die doeleinden zijn niet uitwisselbaar. Een pagina die wordt opgehaald, bewijst niet dat het in een antwoord is gebruikt of dat iemand iets heeft gekocht.

Hoe software de informatie van de winkel vindt

Een mens kan menu's gebruiken. Software kan links volgen, maar duidelijke wegwijzers helpen. teas.co.uk publiceert Discovery-bestanden naast de gewone pagina's. De agents.json beschrijft beschikbare services, inhoudsformaten en operationele regels.

json is een indeling voor benoemde gegevens. De bestandsnaam Agents.json vertelt u waar deze winkel zijn gids publiceert; Het is geen universeel certificaat of garantie dat elke assistent het volgt.

Robots.txt en llms.txt doen verschillende taken

robots.txt vertelt conforme crawlers welke adressen ze kunnen vragen. Zoals Google's Guide uitlegt, is het geen manier om privé-informatie te beveiligen of een garantie dat een pagina uit de zoekresultaten blijft. Toegangscontroles hebben een andere baan.

llms.txt is een voorgestelde conventie voor het geven van een beknopte gids voor nuttige inhoud voor taalmodelsystemen. Een Large Language Model (LLM) is het soort model achter veel tekstassistenten. Het publiceren van het bestand dwingt een dienst niet om het te lezen of het bedrijf aan te bevelen.

Een naam is geen identiteitsbewijs

Een verzoek kan een User-Agent bevatten, een tekstlabel waarin staat welk programma het maakt. Labels kunnen worden gekopieerd. Waar identiteit ertoe doet, heeft een site passende verificatie nodig in plaats van alleen op een bekende naam te vertrouwen.

Open zijn betekent ook niet dat je onbeperkte verzoeken aanbiedt. Services kunnen Tratellimieten toepassen, die bepalen hoeveel verzoeken in een periode kunnen worden gedaan en de bellers kunnen vertellen wanneer ze het opnieuw moeten proberen.

Waarom het onderscheid van belang is voor de winkel

teas.co.uk's verhaal "We openden de deur naar AI" legt de commerciële redenering uit. Het doel is om nuttige informatie detecteerbaar te maken en tegelijkertijd accountinformatie en acties van de klant onder controle te houden van de klant.

Om te begrijpen wat een fetch wel en niet demonstreert, leest u ai-attributie. Om te zien hoe een assistent de catalogus actief om een resultaat vraagt, leest u apis en mcp.


In mijn woorden: het grootste deel van het web sluit de deur naar AI, en we openden de onze

(Mijn eigen account, voor het eerst gepubliceerd op 15 november 2026 en hierheen verhuisd zodat het onderwerp er één thuis heeft.)

Uitgevers blokkeren AI-crawlers om hun inhoud te beschermen. teas.co.uk laat elke goed opgevoede assistent binnen om de winkel te leren kennen, te citeren en kopers te sturen, en houdt de rest buiten.

Iemand vraagt zijn AI-assistent om een sterke ontbijtthee die goed is met melk en minder dan 5 pence per kopje kost. Dat is het voorbeeld op de pagina van de winkel voor AI-assistenten. Om die persoon te laten eindigen met een goede doos thee van teas.co.uk, moet de assistent weten dat de winkel bestaat, weet wat hij verkoopt en vertrouwt hij de prijs die hij citeert. Het kan alleen leren dat als de winkel het laat lezen. Dus teas.co.uk doet, wat het aan de andere kant plaatst van de meeste mensen die ik lees.


Het grootste deel van de industrie sluit de deur

Als u Search Engine Journal leest, of überhaupt zoekt en AI volgt, weet u de stemming. Het advies is defensief: welke AI bots om te blokkeren, of ze nu moeten blokkeren in robots.txt of op de server, hoe te voorkomen dat ze werk nemen zonder te betalen.

Het Reuters Institute ontdekte dat tegen het einde van 2023 48% van de meest gebruikte nieuwswebsites in tien landen de crawlers van OpenAI blokkeerde. In juli 2025 begon Cloudflare standaard met het blokkeren van AI-crawlers voor nieuwe klanten, tenzij ze anders kiezen, en lanceerde het pay per crawl, zodat site-eigenaren crawlers voor elk verzoek kunnen in rekening brengen. In januari 2026 rapporteerde Search Engine Journal een Buzzstream-onderzoek van 100 topnieuwssites in de VS en het VK: 79% blokkeert ten minste één AI-trainingsbot en 71% blokkeert ten minste één bot die assistenten gebruiken voor live zoeken.

Ik begrijp waarom. Voor een krant zijn de woorden het product. Als een assistent het artikel leest, de vraag beantwoordt en niemand terugstuurt, heeft de uitgever weggegeven wat hij verkoopt. Het Reuters Institute somt de zorgen op: geen betaling voor training, verkeerde antwoorden met de naam van de uitgever en lezers die nooit meer terugkomen. Dat zijn echte redenen.


Waarom ik de andere kant op ging

Ik verkoop thee. Het product is een doos Yorkshire Tea of een blikje matcha, en een assistent kan dat niet wegnemen door erover te lezen. In een theewinkel is de informatie de etalage. Een productpagina, een brouwgids of een Prijs per kopje is alleen iets waard als mensen het zien.

Toen ik de site herbouwde voor versie twee, die op 10 mei 2026 live ging, heb ik een keuze gemaakt waar al het andere uit volgt. De winkel opent zich voor elke AI die zich goed gedraagt, zodat zoveel mogelijk assistenten de winkel kennen, deze nauwkeurig citeren en citeren. Citaties brengen bezoekers, en bezoekers zijn waar de verkoop vandaan komt. Dat is de hele reden dat de site op deze manier is gebouwd.

Er is een tweede reden, en die groeit elke maand. Mensen vragen assistenten niet meer in drie woorden. Ze vragen de manier waarop ze iemand achter een toonbank zouden vragen: een sterke ontbijtthee voor een huis dat het de hele dag drinkt, met melk, minder dan 5 cent per kopje, niets rokerigs. Ik noem zo'n verzoek Premium Intent, een naam die ik sinds juni 2026 heb gebruikt voor een verzoek dat heel, met zijn context, constraints, budget en hoe een goed resultaat eruit ziet. "Premium" beschrijft hoeveel het verzoek u vertelt, geen vergoeding. Een assistent die iemand draagt, heeft een winkel nodig die hij volledig kan lezen en controleren, en een winkel die verborgen of moeilijk te lezen is, kan het niet beantwoorden, hoe goed de thee ook is.

"Voor een krant zijn de woorden het product. Voor een theewinkel zijn de woorden de etalage. Ik wil dat elke goede assistent er doorheen kijkt."


Wat is er eigenlijk open

Dit alles is openbaar. Ik las het op 14 november 2026.

De robots.txt noemt één AI-crawler om buiten te houden: de crawler gerund door 's werelds grootste online winkel, de alles-winkel die morgen bijna alles kan leveren. Elke andere conforme AI-fotcher is toegestaan en rechtstreeks gewezen op bestanden die voor hen zijn geschreven: llms.txt, agents.json, ai-entry.json en meer. Wat voor alle crawlers gesloten blijft, is de mand, de kassa, klantaccounts, sitezoeken en de eindeloze filtercombinaties.

The Agents.json stelt de inhoudssignalen in voor AI-training, AI-zoekopdracht en AI-invoer allemaal op "Ja", op één voorwaarde: citeer en attribuut teas.co.uk. Training betekent het gebruik van pagina's om een AI-model te bouwen; Zoeken en invoeren betekent ze nu lezen om iemands vraag te beantwoorden. De site publiceert 49.599 Citation Anchors, plaatst een assistent die exact kan citeren, over 3.252 pagina's.

Assistenten kunnen net zo goed acteren als lezen. Sinds 6 oktober 2026 kan een assistent, met het startsein van de klant, de catalogus doorzoeken, theeën vergelijken, een mandje vullen en een afrekenlink overhandigen via de teas.co.uk MCP-server, de aansluiting van de winkel voor Assistenten gebouwd op het Open Model Context Protocol. De AI-pagina geeft een overzicht van de assistenten die verbinding kunnen maken en hoe. Toen OpenAI op 14 november 2026 voor het laatst werd gecontroleerd, was OpenAI nog steeds de teas.co.uk-verbinding voor ChatGPT aan het beoordelen.


Open is niet hetzelfde als onbewaakt

Het openen van de deur betekent niet dat je de kassa onbeheerd achterlaat. Dit is wat de openbare dossiers zeggen over slechte acteurs.

Breek de regels en de deur sluit. De winkel controleert het adres waar een verzoek vandaan komt tegen de assortimenten die de AI-bedrijven publiceren, in plaats van de naam te vertrouwen die de bezoeker geeft. Zo vond het de wachtwoordscanners die zich voordeden als AI-bots in september 2026.

Uitgewerkt voorbeeld: een ontbijttheeverzoek via de open deur

Neem het verzoek dat op de pagina van de winkel voor AI-assistenten wordt gebruikt: een sterke ontbijtthee die goed is met melk en minder dan 5 p per kopje kost. Dit is hoe de open deur het van vraag naar beker draagt.

De assistent vindt de winkel. Robots.txt laat het binnen, en llms.txt en agents.json wijzen het op de productfeiten, dus het hoeft niet te raden waar ze wonen.

Het vergelijkt echte packs. De productgegevens geven het aantal zakjes, de prijs en de prijs per kopje van elke thee. Op 15 november 2026 waren de ontbijtpakketten onder de 5 pk een kopje inclusief Yorkshire Tea Original Everyday Blend, 80 theezakjes (4,5 pk een kopje), Tetley Original English Breakfast, 240 theezakjes (2.2p een kopje) en PG Tips Original, 240 theezakjes (3p een kopje). Een pak dat als extra sterk wordt verkocht, zoals Tetley Extra Strong Breakfast Tea, 75 theezakjes met 5,1 pence per kopje, kan op dezelfde manier tegen het budget worden gewogen. Of een blend sterk is, moet afkomstig zijn van wat elke productpagina zegt, niet uit een gok.

Het citeert met een citaat. Het kan linken naar een exact citatieanker, zodat de persoon de prijs kan controleren op teas.co.uk voordat hij een beslissing neemt.

Het komt terug. Als de persoon om een follow-up vraagt, bijvoorbeeld of het 240-pack op voorraad is, kan de assistent terugkeren naar de productgegevens in plaats van te vertrouwen op wat hij gisteren heeft gelezen.

een persoon bezoekt. De persoon volgt de link naar de productpagina. Dat is een bezoek, apart geteld van de reads.

De klant betaalt op teas.co.uk. Met het startsein van de klant kan een assistent die via de MCP-server is aangesloten, een mandje vullen en een afrekenlink overhandigen. De klant controleert de mand en betaalt op teas.co.uk. Als een betaalde bestelling wordt getraceerd naar de assistent, is dat het verkoopniveau.

Elke stap hangt af van het openen van de deur. Een winkel waarvan de pagina's waren geblokkeerd, zou bij stap één wegvallen, hoe goed de thee ook is.

Wat dit betekent als je thee koopt

Een assistent die teas.co.uk leest, kan u de echte prijzen, het aantal tassen en de prijs per kopje van de winkel geven in plaats van ze te raden. Vraag naar de prijs per kopje en een link en controleer deze dan op de productpagina.

Geef het hele verzoek: melk of niet, cafeïne of niet, je budget per kopje, hoeveel kopjes per dag. Hoe meer een assistent weet, hoe beter het een pakgrootte kan afstemmen op hoe je thee drinkt.

De drempel voor gratis bezorging, £ 35, staat in dezelfde openbare gegevens, dus een assistent kan u vertellen hoe dichtbij een mand is.


Wat het heeft gebracht, apart geteld

Een machine die een pagina leest, een bezoeker en een klant die een klant koopt, zijn verschillende evenementen, en Under the Hood voegt ze nooit samen. Lees live op 18 november 2026:

  • Pages served to named AI systems: 198,424, from 2 Jun 2026 to 18 Nov 2026, not counting that refused crawler.
  • Visits from AI answers: 2,802 browser sessions, from 10 May 2026 to 18 Nov 2026.
  • Bestellingen: van 166 betaalde bestellingen sinds versie twee op 10 mei 2026 live ging (241 sinds de eerste bestelling van de winkel, waarvan 75 op versie één), 5 arriveerden op een link met het eigen tag van een AI-assistent, Ik kwam waarschijnlijk via een assistent en 1 klant vertelde ons dat een assistent hen stuurde. 2 van de getagde bestellingen werden later terugbetaald.

The exchange is uneven, which is exactly the publishers’ complaint. Agents naming OpenAI were served 65,972 pages and 1,064 visits came back, about 62 pages for each visit. Cloudflare has measured the same imbalance across the web in the crawl-to-click gap.

Zoeken doet nog meer. Van die versies twee bestellingen brachten zoekmachines 75, en de oorsprong van 48 kon niet worden getraceerd. Google-zoekklikken stegen van ongeveer 160 per dag in augustus tot 468 per dag in november 2026, zonder reclame. Ik kan niet bewijzen hoeveel daarvan komt doordat machines gemakkelijk te lezen zijn, dus ik zal het niet claimen.


Waarom de site zo is gebouwd

Alles over hoe de site werkt volgt uit die open deur: Eén gecontroleerde set van productfeiten dat een persoon, een zoekmachine en een assistent allemaal op dezelfde manier lezen, gestructureerde gegevens achter elk product inclusief prijs per kopje, een vraag api die vraagt om het volledige menselijke verzoek in plaats van een trefwoordoverzicht en regels voor openbare tel.

Als je elke assistent uitnodigt, kan wat ze vinden beter waar zijn. Dat is de commerciële reden achter wat ik de Truth Entity noem.

"Het grootste deel van het web beschermt de inhoud tegen AI. Ik heb een theewinkel gebouwd die gelezen, geciteerd en aanbevolen wil worden en ervoor zorgde dat wat er staat waar is."








Bronnen voor dit account

Heb je iets toe te voegen? Ingelogde klanten kunnen toevoegingen aan de Tea Wiki, admin-goedgekeurd, je naam op de naamregel, plus beloningspunten indienen.

Log in om bij te dragen
Tea Notes en voorraadupdates

Handige theetonen, alleen als er iets te zeggen is.

Voorraadaankomsten, koopnota's en praktische begeleiding uit de catalogus. Geen vulmiddel, geen dagelijks geluid, afmelden in één klik.

door familie

althans

Merk van de maandHyson SeizoensproefpakkettenHoe de seizoensbundels werken Thee van de maand ClubMaandelijkse box met curator gekozen Vind je theeQuiz van 60 seconden
Bekijk alle 402 producten