Herbstverkauf: 20% Rabatt auf fast alles bis zum 24. DezemberSiehe den Verkauf →
Alle 402 Produkte anzeigen Kostenlose Lieferung in Großbritannien über £ 35
Wiki-Eintrag · 11 min gelesen

AI-Crawler: Warum teas.co.uk hat ihnen ihre Tür geöffnet

Ein Crawler ist eine Software, die Webadressen besucht, um Informationen zu sammeln. Suchmaschinen verwenden Crawler, um Seiten zu entdecken. KI-Dienste können auch Seiten für die Suche, die Beantwortung einer aktuellen Frage oder das Sammeln von Material für Schulungen abrufen.

Veröffentlicht Kurator geschrieben, nicht Crowdsourcing

Ein Crawler ist eine Software, die Webadressen besucht, um Informationen zu sammeln. Suchmaschinen verwenden Crawler, um Seiten zu entdecken. KI-Dienste können auch Seiten für die Suche, die Beantwortung einer aktuellen Frage oder das Sammeln von Material für Schulungen abrufen.

Die Worte eines Teeladens sind das Schaufenster, daher lässt teas.co.uk gut erzogene KI-Systeme sie lesen und Käufer zurückschicken. Diese Zwecke sind nicht austauschbar. Eine Seite, die abgerufen wird, beweist nicht, dass sie in einer Antwort verwendet wurde oder dass jemand etwas gekauft hat.

Wie Software die Shopinformationen findet

Ein Mensch kann Menüs verwenden. Software kann Links folgen, aber klare Wegweiser helfen. teas.co.uk veröffentlicht Discovery-Dateien neben den gewöhnlichen Seiten. Die Agents.json beschreibt verfügbare Dienste, Inhaltsformate und Betriebsregeln.

json ist ein Format für benannte Daten. Der Dateiname agents.json teilt Ihnen mit, wo dieser Shop seinen Leitfaden veröffentlicht. Es ist kein universelles Zertifikat oder keine Garantie dafür, dass jeder Assistent ihm folgt.

Robots.txt und llms.txt erledigen verschiedene Jobs

robots.txt teilt kompatiblen Crawlern mit, welche Adressen sie anfordern können. Wie in Google's Guide erklärt, ist dies keine Möglichkeit, private Informationen zu sichern, oder eine Garantie dafür, dass eine Seite aus den Suchergebnissen heraus bleibt. Zugriffskontrollen haben einen anderen Job.

llms.txt ist eine vorgeschlagene Konvention zur Bereitstellung eines prägnanten Leitfadens für nützliche Inhalte für Sprachmodellsysteme. Ein großes Sprachmodell (LLM) ist die Art von Modell hinter vielen Textassistenten. Das Veröffentlichen der Datei erzwingt einen Dienst nicht, sie zu lesen oder das Unternehmen zu empfehlen.

Ein Name ist kein Identitätsnachweis

Eine Anfrage kann ein User-Agent enthalten, ein Textetikett, das angibt, welches Programm es erstellt. Etiketten können kopiert werden. Wenn es auf Identität ankommt, muss eine Site eine angemessene Überprüfung durchführen, anstatt nur einem vertrauten Namen zu vertrauen.

Offen zu sein bedeutet auch nicht, unbegrenzte Anfragen anzubieten. Dienste können Preislimits anwenden, die steuern, wie viele Anfragen in einem Zeitraum gestellt werden können, und den Anrufern mitteilen, wann sie es erneut versuchen sollen.

Warum die Unterscheidung für den Shop wichtig ist

Die Geschichte von teas.co.uk " Wir haben die Tür zu AI geöffnet " erklärt die kommerzielle Argumentation. Ziel ist es, nützliche Informationen auffindbar zu machen und gleichzeitig Kontoinformationen und Kundenaktionen unter der Kontrolle des Kunden zu halten.

Um zu verstehen, was ein Abruf bewirkt und nicht demonstriert, lesen Sie ai-Attribution . Um zu sehen, wie ein Assistent den Katalog aktiv nach einem Ergebnis abfragt, lesen Sie APIs und MCP.


In meinen Worten: Der größte Teil des Webs schließt die Tür für KI, und wir haben unsere geöffnet.

(Mein eigener Bericht, erstmals veröffentlicht am 15. November 2026 und hierher gezogen, damit das Thema ein Zuhause hat.)

Publisher blockieren KI-Crawler, um ihre Inhalte zu schützen. teas.co.uk lässt jeden gut erzogenen Assistenten den Shop kennen, zitieren und schickt Käufer und hält den Rest fern.

Jemand bittet seinen KI-Assistenten um einen starken Frühstückstee, der gut mit Milch umgeht und weniger als 5 Pence pro Tasse kostet. Dies ist das Beispiel auf der Shop-Seite für KI-Assistenten. Damit diese Person eine gute Schachtel Tee von teas.co.uk hat, muss der Assistent wissen, dass der Shop existiert, wissen, was er verkauft, und dem Preis vertrauen, den er angibt. Das kann man nur lernen, wenn der Shop es lesen lässt. Also teas.co.uk tut es, was es auf die andere Seite stellt von den meisten Leuten, die ich gelesen habe.


Der größte Teil der Branche schließt die Tür

Wenn Sie das Suchmaschinenjournal lesen oder Suchen und KI überhaupt folgen, kennen Sie die Stimmung. Der Rat ist defensiv: Welche KI blockiert, ob sie in robots.txt oder auf dem Server blockiert werden soll, wie man sie stoppt, ohne zu bezahlen.

Das Reuters Institute stellte fest, dass Ende 2023 48% der am häufigsten verwendeten Nachrichten-Websites in zehn Ländern die OpenAI-Crawler blockierten. Im Juli 2025 blockierte Cloudflare standardmäßig KI-Crawler für neue Kunden, sofern sie nichts anderes wählen, und startete Pay-per-Crawl, damit Website-Besitzer Crawler für jede Anfrage in Rechnung stellen können. Im Januar 2026 meldete das Search Engine Journal eine Buzzstream-Studie von 100 Top-News-Sites in den USA und Großbritannien: 79% blockieren mindestens einen AI-Trainingsbot und 71% blockieren mindestens einen Bot, den Assistenten für die Live-Suche verwenden.

Ich verstehe warum. Für eine Zeitung sind die Wörter das Produkt. Wenn ein Assistent den Artikel liest, die Frage beantwortet und niemanden zurückschickt, hat der Verlag verschenkt, was er verkauft. Das Reuters Institute listet die Sorgen auf: keine Zahlung für Schulungen, falsche Antworten mit dem Namen des Verlags und Leser, die nie zurückkommen. Das sind echte Gründe.


Warum ich den anderen Weg gegangen bin

Ich verkaufe Tee. Das Produkt ist eine Schachtel mit Yorkshire Tea oder eine Dose mit Matcha , und ein Assistent kann das nicht durch Lektüre davon nehmen. In einem Teeladen sind die Informationen das Schaufenster. Eine Produktseite, ein Brauführer oder ein Preis pro Tasse ist nur dann etwas wert, wenn die Leute es sehen.

Als ich die Site für die zweite Version neu erstellte, die am 10. Mai 2026 live ging, traf ich eine Wahl, aus der alles andere folgt. Der Laden öffnet sich für jede KI, die sich gut verhält, damit so viele Assistenten wie möglich den Shop kennen, ihn genau zitieren und zitieren. Zitate bringen Besucher und Besucher sind der Ort, an dem der Verkauf kommt. Das ist der ganze Grund, warum die Website auf diese Weise gebaut wird.

Es gibt einen zweiten Grund, und er wächst jeden Monat. Die Leute fragen Assistenten nicht mehr in drei Worten. Sie fragen, wie sie jemanden hinter einer Theke fragen würden: einen starken Frühstückstee für ein Haus, das ihn den ganzen Tag trinkt, mit Milch, unter 5 Pence pro Tasse, nichts Rauchiges. Ich rufe eine Anfrage wie diese premium intent auf, einen Namen, den ich seit Juni 2026 für eine Anfrage verwendet, die ganz eintrifft, Einschränkungen , Budget und wie ein gutes Ergebnis aussieht. "Premium" beschreibt, wie viel die Anfrage Ihnen sagt, keine Gebühr. Ein Assistent, der einen trägt, braucht einen Laden, den er vollständig lesen und überprüfen kann, und ein Laden, der versteckt oder schwer zu lesen ist, kann es nicht beantworten, wie gut es auch sein mag.

"Für eine Zeitung sind die Worte das Produkt. Für einen Teeladen sind die Worte das Schaufenster. Ich möchte, dass jeder gute Assistent durchschaut."


Was ist eigentlich geöffnet

All dies ist öffentlich. Ich habe es am 14. November 2026 gelesen.

Der robots.txt nennt einen KI-Crawler, um draußen zu bleiben: der Crawler, der vom größten Online-Shop der Welt betrieben wird, der alles, was bis morgen fast alles liefern kann. Jeder andere konforme AI-Fetcher ist erlaubt und direkt auf die für sie geschriebenen Dateien gerichtet: llms.txt, agents.json, ai-entry.json und mehr. Was für alle Crawler geschlossen bleibt, sind der Warenkorb, die Kasse, die Kundenkonten, die Website-Suche und die endlosen Filterkombinationen.

Die agents.json setzt die Inhaltssignale für AI-Training, AI-Suche und AI-Eingaben unter einer Bedingung: zitieren und Attribut teas.co.uk. Training bedeutet, Seiten zu verwenden, um ein KI-Modell zu erstellen. Suchen und Eingaben bedeuten, sie zu lesen, um jetzt die Frage von jemandem zu beantworten. Die Website veröffentlicht 49.599 Citation Anchors, Orte, an denen ein Assistent auf 3.252 Seiten genau zitieren kann.

Assistenten können ebenso gut wie lesen. Seit dem 6. Oktober 2026 kann ein Assistent mit der Starthilfe des Kunden den Katalog durchsuchen, Tees vergleichen, einen Warenkorb füllen und einen Checkout-Link über den teas.co.uk MCP-Server abgeben, die Verbindung des Shops für Assistenten, die auf dem Open Model Context-Protokoll basieren. Die AI-Seite listet die Assistenten auf, die sich verbinden können und wie. Bei der letzten Überprüfung am 14. November 2026 überprüfte OpenAI immer noch die Verbindung teas.co.uk für chatgpt.


OPEN ist nicht gleich Unbewacht

Das Öffnen der Tür bedeutet nicht, die Kasse unbeaufsichtigt zu lassen. Das sagen die öffentlichen Akten über schlechte Schauspieler aus.

Brechen Sie die Regeln und die Tür schließt. Der Shop überprüft die Adresse, aus der eine Anfrage auf die Bereiche der KI-Unternehmen kommt, anstatt dem Namen zu vertrauen, der der Besucher gibt. So fanden die Passwortscanner im September 2026 als KI-Bots aus.

Arbeitsbeispiel: Eine Frühstücks-Tee-Anfrage durch die offene Tür

Nehmen Sie die Anfrage auf der Shop-Seite für KI-Assistenten: Ein starker Frühstückstee, der gut zu Milch passt und weniger als 5 Pence pro Tasse kostet. So trägt es die offene Tür von der Frage zu der Tasse.

Der Assistent findet den Laden. robots.txt lässt es herein, und llms.txt und agents.json verweisen auf die Produktfakten, sodass es nicht erraten muss, wo sie leben.

Es vergleicht echte Packs. Die Produktdaten geben die Anzahl, den Preis und den Preis pro Tasse jedes Tees an. Am 15. November 2026 enthält das Frühstückspaket unter 5 Pence pro Tasse Yorkshire Tea Original Everyday Blend, 80 Teebeutel (4,5 Pence pro Tasse), Tetley Original English Breakfast, 240 Tee Beutel (2,2 Pence pro Tasse) und PG Tips Original, 240 Teebeutel (3 Pence pro Tasse). Eine Packung, die als extra stark verkauft wird, wie > Tetley Extra Strong Breakfast Tea, 75 Teebeutel bei 5,1 Pence pro Tasse, kann auf die gleiche Weise gegen das Budget abgewogen werden. Ob eine Mischung stark ist, sollte von dem stammen, was jede Produktseite sagt, nicht aus einer Vermutung.

Es zitiert mit einem Zitat. Es kann mit einem genauen Zitieranker verknüpft werden, sodass die Person den Preis auf teas.co.uk überprüfen kann, bevor sie sich für eine Entscheidung entschieden hat.

Es kommt zurück. Wenn die Person eine Nachverfolgung fragt, z. B. ob das 240er-Pack auf Lager ist, kann der Assistent auf die Produktdaten zurückgreifen, anstatt sich auf das zu verlassen, was gestern gelesen wurde.

Eine Person besucht. Die Person folgt dem Link zur Produktseite. Das ist ein Besuch, der getrennt von den Lesungen gezählt wird.

Der Kunde zahlt auf teas.co.uk. Mit der Erlaubnis des Kunden kann ein über den MCP-Server verbundener Assistent einen Warenkorb füllen und einen Checkout-Link übergeben. Der Kunde überprüft den Warenkorb und zahlt auf teas.co.uk. Wenn eine bezahlte Bestellung auf den Assistenten zurückgeführt wird, ist dies das Verkaufsniveau.

Jeder Schritt hängt davon ab, dass die Tür geöffnet ist. Ein Geschäft, dessen Seiten blockiert waren, würde in Schritt eins ausfallen, wie gut es auch sein mag.

Was bedeutet dies, wenn Sie Tee kaufen?

Ein Assistent, der teas.co.uk liest, kann Ihnen die tatsächlichen Preise, die Anzahl der Taschen und den Preis pro Tasse geben, anstatt sie zu erraten. Fragen Sie nach dem Preis pro Tasse und einem Link und überprüfen Sie ihn auf der Produktseite.

Geben Sie die ganze Anfrage: Milch oder nicht, Koffein oder nicht, Ihr Budget pro Tasse, wie viele Tassen pro Tag. Je mehr ein Assistent weiß, desto besser kann er eine Packungsgröße an die Art und Weise anpassen, wie Sie Tee trinken.

Der Schwellenwert für die kostenlose Zustellung von £ 35 liegt in denselben öffentlichen Daten, sodass ein Assistent Ihnen sagen kann, wie nah ein Korb ist.


Was es mitgebracht hat, separat gezählt

Eine Maschine, die eine Seite liest, eine Person, die besucht, und ein Kundenkauf sind verschiedene Ereignisse, und Under the Hood addiert diese niemals zusammen. Lesen Sie live am 18. November 2026:

  • Pages served to named AI systems: 189,202, from 2 Jun 2026 to 18 Nov 2026, not counting that refused crawler.
  • Besuche von AI Answers: 2.801 Browser-Sitzungen, vom 10. Mai 2026 bis 18. November 2026.
  • Bestellungen: von 166 bezahlten Bestellungen seit Version Two am 10. Mai 2026 (241 seit der ersten Bestellung des Shops, 75 davon auf Version eins), 5 kamen auf einem Link mit dem eigenen Tag eines KI-Assistenten an. Ich kam wahrscheinlich durch einen Assistenten und 1 Kunde sagte uns, ein Assistent habe sie geschickt. 2 der getaggten Bestellungen wurden später zurückerstattet.

The exchange is uneven, which is exactly the publishers’ complaint. Agents naming OpenAI were served 64,406 pages and 1,064 visits came back, about 61 pages for each visit. Cloudflare has measured the same imbalance across the web in the crawl-to-click gap.

Die Suche macht immer noch mehr. Von diesen zwei Bestellungen brachten Suchmaschinen 75, und der Ursprung von 48 konnte nicht zurückverfolgt werden. Die Google-Suchklicks stiegen von etwa 160 pro Tag im August auf 468 pro Tag im November 2026, ohne dass Werbung gekauft wurde. Ich kann nicht beweisen, wie viel davon für Maschinen leicht zu lesen ist, also werde ich es nicht behaupten.


Warum die Seite so gebaut ist

Alles über die Funktionsweise der Website folgt aus dieser offenen Tür: Ein überprüfter Satz von Produktfakten, die eine Person, eine Suchmaschine und ein Assistent alle auf die gleiche Weise lesen, strukturierte Daten hinter jedem Produkt, einschließlich Preis pro Tasse, ein Fragen API , die die vollständige menschliche Anfrage anfordert und nicht eine Keyword-Zusammenfassung und Regeln für die öffentliche Zählung.

Wenn Sie jeden Assistenten einladen, ist das, was er findet, besser wahr. Das ist der kommerzielle Grund für das, was ich Wahrheitsentität nenne.

"Der größte Teil des Webs schützt seinen Inhalt vor KI. Ich habe einen Teeladen gebaut, der gelesen, zitiert und empfohlen werden möchte, und stellte sicher, dass das, was es sagt, wahr ist."








Quellen für dieses Konto

Haben Sie etwas hinzuzufügen? Angemeldete Kunden können Ergänzungen zu Tea Wiki, vom Administrator genehmigten, Ihrem Namen in der Byline sowie Belohnungspunkten einreichen.

Melden Sie sich an, um einen Beitrag
Tea-Notizen und Lageraktualisierungen

Nützliche Teenoten, nur wenn es etwas zu sagen gibt.

Lagerankunft, Kaufnotizen und praktische Anleitung aus dem Katalog. Kein Füllstoff, kein täglicher Lärm, Abbestellen mit einem Klick.

von der Familie

zu Moment

Marke des MonatsHyson Saisonale SchnupperpackungenWie die saisonalen Bündel funktionieren Tee des Monats ClubMonatliche Box mit Kuratorin Finde deinen Tee60-Sekunden-Quiz
Alle 402 Produkte anzeigen