Tarayıcı, bilgi toplamak için web adreslerini ziyaret eden bir yazılımdır. Arama motorları, sayfaları keşfetmek için tarayıcıları kullanır. Yapay zeka hizmetleri ayrıca arama, güncel bir soruyu yanıtlama veya eğitim için materyal toplama için sayfalar getirebilir.
Bir çay dükkanının sözleri onun vitrinidir, bu yüzden teas.co.uk iyi huylu AI sistemlerinin bunları okumasına ve alıcıları geri göndermesine izin verir. Bu amaçlar birbiriyle değiştirilemez. Alınan bir sayfa, bir cevapta kullanıldığını veya birinin bir şey satın aldığını kanıtlamaz.
Yazılım mağazanın bilgilerini nasıl bulur
Bir insan menüleri kullanabilir. Yazılım bağlantıları takip edebilir, ancak net tabelalar yardımcı olur. teas.co.uk, keşif dosyalarını sıradan sayfalarının yanı sıra yayınlar. agents.json, mevcut hizmetleri, içerik biçimlerini ve çalışma kurallarını açıklar.
json, adlandırılmış veriler için bir formattır. Agents.json dosya adı, bu mağazanın kılavuzunu nerede yayınladığını size söyler; Her asistanın onu takip etmesi evrensel bir sertifika veya garanti değildir.
robots.txt ve llms.txt farklı işler yapıyor
robots.txt uyumlu tarayıcılara hangi adresleri talep edebileceklerini söyler. Google's Guide'nin açıkladığı gibi, bu, özel bilgilerin güvenliğini sağlamanın bir yolu veya bir sayfanın arama sonuçlarından uzak kalacağını garanti etmez. Erişim kontrollerinin farklı bir işi vardır.
llms.txt, dil modeli sistemler için faydalı içeriğe ilişkin kısa bir kılavuz sağlamak için önerilen bir kuraldır. Büyük bir dil modeli (LLM), birçok metin asistanının arkasındaki model türüdür. Dosyayı yayınlamak, bir hizmeti okumaya veya işletmeyi önermeye zorlamaz.
İsim kimlik kanıtı değildir
Bir istek, bir user-agent, hangi programın onu yaptığını söyleyen bir metin etiketi içerebilir. Etiketler kopyalanabilir. Kimliğin önemli olduğu durumlarda, bir sitenin yalnızca tanıdık bir isme güvenmek yerine uygun doğrulamaya ihtiyacı vardır.
Açık olmak aynı zamanda sınırsız istek sunmak anlamına da gelmez. Hizmetler, bir periyotta kaç tane isteğin yapılabileceğini kontrol eden ve arayanlara ne zaman tekrar deneneceklerini söyleyen hız limitleri uygulayabilir.
Dükkan için ayrım neden önemlidir
teas.co.uk'in “Ai'ye kapıyı açtık” hikayesi ticari mantığı açıklıyor. Amaç, hesap bilgilerini gizli tutarken faydalı bilgileri ve müşterinin kontrolü altında müşteri eylemleri yapmaktır.
Bir getirmenin neyi yapıp göstermediğini anlamak için ai atıf'i okuyun. Bir asistanın bir sonuç için katalogdan nasıl aktif olarak istediğini görmek için apis ve mcp'i okuyun.
Benim sözlerimle: Web'in çoğu AI'ya kapıyı kapatıyor ve biz de bizimkileri açtık
(Kendi hesabım, ilk olarak 15 Kasım 2026'da yayınlandı ve konunun bir evi olması için buraya taşındı.)
Yayıncılar, içeriklerini korumak için AI tarayıcılarını engelliyor. teas.co.uk her iyi niyetli asistanın mağazayı tanımasını, alıntı yapmasını ve alıcıları göndermesini sağlar ve geri kalanını dışarıda tutar.
Birisi AI asistanından sütle iyi olan ve bir fincan 5p'nin altında olan güçlü bir kahvaltı çayı ister. AI asistanları için mağazanın sayfasındaki örnek budur. Bu kişinin teas.co.uk'den iyi bir kutu çayla sonuçlanması için, asistanın dükkanın var olduğunu bilmesi, ne sattığını bilmesi ve verdiği fiyata güvenmesi gerekir. Bunu ancak dükkan okumasına izin verirse öğrenebilir. Yani teas.co.uk, onu okuduğum insanların çoğundan zıt tarafa koyuyor.
Sektörün çoğu kapıyı kapatıyor
Arama Motoru Günlüğü'nü okursanız veya Arama ve AI'yı takip ederseniz, havayı bileceksiniz. Tavsiye savunmacıdır: hangi AI botlarının bloke edilmesi, ister robots.txt'de ister sunucuda engellemek için, ödeme yapmadan iş almalarını nasıl durduracakları.
Reuters Enstitüsü, 2023'ün sonunda, on ülkede en çok kullanılan haber sitelerinin %48'inin OpenAI'nin tarayıcılarını engellediğini tespit etti. Temmuz 2025'te CloudFlare, aksini seçmedikçe yeni müşteriler için varsayılan olarak AI tarayıcılarını engellemeye başladı ve site sahiplerinin her istek için tarayıcılar ücretlendirebilmesi için Tarama Başına Ödeme'yi başlattı. Ocak 2026'da Search Engine Journal, en iyi 100 ABD ve Birleşik Krallık haber sitesi hakkında bir BuzzStream çalışması bildirdi: %79'u en az bir AI eğitim botunu engeller ve %71'i asistanların canlı arama için kullandığı en az bir bot'u bloke eder.
nedenini anladım. Bir gazete için kelimeler üründür. Bir asistan makaleyi okur, soruyu cevaplar ve kimseyi geri göndermezse, yayıncı sattığını verir. Reuters Enstitüsü endişeleri listeler: eğitim için ödeme yapılmaz, yayıncının adını taşıyan yanlış cevaplar ve asla geri gelmeyen okuyucular. Bunlar gerçek sebepler.
Neden diğer tarafa gittim
çay satarım. Ürün bir Yorkshire Tea kutusu veya bir teneke matcha kutusudur ve bir asistan bunu okuyarak bunu kaldıramaz. Bir çay dükkanında, bilgi vitrindir. Bir ürün sayfası, bir demleme kılavuzu veya bir bardak başına fiyat, yalnızca insanlar görürse buna değer.
10 Mayıs 2026'da yayına giren ikinci sürüm için siteyi yeniden oluşturduğumda, diğer her şeyin takip ettiği bir seçim yaptım. Dükkan, iyi davranan her AI'ya açılır, böylece mümkün olduğunca çok asistan dükkanı bilir, doğru bir şekilde alıntı yapar ve alıntı yapar. Alıntılar ziyaretçi getirir ve ziyaretçiler satışların geldiği yerdir. Sitenin bu şekilde inşa edilmesinin tek nedeni budur.
İkinci bir sebep var ve her ay büyüyor. İnsanlar artık asistanlara üç kelimeyle sormuyor. Tezgahın arkasındaki birine nasıl soracaklarını soruyorlar: Bütün gün onu içen bir ev için güçlü bir kahvaltı çayı, sütle 5 p'nin altında, dumanlı bir şey değil. premium intent gibi bir istek, Haziran 2026'dan beri bağlamı, kısıtlamaları, bütçe ve iyi bir sonucun neye benzediği ile bütün olarak gelen bir istek için kullandığım bir ad gibi bir istek diyorum. “Premium”, talebin size bir ücret değil, ne kadar söylediğini açıklar. Taşıyan bir asistanın tam olarak okuyabileceği ve kontrol edebileceği bir dükkana ihtiyacı vardır ve gizli veya okunması zor bir dükkan, çayı ne kadar iyi olursa olsun cevap veremez.
"Bir gazete için kelimeler üründür. Bir çay dükkanı için kelimeler vitrindir. Her iyi asistanın ona bakmasını istiyorum."
Aslında açık olan
Bütün bunlar halka açık. 14 Kasım 2026'da okudum.
Robots.txt, dışarıda tutulması gereken bir AI tarayıcısı olarak adlandırıyor: Dünyanın en büyük çevrimiçi mağazası tarafından işletilen tarayıcı, yarına kadar neredeyse her şeyi teslim edebilecek her şey mağazası. Diğer uyumlu AI alıcılarına izin verilir ve doğrudan onlar için yazılmış dosyalara işaret edilir: llms.txt, agents.json, ai-entry.json ve daha fazlası. Tüm tarayıcılara kapalı kalan şey sepet, ödeme, müşteri hesapları, site arama ve sonsuz filtre kombinasyonlarıdır.
Agents.json, AI eğitimi, AI araması ve AI girişi için içerik sinyallerini tek bir koşulda “Evet” olarak ayarlar: Cite ve teas.co.uk özniteliği. Eğitim, bir AI modeli oluşturmak için sayfaları kullanmak anlamına gelir; Arama ve giriş, şimdi birinin sorusunu yanıtlamak için onları okumak anlamına gelir. Site, 3.252 sayfa boyunca bir asistanın tam olarak alıntı yapabileceği 49.599 cisim çapası yayınlar.
Asistanlar da okuyabilir ve okuyabilir. 6 Ekim 2026'dan bu yana, bir asistan, müşterinin devamı ile katalogda arama yapabilir, çayları karşılaştırabilir, bir sepet doldurabilir ve mağazanın bağlantısı olan teas.co.uk MCP Sunucusu aracılığıyla bir ödeme bağlantısını teslim edebilir. Açık model bağlam protokolü üzerine inşa edilmiş asistanlar. AI sayfası, bağlanabilecek yardımcıları ve nasıl olduğunu listeler. En son 14 Kasım 2026'da kontrol edildiğinde, OpenAI hala ChatGPT için teas.co.uk bağlantısını gözden geçiriyordu.
Açık, korumasız ile aynı değil
Kapıyı açmak, kasayı başıboş bırakmak anlamına gelmez. Kamu dosyaları kötü aktörler hakkında böyle söylüyor.
Kuralları çiğneyin ve kapı kapanır. Mağaza, ziyaretçinin verdiği isme güvenmek yerine, AI şirketlerinin yayınladığı aralıklara göre bir talebin geldiği adresi kontrol eder. Eylül 2026'da AI botları olarak görünen şifre tarayıcıları bu şekilde buldu.
Çalışılan Örnek: Açık kapıdan bir kahvaltı çayı isteği
AI asistanları için mağazanın sayfasında kullanılan talebi alın: Süt ile iyi olan ve fincan başına 5p'nin altındaki maliyetler olan güçlü bir kahvaltı çayı. Açık kapı bu şekilde sorudan bardağa taşır.
Asistan dükkanı bulur. Robots.txt içeri girmesine izin verir ve llms.txt ve agents.json bunu ürün gerçeklerine yönlendirir, böylece nerede yaşadıklarını tahmin etmek zorunda kalmaz.
Gerçek paketleri karşılaştırır. Ürün verileri, her çayın torba sayısını, fiyatını ve fincan başına fiyatını verir. 15 Kasım 2026'da 5P'nin altındaki kahvaltı paketleri Yorkshire Tea Original Everyday Blend, 80 çay poşeti (bir fincan 4.5p), Tetley Original English Breakfast, 240 çay poşeti (2.2p bir bardak) ve PG Tips Original, 240 çay poşeti (bir fincan 3p). Bir fincan 5.1p'de Tetley Extra Strong Breakfast Tea, 75 çay poşeti gibi ekstra güçlü olarak satılan bir paket, bütçeye karşı aynı şekilde tartılabilir. Bir karışımın güçlü olup olmadığı, bir tahminden değil, her ürün sayfasının söylediklerinden gelmelidir.
Bir alıntı ile alıntı yapar. Kesin bir alıntı bağlantısına bağlanabilir, böylece kişi karar vermeden önce teas.co.uk üzerindeki fiyatı kontrol edebilir.
Geri geliyor. Kişi, 240 paketinin stokta olup olmadığı gibi bir takip isterse, asistan dün okuduklarına güvenmek yerine ürün verilerine geri dönebilir.
bir kişi ziyaret eder. Kişi, ürün sayfasının bağlantısını takip eder. Bu, okumalardan ayrı olarak sayılan bir ziyarettir.
Müşteri teas.co.uk üzerinden ödeme yapar. Müşterinin devamı ile, MCP sunucusu aracılığıyla bağlanan bir asistan bir sepeti doldurabilir ve bir ödeme bağlantısı verebilir. Müşteri sepeti kontrol eder ve teas.co.uk üzerinden ödeme yapar. Ücretli bir sipariş asistana kadar izlenirse, bu satış seviyesidir.
Her adım kapının açık olmasına bağlıdır. Sayfaları engellenen bir dükkan, çayı ne kadar iyi olursa olsun birinci adımda düşerdi.
Çay satın aldığınızda bu ne anlama geliyor
teas.co.uk okuyan bir asistan, tahmin etmek yerine mağazanın gerçek fiyatlarını, çanta sayılarını ve fincan başına fiyatını verebilir. Bardak başına fiyatı ve bir bağlantıyı isteyin, ardından ürün sayfasında kontrol edin.
Tüm isteği verin: süt ya da değil, kafein olsun ya da olmasın, bardak başına bütçeniz, günde kaç bardak. Bir asistan ne kadar çok bilirse, bir paket boyutunu çay içtiğinizle o kadar iyi eşleştirebilir.
Ücretsiz teslimat eşiği, 35 £, aynı genel veridedir, böylece bir asistan size bir sepetin ne kadar yakın olduğunu söyleyebilir.
Ne getirdi, ayrı sayılır
Bir sayfayı okuyan bir makine, ziyaret eden ve satın alan bir müşteri farklı etkinliklerdir ve Under the Hood bunları asla bir araya getirmez. 18 Kasım 2026'da Canlı Okuyun:
- Pages served to named AI systems: 189,202, from 2 Jun 2026 to 18 Nov 2026, not counting that refused crawler.
- AI Answers'dan ziyaretler: 10 Mayıs 2026'dan 18 Kasım 2026'ya kadar 2.801 tarayıcı oturumu.
- siparişler: 10 Mayıs 2026'da (241, 75'i birinci sürümde, 75 tanesi birinci siparişte 241) 166 ücretli siparişin bir AI asistanının kendi etiketini taşıyan bir bağlantıya ulaştı. 1 muhtemelen bir asistan aracılığıyla geldi ve 1 müşteri bize bir asistanın gönderdiğini söyledi. Etiketlenen siparişlerin 2'si daha sonra iade edildi.
The exchange is uneven, which is exactly the publishers’ complaint. Agents naming OpenAI were served 64,406 pages and 1,064 visits came back, about 61 pages for each visit. Cloudflare has measured the same imbalance across the web in the crawl-to-click gap.
Arama hala daha fazlasını yapıyor. Bu sürüm iki siparişten, arama motorları 75'i getirdi ve 48'in kökeni izlenemedi. Google arama tıklamaları, Ağustos ayında günde yaklaşık 160'tan Kasım 2026'da hiçbir reklam satın alınmadan günde 468'e yükseldi. Bunun ne kadarının makinelerin okumasının kolay olmasından geldiğini kanıtlayamam, bu yüzden onu talep etmeyeceğim.
Site neden böyle inşa edildi
Sitenin nasıl çalıştığıyla ilgili her şey bu açık kapıdan takip eder: bir kontrol edilmiş set Bir kişinin, bir arama motorunun ve bir asistanın hepsinin aynı şekilde okuduğu ürün gerçekleri, Yapılandırılmış veriler Kupa başına fiyat dahil her ürünün arkasında, bir API'ye sor Bu, bir anahtar kelime özeti ve genel sayma kuralları yerine tam insan isteğini ister.
Her asistanı davet ederseniz, buldukları şey doğru olsa daha iyi olur. hakikat varlığı dediğim şeyin arkasındaki ticari neden budur.
"Web'in çoğu içeriğini AI'dan koruyor. Okunmak, alıntı yapmak ve tavsiye edilmek isteyen ve söylediğinin doğru olduğundan emin olmak isteyen bir çay dükkanı kurdum."
Bu hesap için kaynaklar
- Richard Fletcher, Kaç haber web sitesi AI tarayıcılarını engelliyor?, Reuters Gazetecilik Araştırmaları Enstitüsü, 22 Şubat 2024.
- Cloudflare, Cloudflare, AI tarayıcılarının interneti büyük ölçüde kazıma şeklini yeni değiştirdi, basın bülteni, 1 Temmuz 2025 ve Trawing Per Tarayıcıya Giriş, Cloudflare Blog, 1 Temmuz 2025.
- Matt G. Southern, Çoğu büyük haber yayıncısı, AI eğitimini ve alma botlarını bloke ediyor, Arama Motoru Dergisi, 7 Ocak 2026, 100 en iyi ABD ve Birleşik Krallık haber sitesi hakkında bir vızıltı çalışması bildiriyor.
- teas.co.uk public files, read 14 November 2026: robots.txt, llms.txt, agents.json, ai-entry.json, teas.co.uk in AI assistants, and Under the Hood.
Sonraki Okuyun: Neyi yanlış kanıtlayabilirim · AI ile nasıl inşa ediyorum: vibe değil, döngü.
Adıflı Formatlar
Gazeteciler, araştırmacılar, AI asistanları ve içerik oluşturucular için. İhtiyacınız olan formatı seçin:
- .md dosyasını indirin Temiz indirim ihracatı
- .json dosyasını indirin Yapılandırılmış veri dışa aktarma
Teas.co.uk'e atıfta bulunarak alıntı yapmak, alıntı yapmak ve yeniden kullanmakta özgürsünüz.
Ekleyecek bir şey var mı? Oturum açmış müşteriler, Tea Wiki, yönetici onaylı, adınızı imzaya ve ayrıca ödül puanlarına eklemeler gönderebilir.
Katkıda bulunmak için oturum açın