GPTBot, ClaudeBot, PerplexityBot: AI Tarayıcılarını Engellemeli mi, İzin mi Vermeli?

Neredeyse her web sitesinin kök dizininde küçük bir metin dosyası vardır — robots.txt — ve hangi otomatik ziyaretçinin sayfalarınızı okuyabileceğine sessizce karar verir. Yıllarca teknik SEO'nun kimsenin uğramadığı tozlu bir köşesiydi; yalnızca arama motoru tarayıcıları okurdu. Sonra üretici yapay zeka motorları geldi ve bu sıradan dosya, bir işletmenin elindeki en belirleyici anahtarlardan biri hâline geldi: yapay zeka yanıtlarını besleyen tarayıcıları içeri buyur edebilir ya da kapıyı yüzlerine kapatabilir. Çoğu işletme sahibi bu dosyayı hiç açmadı bile.

Bu dosyanın içindeki tek bir satırın, ChatGPT'nin, Claude'un, Perplexity'nin ya da Gemini'nin işletmenizin varlığını hiç öğrenip öğrenmeyeceğini etkileyebileceğini fark edenlerse daha da az. İşte bu, kilitleyebileceğinizi bilmediğiniz kapı — ve asıl soru, gerçekten kilitlemeli misiniz. Yapay zeka tarayıcılarını engellemek, emek verdiğiniz içeriğin kontrolünü geri almak gibi hissettirebilir. İzin vermek ise, sözlerinizi karşılığında hiçbir şey vermeyen makinelere teslim etmek gibi. Yapay zeka çağında bulunmaya çalışan bir Türk KOBİ'si için dürüst yanıt, bu iki içgüdünün de ötesinde daha inceliklidir — ve iki yönde de yanlış karar vermenin gerçek bir bedeli vardır.

Kapınızı çalan tarayıcılar kim?

Her büyük yapay zeka şirketi web'e kendi otomatik ajanlarını gönderir ve her biri kendini bir adla — bir user-agent ile — tanıtır; sunucunuz bu adı görüp ona göre davranabilir. Kimin kim olduğunu bilmek ilk adımdır, çünkü bu botların hepsi aynı işi yapmaz ve onları tek bir örgüsüz kalabalık gibi görmek beceriksiz kararlara yol açar.

• GPTBot — OpenAI'nin tarayıcısı. ChatGPT'nin arkasındaki modelleri eğitmek ve geliştirmek için herkese açık web içeriğini toplar. OpenAI'nin ayrıca OAI-SearchBot ve ChatGPT-User gibi ayrı ajanları da vardır; bunlar sayfaları ChatGPT'nin arama ve gezinme özelliklerinde göstermek için getirir — eğitimden farklı bir amaç.
• ClaudeBot — Anthropic'in tarayıcısı; Claude için web içeriği toplar. OpenAI'de olduğu gibi, sitenizden öğrenen tarayıcı ile birisi Claude'a anlık bir soru sorduğunda gerçekleşen canlı getirme işlemi birbirinden ayrıdır.
• PerplexityBot — Perplexity'nin dizinleme tarayıcısı; motorun yararlandığı, web'in aranabilir resmini oluşturur. Ayrı bir ajan, bir kullanıcının sorusu gerektirdiğinde belirli sayfaları gerçek zamanlı olarak getirir.
• Google-Extended — aslında sayfa getiren bir robot değil, bir kontrol anahtarıdır. Google'a, daha önce taranmış içeriğinizin Gemini dahil üretici yapay zekasını geliştirmek için kullanılıp kullanılamayacağını bildirir. Arama için çalışan sıradan Googlebot bundan ayrıdır ve kendi kurallarına tabidir.

Bu son ayrım önemlidir: Google-Extended'ı reddetmek sizi Google Arama'dan çıkarmaz ve Google'ın çekirdek dizinine bağlı yapay zeka özellikleri, yalnızca sizin değil, Google'ın koşullarına göre işler.

Asıl ikilem: görünürlük mü, kontrol mü?

Teknik adların altında gerçek bir iş gerilimi yatar. Tarayıcılara izin verirsiniz ve içeriğiniz, müşterilerinizin sorularını giderek daha çok yanıtlayan sistemlere akar — ama sözlerinizin nasıl yeniden kullanıldığı üzerindeki denetimin bir kısmını bırakırsınız, çoğu zaman doğrudan bir ödeme ve çoğu zaman bir tıklama bile almazsınız. Engellersiniz ve içeriğiniz üzerinde daha sıkı bir denetim korursunuz — ama tam da alıcıların araştırmaya başladığı yerde görünmez kalma riskini alırsınız. İki seçeneğin de bir bedeli vardır; saf kazanç olan bir yol yoktur.

İşinin tamamı ücretli makale okumalarına dayanan bir yayıncı için bu gerilim gerçekten keskindir. Çoğu KOBİ için değildir. Web siteniz sattığınız ürün değildir; vitrininiz ve en iyi satış elemanınızdır. Görevi, insanların sizi bulup seçmesini sağlamaktır. Alıcılarınızın artık küçük bir Türk ekibe hangi CRM uyar diye sorduğu yer bir yapay zeka motoruysa, o motorda bulunmamak bir varlığı korumak değildir — kendi vitrininizin perdelerini çekmektir. Tipik bir işletme sitesindeki içerik, kilitlensin diye değil, bulunup okunsun diye yazılmıştır.

robots.txt neyi yapar, neyi yapamaz?

robots.txt, alanadınız.com/robots.txt adresinde duran düz metin bir dosyadır. Her tarayıcıyı, onun user-agent adını belirten ve neye erişebileceğini söyleyen kısa bir blokla yönlendirirsiniz. Temeller basittir:

• Bir tarayıcıyı tümüyle dışarıda tutmak için onu adlandırın ve her şeyi yasaklayın — User-agent: GPTBot ve ardından Disallow: / yazan bir bölüm.
• İçeri buyur etmek için ya listelemeden bırakın, çünkü varsayılan izinlidir, ya da açıkça Allow: / deyin.
• İncelikli bir seçim için yalnızca belirli yolları yasaklayın — özel ya da yalnızca üyelere açık bir dizini kapalı tutarken ana pazarlama ve ürün sayfalarınızı açık bırakın.

Şimdi çoğu rehberin atladığı dürüstlük: robots.txt bir duvar değil, bir ricadır. Gönüllü bir uzlaşıdır. Saygın operatörler — OpenAI, Anthropic, Perplexity ve Google dahil — buna uyacaklarını açıkça taahhüt eder ve genellikle uyar. Ama dosyanın teknik bir yaptırım gücü yoktur. Ziyaretçinin kimliğini doğrulamaz ve ağ düzeyinde hiçbir şeyi engellemez; dolayısıyla uzlaşıyı yok sayan bir tarayıcı ya da bir user-agent'i taklit eden kötü niyetli biri, dümdüz içeri geçer. Gerçek bir yaptırıma ihtiyacınız varsa, o bir metin dosyasında değil, sunucu ya da güvenlik duvarı düzeyinde bulunur. Tamamlayıcı yaklaşımı bilmekte de yarar var — yapay zeka sistemlerini en önemli içeriğinize yönlendiren llms.txt adlı öneri standardı, onları büsbütün dışarıda bırakmak yerine yol gösterir.

KOBİ'ler için bir karar çerçevesi

Peki, engellemek mi, izin vermek mi? Teknolojiden değil, hedefinizden başlayın ve dosyaya dokunmadan önce üç yalın soruyu yanıtlayın:

• Yapay zeka yanıtlarında bulunmak işletmem için değerli mi? Ürün ya da hizmet satan neredeyse her KOBİ için evet — keşif istikrarlı biçimde oraya kayıyor.
• İçeriğim, erişimini sattığım ücretli ya da özel bir varlık mı? Çoğu KOBİ için hayır. Pazarlama sayfaları, ürün açıklamaları ve blog yazıları tam da mümkün olduğunca çok doğru kişi tarafından okunsun diye vardır.
• Belirli bir bölümü esirgemek için özel bir nedenim var mı? Belki — yalnızca üyelere açık bir alan, hassas belgeler ya da doğrudan gelir getirdiğiniz bir içerik kütüphanesi. Bu, toptan değil, hedefli bir yasak gerektirir.

Türk KOBİ'lerinin çoğu için yanıtlar aynı yönü gösterir: tarayıcılara izin verin, çünkü yapay zeka yanıtlarındaki görünürlük, engelleyerek geri kazanacağınız o küçük kontrol payından çok daha değerlidir. Daha incelikli orta yol, hep ya da hiç değil, seçicidir — sizi canlı yanıtlarda gösteren ajanlara izin verin ve model eğitimine ilkesel bir itirazınız varsa, yalnızca eğitim odaklı tarayıcıyı yasaklayıp getirme ajanlarını serbest bırakmayı düşünün. Böylece müşterilerin gerçekten sorduğu yerde bulunur, çizginizi de tam istediğiniz yere çekersiniz.

Engellemek sizi yapay zeka yanıtlarından nasıl sessizce silebilir?

İşte nadiren konuşulan risk. Bir motorun tarayıcısını engellediğinizde, yalnızca eğitimini beslemeyi reddetmiş olmazsınız — kendinizi, motorun bir yanıt kurarken güvendiği kaynaklar havuzundan da çıkarabilirsiniz. Üretici aramada motor bir yanıt sentezler ve arkasındaki kaynakları gösterir. Sayfalarınız hiç okunabilir olmadıysa, o gösterilen kaynaklardan biri olmaya aday bile değilsinizdir. Kapıyı açık bırakan rakibiniz ise adaydır.

Tarayıcı politikanızın neden bir ayrıntı değil, Üretici Motor Optimizasyonu'nun (GEO) — yapay zeka üretimi yanıtların içinde görünürlük kazanma pratiğinin — temeli olduğu işte budur. Bu, Google AI Overviews ve yükselen sıfır tıklama aramasının keşfi nasıl yeniden şekillendirdiğiyle doğrudan bağlantılıdır: yanıt bağlantıların üstünde belirdiğinde, o yanıta örülen kaynaklardan biri olmak yarışmanın tamamıdır. Tarayıcıyı engellerseniz, konuşma daha başlamadan o masadaki yerinizden feragat edersiniz.

Yine de dürüst incelik iki yönlü keser. Engellemek, garantili bir yok oluş değildir. Bir motor, kendi siteniz kapalı olsa bile sizi anlatan üçüncü taraf kaynaklardan — dizinler, değerlendirmeler, haberler, forum başlıkları, bir ansiklopedi maddesi — hâlâ işletmenizden söz edebilir. Yani engellemek nadiren temiz bir dışlama sağlar; çoğu zaman yalnızca, sizden söz edildiğinde kendi sözlerinizin, çerçevenizin ve en güncel bilgilerinizin o konuşmada eksik kalmasını garantiler.

İzin verdiniz — peki gerçekten kaynak gösteriliyor musunuz?

Kapıyı açmak bir izindir, bir söz değil. GPTBot'a, ClaudeBot'a ve PerplexityBot'a izin vermek sizi okunmaya ve kaynak gösterilmeye uygun kılar; bunun gerçekleşmesini sağlamaz. Gerçekten adınızın anılıp anılmadığı ve kaynak gösterilip gösterilmediğiniz, içeriğinizin netliğine, yapısına ve otoritesine — yani GEO'nun özüne — bağlıdır. Nerede durduğunuzu bilmenin tek yolu ise varsaymak değil, bakmaktır.

Tahminin yerini ölçümün aldığı yer burasıdır. Açık bir kapının işini gördüğüne güvenmek yerine, yapay zeka görünürlüğünüzü bugün ölçmeye başlayabilirsiniz — motorların sizi mi andığını, kaynak mı gösterdiğini, yoksa bir rakibe mi uzandığını, sizin için en önemli alıcı sorularında kontrol ederek. Yapay zeka yanıtlarında marka bahsinizi izlemek, belirsiz bir umudu net bir sinyale çevirir: bulunuyor musunuz, hangi bağlamda ve kaynak olarak mı yoksa gelip geçen bir değini olarak mı? Rocketly'nin GEO Suite'i tam da bunun için kurulmuştur. İzlediğiniz sorularda üretici motorların sizi anıp anmadığını ve kaynak gösterip göstermediğini ölçer — bugün Google AI Overviews için, ek motorlar ise yol haritasında. Önce tarayıcıları içeri alırsınız; sonra buna değip değmediğini doğrularsınız.

Sıkça Sorulan Sorular

GPTBot'u engellemek işletmemi ChatGPT'den çıkarır mı?

Güvenilir biçimde hayır. GPTBot'u engellemek, OpenAI'nin eğitim tarayıcısından bundan sonra sitenizi okumamasını rica eder; ama bir modelin daha önce öğrendiğini silmez ve motorun sizi değerlendirmeler, dizinler ya da haberler gibi üçüncü taraf kaynaklarla anlatmasını durdurmaz. Şunu da unutmayın: farklı botlar farklı işler yapar; bir modeli eğiten tarayıcı, canlı bir soruyu yanıtlamak için sayfa getiren ajandan ayrıdır. Birini engellemek, hepsinden kaybolmakla aynı şey değildir.

Yapay zeka tarayıcılarına izin vermek Google sıralamama zarar verir mi?

Hayır. GPTBot, ClaudeBot ve PerplexityBot gibi tarayıcılar, klasik Arama'yı hâlâ yürüten Googlebot'tan ayrıdır; dolayısıyla onlara izin vermek geleneksel sıralamanızı değiştirmez. Google-Extended kendi anahtarıdır ve o da sıradan Arama taramasından bağımsızdır. Yapay zeka tarayıcılarına izin vermenin başlıca pratik bedeli biraz ek sunucu trafiğidir ki bu, tipik bir KOBİ sitesi için nadiren sorun olur.

İzin verirsem yapay zeka yanıtlarında kaynak gösterileceğim garanti mi?

Hayır. İzin vermek gerekli bir izindir, bir garanti değil. Kaynak gösterilmeniz, içeriğinizin gerçek alıcı sorularını açıkça yanıtlayıp yanıtlamadığına ve bir motorun güvenmesine yetecek otoriteyi taşıyıp taşımadığına bağlıdır — bu da GEO'nun süregelen işidir. Sonuçlar motora ve soruya göre değiştiği için, akılcı yaklaşım açık kapının işi tek başına bitirdiğini varsaymak değil, gerçek görünürlüğünüzü ölçmektir.