AI hazırlık denetimi: siteniz yapay zekâ motorlarına okunuyor mu?

Perşembe sabahı 09.40. Bir B2B yazılım şirketinin pazarlama müdürü, iki hafta önce yayına aldıkları 42 sayfalık kurulum kılavuzunun karşılığını görmek için asistana kendi kategorisinin en sık sorulan sorusunu yazıyor. Gelen cevap dört cümle; altında üç kaynak var ve hiçbiri onların alan adı değil. Öğleden sonra geliştirici arkadaşından tek satırlık bir yanıt geliyor: robots.txt dosyasına altı ay önce, bir tarama yükü paniği sırasında eklenmiş bir kural GPTBot'u komple kapatmış. Kılavuz iyi yazılmıştı. Motorun onu okuma izni yoktu.

Bu yazı o tek satırın nasıl bulunacağını anlatıyor. Sırayla: bir sitenin çalışıyor olması ile okunuyor olması arasındaki fark, bir AI hazırlık denetiminin taradığı sekiz kategori, robots.txt ve bot izinlerinin doğrulanması, llms.txt'in ne işe yaradığı ve ne olmadığı, JavaScript kapalıyken sayfada kalan içerik, şema işaretlemesinin nerede bittiği, bir paragrafı alıntılanabilir yapan biçim, tazelik ve marka kimliği kriterleri, bulguları iş listesine çevirmenin sırası ve skoru okurken en çok düşülen tuzaklar. Hepsi kontrol edilebilir maddeler; hiçbiri fikir değil.

Site çalışıyor ile site okunuyor arasındaki fark nerede başlar?

Tarayıcınızda açılan bir sayfa üç ayrı kapıdan geçtiği için açılır: sunucu isteğinize izin verir, tarayıcı JavaScript'i çalıştırır ve siz metni gözünüzle tararsınız. Bir dil modelinin veri toplayıcısı bu üç kapının üçünde de sizden farklı davranır. İlk kapıda kimliği User-Agent başlığından okunur ve birçok altyapıda bu kimlik ayrı bir kural setine girer. İkinci kapıda çoğu toplayıcı JavaScript çalıştırmaz ya da sınırlı çalıştırır; sunucudan dönen ham HTML neyse odur. Üçüncü kapıda ise gözün bedavaya topladığı bağlamı toplamaz: sayfanın ortasındaki bir cümlenin neyin cevabı olduğunu, çevresindeki başlıktan ve yapıdan çıkarır.

Bu yüzden bir denetimin ilk sorusu estetik değildir: sayfa istendiğinde hangi HTTP kodu dönüyor, hangi ajan için dönüyor, dönen gövdede kaç kelime var. Site hızlı açılır, tasarım düzgündür, analitikte trafik görünür — ve aynı sayfa bir toplayıcı için 403 döner. Güvenlik duvarınızın bot kuralları, hız sınırlaması, ülke bazlı engelleme ve bot doğrulama ekranları bu kategoriye girer. Ticari sayfalarda tablo daha da sertleşir; yapay zekanın ürün sayfanızı neden atladığı sorusunun cevabı çoğu zaman içeriğin kalitesinde değil, o sayfanın sunucudan nasıl döndüğünde saklıdır.

Bir AI hazırlık denetimi tam olarak neyi tarar?

Denetimi bir izlenim değil bir kontrol listesi olarak kurmak gerekir. Rocketly'nin AI Hazırlık Denetimi sitenizi sekiz kategoride 70 kriterle tarar: taranabilirlik, cevaplanabilirlik, alıntılanabilirlik, marka kimliği, tazelik, yapılandırılmış veri, agent erişimi ve ölçüm. Bu sekiz başlık rastgele seçilmiş değil; bir cümlenin motorun cevabına girebilmesi için sırayla geçmesi gereken aşamaları takip eder. Erişilemeyen sayfa okunamaz, okunamayan paragraf hiçbir soruyu cevaplayamaz, kaynağı belirsiz bir metin de alıntılanmaz.

Kriterlerin durum kümesi de en az kriterlerin kendisi kadar önemli. Her kriter dört durumdan birini alır: karşılanıyor, kısmen, karşılanmıyor ve bakamadık. Dördüncüsü çoğu araçta yoktur ve yokluğu skoru sessizce bozar; çünkü bakılamamış bir maddeyi karşılanmıyor saymak sizi olmayan bir sorunu düzeltmeye yollar, karşılanıyor saymak ise gerçek bir açığı gizler. Bakamadıklarımız skorun paydasından düşer — yani 70 üzerinden değil, gerçekten bakılabilen kriter sayısı üzerinden bir oran görürsünüz ve kaç maddeye bakılamadığı ayrıca yazılır.

Pratikte bir ilk denetim şu dört çıktının karışımıdır: sunucu düzeyinde erişim sorunları, sayfa düzeyinde biçim sorunları, site genelinde eksik dosyalar ve ölçüm tarafında kör noktalar. Bunların ağırlığı da eşit değildir. Erişim sorunları genellikle tekildir ama arkasındaki her şeyi kilitler; biçim sorunları yüzlerce sayfaya yayılır ama şablonda tek noktadan çözülür.

robots.txt hangi botlara ne diyor, bunu nasıl doğrularsınız?

robots.txt bir yetkilendirme katmanı değil, bir beyan dosyasıdır; kurallara uyan toplayıcılar için bağlayıcı, uymayanlar için değil. Buna rağmen denetimin en yüksek getirili maddesi genellikle buradadır, çünkü buradaki hatalar sessizdir: kimse size bir kural yüzünden dışlandığınızı söylemez. Rocketly'nin llms.txt, robots ve şema araçları bu dosyayı ajan ajan okur ve GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended ile CCBot için erişim durumunu tek tek gösterir. Araçlar sitenize yazmaz; çıktı taslaktır ve eksik bir alan varsa boş kutu yerine eksiğin adı gösterilir.

Ajan	Ne yapar	Kapatırsanız ne olur
GPTBot	OpenAI'nin genel tarayıcısı; içerik toplar	Sayfalarınız o havuzun dışında kalır
ChatGPT-User	Kullanıcının isteği üzerine sayfayı anlık getirir	Sohbete bağlantı yapıştırılsa bile okunamaz
ClaudeBot	Anthropic tarafında içerik toplayan tarayıcı	İlgili kaynak havuzunun dışında kalırsınız
PerplexityBot	Cevabına kaynak bağlantısı veren motorun tarayıcısı	Atıf alma ihtimaliniz doğrudan düşer
Google-Extended	Google'ın üretici özelliklerindeki kullanımı ayarlar	Arama sıranızı değil, üretici kullanımı etkiler
CCBot	Common Crawl arşivini besler	Çok sayıda türev veri kümesinin dışında kalırsınız

Bu tablonun her satırı bir politika kararıdır, teknik bir zorunluluk değil. Bazı yayıncılar içeriğini bilinçli olarak eğitim derlemlerinin dışında tutar, bazıları yalnız canlı getirmeye izin verir. Kritik olan kararın bilerek verilmiş olması ve iki farklı amacı karıştırmamak: toplu derleme ile kullanıcı sorusu üzerine anlık getirme ayrı ajanlarla yürür. Verdiğiniz izni kayıt altına almak isterseniz, yapay zeka çağında müşteri verisinin nasıl korunacağı üzerine yazdıklarımız bu belgelendirmenin nasıl görünmesi gerektiğini anlatıyor.

Doğrulama tek bir istekle yapılır: dosyayı ilgili User-Agent başlığıyla çekin, dönen gövdeyi okuyun, sonra aynı ajanla asıl içerik sayfasını isteyip HTTP kodunu ve gövde uzunluğunu not edin. Üç yaygın hata çıkar: joker karakterli bir Disallow satırının fark edilmemesi, robots.txt'in bir yönlendirme zinciri arkasında kalması ve dosyanın 200 yerine 404 dönmesi. Dördüncüsü de aynı sıklıkta: robots.txt izin verir, güvenlik duvarı vermez.

llms.txt gerekli mi, gerekliyse içinde ne olmalı?

llms.txt, sitenizin köküne konan ve makine tarafından kolay okunan bir içindekiler dosyasıdır: kısa bir tanım, ana bölümler ve her bölüm için kanonik bağlantılar. Bir sıralama faktörü değildir, robots.txt'in yerine geçmez ve hiçbir motor onu zorunlu tutmaz. Faydası başka yerdedir: bir modelin sitenizde neyin kanonik olduğunu tahmin etmesi gereken anı ortadan kaldırır. On farklı adreste yaşayan aynı özellik açıklamasından hangisinin geçerli olduğunu siz söylersiniz.

Denetlenebilir maddeler nettir ve fikir içermez. Dosya kök dizinde mi duruyor, istendiğinde 200 mü dönüyor, düz metin olarak mı sunuluyor, içindeki bağlantıların hepsi 200 mü dönüyor, listelenen sayfaların başlıkları dosyadaki adlarla örtüşüyor mu ve dosya en son ne zaman güncellendi. Bu altı maddeyi geçemeyen bir llms.txt varlığının kendisiyle bir şey kazandırmaz. Aynı şekilde, sitenizde artık olmayan bir sayfayı listelemek ya da kapatılmış bir bölümü listede bırakmak dosyayı güven kaybına çevirir.

İçerik tarafında kazandıran şey kısalıktır. Yirmi kalemlik, her biri gerçekten ayrı bir konuyu temsil eden bir liste, yüz kalemlik bir site haritası kopyasından daha işe yarar. Amaç sitenin tamamını anlatmak değil, en çok soruyu karşılayan sayfaları işaretlemektir.

Sayfanız JavaScript olmadan ne kadarını gösteriyor?

Render edilebilirlik testi basittir: sayfayı ham olarak çekin ve dönen HTML içindeki görünür metni sayın. Tarayıcıda 1.200 kelime görüyor ama ham gövdede 90 kelime buluyorsanız, cevap üretimi açısından sayfanız 90 kelimelik bir sayfadır. Tek sayfalık uygulama mimarileri, istemci tarafında çekilen ürün açıklamaları, sekme ve akordeon arkasına yerleştirilmiş metinler ve sonsuz kaydırmayla yüklenen listeler bu farkın en yaygın sebepleridir.

Çözüm her zaman mimariyi değiştirmek değildir. Çoğu durumda kritik rotalar için sunucu tarafında ön işleme, ana metnin ilk HTML yanıtına gömülmesi ya da akordeon içeriğinin görsel olarak gizli ama işaretlemede mevcut bırakılması yeter. Kontrol edilecek ikinci nokta metnin görsel içinde olup olmadığıdır: özellik tablosunu ekran görüntüsü olarak koyan bir sayfa, o tablonun içindeki hiçbir sayıyı metin olarak sunmaz. Görsellerin nasıl okunduğu ayrı bir konu; multimodal aramada görsellerin nasıl değerlendirildiği üzerine yazdıklarımız alt metin ve dosya adı tarafındaki kriterleri ayrıntılandırıyor.

Üçüncü kontrol yönlendirmelerdir. Dil seçimi, bölge tespiti veya çerez onayına bağlı yönlendirmeler, insan ziyaretçide sorunsuz çalışıp toplayıcıyı boş bir ara sayfada bırakabilir. Kanonik etiketin kendisiyle çelişmesi de aynı kategoriye girer: A sayfası B'yi kanonik gösterirken B'nin A'yı göstermesi, motorun hangi adresi hafızaya alacağını belirsiz bırakır.

Şema işaretlemesi nerede işe yarar, nerede gürültüye döner?

Yapılandırılmış veri, sayfadaki bilgiyi makine için açıkça etiketler; tahmini ortadan kaldırdığı ölçüde işe yarar. Denetimde bakılan çekirdek tipler sınırlıdır: kuruluşu tanımlayan Organization, ürün sayfalarında Product, soru-cevap bloklarında FAQPage, yazılarda Article ve gezinme için BreadcrumbList. Önce varlığı, sonra geçerliliği, en sonunda da sayfadaki görünür içerikle örtüşmesi kontrol edilir.

En sık hata bu üçüncü maddede yapılır. Sayfada olmayan bir soru-cevap bloğunu işaretlemek, görünmeyen bir puanı derecelendirme olarak vermek ya da tek bir şablonda tüm sayfalara aynı Organization bloğunu basıp alan adını güncellemeyi unutmak kazanç değil risk üretir. İkinci sık hata eksikliktir: Organization bloğunda ad, alan adı, logo ve resmi profil bağlantılarının bulunmaması, marka kimliği kategorisinin en çok puan kaybettiği noktadır. Soru-cevap bloklarını ciddiye alanlar için soru-cevap içeriğinin neden alıntılandığı konusunu ayrı bir yazıda açmıştık.

Bir paragrafı alıntılanabilir yapan şey nedir?

Cevaplanabilirlik ve alıntılanabilirlik ayrı iki kategoridir. Birincisi sayfanın bir soruyu karşılayıp karşılamadığını, ikincisi karşılanan cevabın taşınabilir olup olmadığını sorar. Taşınabilir bir paragraf kendi başına anlamlıdır: öznesi açık, terimleri tanımlı, sayıları birimli ve bağlamı kendi içindedir. Yukarıda belirttiğimiz gibi diye başlayan bir cümle sayfadan koparıldığında anlamını kaybeder; tam da bu yüzden koparılmaz.

Denetimde bakılan somut maddeler şunlar: başlık gerçekten bir soru mu yoksa pazarlama sloganı mı, cevap başlığın hemen altındaki ilk iki cümlede mi veriliyor, tanımlar ilk geçtikleri yerde açıklanıyor mu, karşılaştırmalar tablo halinde mi sunuluyor ve sayfa kendi sınırlarını yazıyor mu — tarih, sürüm, kapsam. Karşılaştırma sorularında bu biçim farkı doğrudan sonuca yansıyor; X mi Y mi tipindeki sorgularda yanıtın içinde yer almak için gereken yapıyı ayrıca ele almıştık.

Bir de kaynak gösterilebilirlik boyutu var: motor sizi anabilir ama alan adınızı vermeyebilir. Rocketly'nin GEO tarafı bu ikisini ayrı ölçer — anılma ile kaynak gösterilme tek sayıya karıştırılmaz — çünkü adı geçen ama kimsenin sitesine gitmediği bir markayı başarılı göstermek ölçümü bozar. Hangi sinyallerin atıfı getirdiğini merak edenler için yapay zekanın hangi markayı kaynak gösterdiği sorusunu güven ve otorite sinyalleri üzerinden incelediğimiz yazı iyi bir devam noktası.

Tazelik ve marka kimliği kriterleri neyi kontrol eder?

Tazelik kategorisi tarih etiketi koymakla değil, tarihin doğru olmasıyla ilgilidir. Denetim şu çelişkilere bakar: yayın ve güncelleme tarihleri işaretlemede var mı, görünür metindeki tarihle işaretlemedeki tarih aynı mı, güncellendi denen sayfada gerçekten değişen bir şey var mı ve içeride geçen sürüm, fiyat politikası, mevzuat atfı gibi zamana bağlı ifadeler hala geçerli mi. Sırf güncel görünmek için tarihi ileri almak kısa vadede bile işe yaramaz; çelişkili tarih, tarihsiz sayfadan daha kötü bir sinyaldir.

Marka kimliği tarafında soru daha basit: bir model sizin kim olduğunuzu sitenizden öğrenebiliyor mu, öğrendiğini başka yerde doğrulayabiliyor mu. Hakkında sayfasının varlığı, tutarlı yazılmış marka adı, kuruluş bilgisi, iletişim ve yazar sayfaları bu kategorinin görünür kısmıdır. Görünmeyen kısmı ise sitenizin dışındadır: harici kaynaklarda markanızın nasıl tanımlandığı. Wikipedia ve Wikidata gibi yapılandırılmış kaynakların marka bilgisini nasıl beslediği bu yüzden teknik denetimin devamı sayılır, ayrı bir pazarlama konusu değil.

Üçüncü taraf kaynaklar da aynı çerçevededir. Kaynak istihbaratı ekranı, motorun cevabını besleyen alan adlarını sahiplik (siz, rakip, üçüncü taraf, kullanıcı üretimi) ve tür (yorum platformu, pazaryeri, dizin, forum, video, haber) etiketiyle listeler; tanımadığı bir alan adına tür uydurmak yerine belirlenemedi yazar. Forum ve topluluk içeriğinin bu listelerde neden bu kadar sık göründüğünü forumların neden kaynak gösterildiği yazısında tartışmıştık.

İçeriğin nasıl üretildiği de tazelik kriterlerine dolaylı girer. Toplu üretilmiş, birbirinin varyantı yüzlerce sayfa hem tarama bütçenizi hem de kanonik netliğinizi aşındırır; yapay zeka ile üretilen içeriğe arama motorlarının yaklaşımı konusunda yazdıklarımız bu dengeyi kurarken işe yarıyor.

Denetim bulgusunu iş listesine nasıl çevirirsiniz?

Denetimin çıkardığı 70 maddelik tablo, olduğu gibi bir yapılacaklar listesi değildir. Maddeler arasında bağımlılık vardır ve yanlış sırada yapılan iş boşa gider. Rocketly'de denetim bulguları, atıf açıkları ve talep fırsatları tek aksiyon planında toplanır; sıra puana değil bağımlılığa göre kurulur. İlkesi açık: botlar sitenizi okuyamıyorken yeni içerik yazmak boşa emektir.

Pratik sıra genellikle şudur. Önce erişim: robots kuralları, güvenlik duvarı istisnaları, 200 dönen kök dosyalar. Sonra render: kritik metnin ham HTML'de bulunması. Ardından yapı: şema tipleri, kanonik etiketler, başlık hiyerarşisi. Sonra biçim: soru başlıkları, ilk iki cümlede cevap, karşılaştırma tabloları. En son içerik üretimi: gerçekten eksik olan konu sayfaları. Bu sıra tersine çevrildiğinde, iyi yazılmış yeni sayfalar okunamayan bir sitede birikir.

İkinci pratik kural, aynı kök sebebi tek kalemde toplamaktır. Sekiz ayrı soruda aynı rakip önünüzdeyse bu sekiz kart değil tek kalemdir; aynı şablondan gelen dört yüz sayfalık bir biçim hatası da dört yüz iş değil bir iştir. Aksi halde liste şişer ama site ilerlemez.

Denetim skorunu okurken hangi tuzaklara düşülür?

İlk tuzak skoru görünürlük sanmaktır. Yüksek bir hazırlık skoru sitenizin okunabilir olduğunu söyler, cevaplarda anıldığınızı söylemez. İkisi ayrı şeyleri ölçer: hazırlık denetimi sitenizin durumuna, GEO ölçümü ise motorun ürettiği cevaba bakar. Hazırlığı tamamlamak görünürlüğün ön koşuludur, garantisi değil.

İkinci tuzak eksik veriyi sıfır saymaktır. Bir gün ölçüm gelmediyse o günün değeri sıfır değil, yoktur. Bu ayrımı ekranda görmek önemli: grafik o noktada kopar ve oran tire gösterir, yüzde sıfır değil; kaç günün ölçülemediği ayrıca yazılır. Aynı mantık denetim tarafında da geçerlidir, bakamadık durumu tam bunun için vardır.

Üçüncü tuzak tek ölçümden trend çıkarmaktır. Üretici motorlar aynı soruya iki koşumda farklı cümleler yazabilir; iki nokta arasındaki oynama değişim değildir. Değişim izleme ekranı neyin değiştiğini söyler, niçin değiştiğini iddia etmez. Dördüncü tuzak ise ölçüm kategorisini boş bırakmaktır: sitenize yapay zeka asistanlarından gelen ziyaretleri ayrı bir kanal olarak işaretlemediyseniz, denetim işini iş sonucuna bağlayamazsınız. Bu trafiğin neden farklı davrandığını yapay zeka aramasından gelen ziyaretçinin dönüşüm davranışı üzerinden anlatmıştık.

Denetimi tek seferlik bir iş olarak kurmayın; şablon değişiklikleri, yeni sayfa tipleri ve altyapı güncellemeleri kapalı kapıları sessizce geri getirir. Kendi sitenizin hazırlık durumunu 70 kriterin tamamıyla görmek isterseniz ücretsiz hesap açıp denetimi çalıştırabilirsiniz.

Sıkça sorulan sorular

llms.txt olmadan yapay zeka motorları sitemi okuyamaz mı?

Okuyabilir. llms.txt bir erişim izni değil, bir yol haritasıdır; yokluğu sitenizi kapatmaz. Erişimi belirleyen şey robots.txt kuralları, sunucu yanıtları ve güvenlik duvarı politikalarıdır. llms.txt'i önce erişim ve render maddelerini kapattıktan sonra ekleyin, önce değil.

robots.txt'te tüm AI botlarını kapatmak zarar verir mi?

Neyi koruduğunuza bağlı. İçeriğini lisanslamak isteyen bir yayıncı için toplu derleyicileri kapatmak tutarlı bir tercihtir. Ama kullanıcının sorusu üzerine sayfa getiren ajanları da kapatırsanız, cevaplarda kaynak gösterilme ihtimalinizi kendi elinizle düşürürsünüz. İki amacı ayrı değerlendirin.

Denetim skorum yükseldi ama cevaplarda hala görünmüyorum, neden?

Çünkü hazırlık skoru ile görünürlük ayrı ölçümlerdir. Hazırlık, sayfalarınızın okunabilir ve alıntılanabilir olup olmadığını söyler. Cevapta yer almak ayrıca konu otoritesi, site dışında ne sıklıkta anıldığınız ve sorunun rekabet düzeyiyle ilgilidir. İkisini ayrı ekranlarda takip edin.

Denetimi ne sıklıkta tekrarlamalı?

Şablon veya altyapı değişikliğinden sonra mutlaka, diğer zamanlarda ayda bir yeterli olur. Kritik olan sıklık değil kıyaslanabilirlik: aynı kriter kümesiyle ölçerseniz iki tarih arasındaki farkı okuyabilirsiniz. Bir de her yayın sonrası kök dosyaların hala 200 döndüğünü kontrol etmeyi alışkanlık haline getirin.