GEO deneyleri: bir içerik değişikliğinin AI görünürlüğünü artırdığını kanıtlamak

Bir ekip karşılaştırma sayfasını baştan yazıyor ve üç hafta sonra markası, o sayfanın cevapladığı sorularda daha fazla yapay zeka cevabında görünmeye başlıyor. Akla ilk gelen sonuç yeniden yazımın işe yaradığıdır; oysa aynı haftalar bir model güncellemesi, bir rakibin ürün lansmanı, mevsimsel bir talep kayması ve bir dizin yenilemesi de barındırmış olabilir ve bunların her biri aynı grafiği çizebilir. GEO deneyi, yapay zeka görünürlüğündeki bir değişimin ne kadarının belirli bir müdahaleye, ne kadarının zaten olacak olana ait olduğunu tahmin etmek için önceden planlanmış bir karşılaştırmadır. Gözlenemeyen bu "zaten olacak olan" duruma karşı olgu (counterfactual) denir ve aşağıda ele alınan her tasarım, karşı olguya farklı bir yoldan yaklaşma çabasıdır.

Bu yüzden başlıktaki "kanıtlamak" fiilinin baştan kesin bir anlamı olmalı. Üretken motor optimizasyonunda (GEO), açılış sayfalarından bildiğimiz rastgele kullanıcı bölmesi nadiren mümkündür; dolayısıyla kesinlik sunulamaz. Ulaşılabilecek olan, çıplak bir ilişkiden tekrarlanmış ve kontrollü bir etkiye uzanan kademeli bir kanıt düzeyidir ve dürüst bir rapor hangi düzeye ulaştığını açıkça söyler. İki versiyonu karşılaştırmanın istatistiği A/B testi nedir yazısında, tek bir yapay zeka cevabının neden güvenilmez bir ölçüm olduğu ise yapay zeka cevapları neden her seferinde değişir yazısında anlatıldı; burada ikisi de bilindiği varsayılıyor.

Doğrudan gözleyemediğiniz bir etkiyi kanıtlamak ne demektir?

Potansiyel sonuçlar çerçevesinde bir değişikliğin bir sorunun anılma oranı üzerindeki etkisi, değişiklikten sonra gözlenen oran ile aynı sorunun aynı dönemde değişiklik yapılmasaydı göstereceği oran arasındaki farktır. Bu ikisinden yalnızca biri gözlenebilir; bu yüzden her nedensel iddia eksik olanın yerine konan bir vekile, örneğin aynı soruların değişiklikten önceki haline ya da değişiklikten etkilenmeyen başka sorulara dayanır ve tam olarak o vekil kadar inandırıcıdır. İlişki, görünürlüğün ve değişikliğin zaman içinde birlikte hareket ettiğini söyler; nedensellik ise görünürlüğün değişiklik yüzünden hareket ettiğini. Aradaki mesafeyi daha iddialı cümleler değil, yalnızca tasarım kapatır.

Bu çerçeve sonuç metriğini de disipline eder. Bir deneyin önceden seçilmiş tek bir birincil metriğe ihtiyacı vardır; bu genellikle tanımlı bir soru kümesi, motor, pazar ve dil için anılma oranı ya da kaynak gösterilme oranıdır. Anılma ile kaynak gösterilme arasındaki fark yazısında açıkladığımız gibi bu iki metrik farklı çalışmalara tepki verir ve veriyi gördükten sonra aralarında seçim yapmak, testi işinize gelen bir sayının aranmasına dönüştürür.

Basit bir önce-sonra karşılaştırması neden bu kadar zayıftır?

Önce-sonra karşılaştırması, müdahale edilen soruların kendi geçmişini karşı olgu olarak kullanır ve bunu yaparken ilgili başka hiçbir şeyin değişmediğini varsayar. GEO'da bu varsayım, adı konabilen nedenlerle sıkça çöker. Motorlar model değiştirir: Google 27 Ocak 2026'da Gemini 3'ün dünya genelinde AI Overviews'un varsayılan modeli olduğunu duyurdu, dolayısıyla bu tarihi kesen bir seri aslında iki farklı sistemi karşılaştırır. Rakipler yayın yapar, alıcı soruları mevsimlere göre değişir, dizin de kendi takviminde yenilenir; Google taramanın birkaç günden birkaç haftaya kadar sürebileceğini belirttiği için motorun değişikliğinizi ilk gördüğü an bile belirsizdir. Motorların kaynak gösterdiği üçüncü taraf sayfalar da, yani kaynak boşluğu analizinin konusu olan sayfalar, sizin hiçbir şey yapmanıza gerek kalmadan ağırlık kazanabilir ya da kaybedebilir.

Daha sinsi bir karıştırıcı etken de ortalamaya dönüş (regression to the mean) olgusudur. Sayfalar genellikle görünürlükleri olağandışı düşük olduğu için içerik tazelemeye seçilir; uç olduğu için seçilmiş bir ölçümü ise hiçbir şey yapılmasa bile ortalamaya daha yakın bir ölçüm izleme eğilimindedir. Barnett, van der Pols ve Dobson, International Journal of Epidemiology dergisinde (2005), bu etkinin doğal değişkenliği gerçek bir değişim gibi gösterdiğini ve bunun özellikle yalnızca başlangıç değerine göre seçilmiş bir alt grup izlendiğinde belirginleştiğini anlatır. Dolayısıyla önce-sonra artışı tek başına bir ilişki kanıtıdır, fazlası değil.

SEO bölme testleri nedenselliği nasıl kurar ve bu mantık neden ancak kısmen aktarılabilir?

SEO testleri benzer bir sorunla sayfa düzeyinde deneylerle başa çıktı. SearchPilot'un yöntemini anlatışına göre arama motoru tarayıcısı fiilen tek bir "kullanıcı" olduğundan test ziyaretçileri değil, aynı şablona dayanan sayfaları; trafik düzeyi, değişkenlik ve mevsimsellik açısından istatistiksel olarak benzer kontrol ve varyant gruplarına ayırır. Değişiklik yalnızca varyant sayfalarda yayına alınır ve gruplar arasındaki test öncesi ilişkiyi kontrol grubunun canlı performansıyla birleştiren bir model, varyantların değişiklik olmasaydı ne yapacağını öngörür. İki grup aynı anda çalıştığı için bir algoritma güncellemesi ya da mevsimsel dalgalanma ikisini eşit biçimde etkiler. SearchPilot bu testlerin genellikle tek şablonda en az yüzlerce sayfa gerektirdiğini ve anlamlılığa ulaşmalarının çoğunlukla iki ila dört hafta sürdüğünü bildirir. Google'ın web sitesi testleri rehberi de temel hijyen kurallarını ekler: Googlebot'a insanlardan farklı URL'ler göstermeyin, varyant URL'lerde noindex yerine rel="canonical" tercih edin ve kalıcı 301 yerine geçici 302 yönlendirmesi kullanın.

Mantık aktarılabilir, ama koşulların çoğu aktarılamaz. GEO'da sonuç bir sayfanın trafiği değil, bir sorunun cevabıdır ve eşleşme çoktan çoğadır: tek bir cevap sizin birkaç sayfanızdan ve üçüncü taraf sayfalardan beslenebilir, tek bir sayfa da birçok soruyu etkileyebilir. Nedensel çıkarım bu duruma birimler arası etkileşim (interference) der. Etkileşim, Rubin'in stable unit treatment value assumption (SUTVA, kararlı birim müdahale değeri varsayımı) adını verdiği varsayımın, bir birimin sonuçlarının diğer birimlere uygulanan müdahalelere bağlı olmamasını şart koşan bileşenini ihlal eder. Üstelik bir markanın soru kümesi genellikle bu testlerin gerektirdiği sayfa kümelerinden çok daha küçüktür ve sonucu eksiksiz trafik kayıtlarından sayılmak yerine tekrarlanan koşumlarla örneklenir. Rastgele sayfa bölmesi bu nedenle yalnızca soruları temiz biçimde ayrışan, çok sayıda neredeyse özdeş şablon sayfaya sahip siteler için gerçekçidir ve o durumda bile sonuç yalnızca ölçülen motor, pazar ve dönem için geçerlidir.

Kontrol soruları ne kazandırır?

Sayfaları rastgele bölemeyen ekipler için en uygulanabilir iyileştirme bir kontrol soruları kümesidir: niyet, dil ve pazar açısından müdahale edilen sorulara benzeyen, ancak değişen içerikle ilgisi olmayan sorular. Karşılaştırma bu durumda farkların farkı (difference-in-differences) mantığını izler; bu yarı deneysel tasarım, müdahale grubundaki zaman içi değişimi müdahale edilmeyen bir gruptaki değişimle karşılaştırır. Bir örnek senaryo düşünelim: aynı haftalarda müdahale edilen sorularda anılma oranı yüzde 30'dan 50'ye, kontrol sorularında ise yüzde 32'den 42'ye çıkıyor. Ham fark 20 puandır; farkların farkı tahmini ise 10 puandır, çünkü artışın yarısı hiçbir şeyin değiştirilmediği yerde de gerçekleşmiştir.

Tahmin ancak varsayımları kadar iyidir. Columbia Üniversitesi'nin halk sağlığı yöntemleri rehberinin ortaya koyduğu gibi tasarım paralel eğilimler varsayımını, yani müdahale olmasaydı gruplar arasındaki farkın sabit kalacağını gerektirir; buna yayılma etkisinin olmaması ve grupların başlangıçtaki sonuca göre belirlenmemesi eklenir. GEO diliyle: grupların gerçekten birlikte hareket ettiğini görmek için öncesine ait birkaç haftayı grafiğe dökün; değişen sayfanın etkilemesi olası olmayan kontrol soruları seçin, çünkü güçlenen bir sayfa komşu soruları da yukarı çekebilir; ve iki grubu da değişiklikten önce sabitleyin. Fark da örnekleme belirsizliği taşıdığından tek bir sayı olarak değil, güven aralığıyla birlikte raporlanmalıdır.

Kademeli yayılım daha iyi sonuç verebilir mi?

Bir değişiklik birbiriyle karşılaştırılabilir birkaç sayfa grubuna uygulanabiliyorsa, onu kademeli olarak yaymak çoğu zaman her şeyi aynı anda değiştirmekten daha öğreticidir. A grubu birinci haftada, B grubu beşinci haftada değişirse tasarım şunu öngörür: A'nın soruları birinci haftadan sonra hareket eder, B'ninkiler yerinde kalır; B'nin soruları da beşinci haftadan sonra hareket eder. Her seferinde kendi yayılımının ardından ortaya çıkan bir etki, iki grubu aynı tarihte etkileyecek olan bir model güncellemesine ya da mevsime çok daha zor yüklenir. Karşı olguyu aynı dönemde gözlenen ve müdahale görmemiş serilerden tahmin etme fikri ise sentetik kontrol yöntemlerinin temelidir: Brodersen ve Google'daki çalışma arkadaşlarının 2015'te Annals of Applied Statistics dergisinde yayımladığı Bayesçi yapısal zaman serisi yaklaşımı CausalImpact, böyle bir sentetik kontrolü müdahaleden etkilenmemiş ilişkili serilerden kurar.

Tasarım	Neyi destekleyebilir	Gereksinimler	Tipik tuzak
Tek önce-sonra karşılaştırması	Zaman içinde ilişki	Birkaç haftalık istikrarlı başlangıç verisi	Aynı pencerede model güncellemesi, mevsim ya da dizin yenilemesi
Kesintili zaman serisi	Değişiklik tarihinde düzey ya da eğilim kırılması	İki tarafta da çok sayıda haftalık nokta; tarihli olay kaydı	Aynı ya da yakın tarihte başka bir olay
Kontrol soruları (farkların farkı)	Kontrollerle paylaşılan şokların ötesinde bir etki	Paralel ön eğilimler; yayılma olmaması; grupların önceden sabitlenmesi	Kontrollerin aynı sayfa ya da alan adından etkilenmesi
Kademeli yayılım	Her yayılımın ardından tekrarlanan bir etki	Birkaç karşılaştırılabilir sayfa grubu; dalgalar arasında yeterli süre	Çok az grup ya da birbirine çok yakın dalgalar
Rastgele sayfa bölmesi	O motor, pazar ve dönem için nedensel bir tahmin	Yüzlerce şablon sayfa; ayrışan sorular; yeterli koşum	Sayfalar ve cevaplar arası etkileşim; düşük istatistiksel güç
Bir sorunun ifade varyantları	Aynı sorunun farklı ifadeleri arasındaki farklar	Aynı motor ve pencere; varyant başına yeterli koşum	İçeriğin etkisi gibi okunması; bunu ölçmez

Değişiklik yayına girmeden önce neler yazıya geçirilmeli?

Ön kayıt, hipotezin ve analiz planının sonuç gözlenmeden önce belirlenmesidir. Nosek ve arkadaşları PNAS'ta (2018), ön kaydın gerçek öngörüleri sonradan yapılan açıklamalardan, yani veriyi gördükten sonra kurulan ve geriye dönük bakış yanlılığı yüzünden test edilmiş sonuçlarla kolayca karıştırılan yorumlardan ayırdığını savundu. Bir GEO ön kaydı tek sayfalık bir not olabilir: değişiklik ve hangi mekanizmayla işe yaraması beklendiği; müdahale ve kontrol soruları; motor, pazar ve dil; birincil metrik; yeniden tarama için bir gecikme payı da içeren önce ve sonra pencereleri; harekete geçmeye değer en küçük etki ve karar kuralı. Kullanılabilir bir hipotezin yapısını analizlerden A/B testi hipotezi üretmek yazısında tartıştık; aynı yapı burada kreatiflerin yerine sorular konarak uygulanabilir.

Bir GEO sonucu, ancak hipotez, karşılaştırma grubu ve başarı metriği sayılara bakılmadan önce sabitlendiyse kanıt sayılır.

Bir GEO deneyi ne kadar sürmeli?

Süre üç kısıttan doğar. Öncesi dönem, iki grubun zaten içinde bulunduğu eğilimi gösterecek kadar haftalık nokta içermeli; sonrası dönemden ise motorun yeni içeriği görmesi için gereken gecikme penceresi çıkarılmalıdır. Her dönemde de önemsediğiniz etkiyi yakalayacak kadar ölçülmüş cevap bulunmalıdır: standart iki oran formülüne göre yüzde 80 güç ve iki yönlü yüzde 5 eşikte, yüzde 40'tan 60'a bir artışı saptamak dönem başına yaklaşık 97, yüzde 40'tan 50'ye bir artışı saptamak ise yaklaşık 388 ölçülmüş cevap gerektirir. Haftada bir ölçülen 25 müdahale sorusuyla büyük etki, değişikliğin her iki yanında kabaca dörder hafta, küçük etki ise yaklaşık on altışar hafta ister. Bu rakamlar müdahale sorularının basit bir önce-sonra karşılaştırması içindir; farkların farkı tahmini kontrol grubunun örnekleme gürültüsünü de taşıdığından her grupta kabaca iki kat cevap gerektirir. Aynı sorunun koşumları arasındaki korelasyon da bütün bu rakamları daha da yükseltir.

Süreyi bir kez belirledikten sonra ona sadık kalın. Johari, Pekelis ve Walsh, bir testi sürekli izleyip anlamlı görünür görünmez durduran kişiler için alışılmış p değerlerinin ve güven aralıklarının güvenilmez hale geldiğini gösterdi; Sielinski'nin yapay zeka görünürlüğü ölçümü üzerine 2026 tarihli ön baskısı da örneklem büyüklüğünün önceden sabitlenmesini öneriyor. Test sürerken verilere bakmak kabul edilebilir; gördüğünüz şey yüzünden bitiş tarihini değiştirmek ise kabul edilemez.

Değişen diğer her şeyin kaydını nasıl tutarsınız?

Bir deney ancak sonucunu açıklayabilecek diğer olayların tarihli bir kaydı karşısında yorumlanabilir: kendi içerik, halkla ilişkiler, ürün ve kampanya değişiklikleriniz, rakip lansmanları ve motor güncellemeleri. Örneğin Google, bir temel güncellemenin (core update) etkisini analiz etmeden önce güncellemenin tamamlanmasının ardından en az bir tam hafta beklenmesini öneriyor; bir cevap motoru deneyin ortasında model değiştirdiğinde de aynı ihtiyat geçerlidir. Böyle bir kayıt varsa çakışan bir olay gizli kalmaz, belgelenmiş bir sınırlılığa dönüşür. Başlangıç serisinin de değişiklikten önce var olması gerekir ve bu, yapay zeka görünürlüğünü ölçmeye neden bugün başlamalısınız yazısında savunduğumuz gibi erken başlamak için bir neden daha demektir.

Rocketly'nin GEO Görünürlüğü modülü bu gözlemsel disiplini destekler ve sınırlarını açıkça etiketler. Notlar bölümü içerik, halkla ilişkiler, ürün ya da kampanya değişikliklerini kaydeder; Gözlemsel karşılaştırma paneli bir notun öncesindeki ve sonrasındaki anılma metriklerini 3 ile 28 gün arasındaki bir pencerede gösterir ve sonucu neden-sonuç değil ilişki olarak etiketler; Soru varyantları ise bir sorunun alternatif ifadesini ayrı izleyip oranları aynı motorda 30 günlük bir pencerede karşılaştırır ve ürünün kendisi bunun nedensel bir deney olmadığını belirtir. Rocketly'de A/B testi ya da dışarıda tutulan grup (holdout) özelliği yoktur; kontrol grupları, kademeli yayılımlar ve nedensellik hükmü sizin tasarımınızın parçası olarak kalır.

Sonunda neyi, hangi cümlelerle iddia edebilirsiniz?

İddia tasarıma uygun olmalıdır. Önce-sonra artışı "bu sorulardaki görünürlük değişiklikten sonra arttı" cümlesini destekler. Güven aralığı sıfırı dışarıda bırakan ve öncesi eğilimleri makul ölçüde paralel olan bir farkların farkı tahmini, "artış, müdahale görmemiş benzer sorularda görülenin üzerine çıktı; bu da değişikliğin bir etkisiyle tutarlıdır" cümlesini destekler. Ancak kademeli yayılımlarda tekrarlanan bir etki ya da rastgele bir sayfa bölmesi, "değişiklik bu motorda, bu pazarda, bu dönemde tahminen şu kadar puanlık bir artışa yol açtı" cümlesini taşıyabilir. Bunların hiçbiri başka motorlar, diller ya da gelecekteki model sürümleri hakkında iddiaya izin vermez; etki bulunamayan bir sonuç da "değişikliğin hiçbir etkisi yok" diye değil, "bu örneklemle saptanabilecek büyüklükte bir etki görülmedi" diye raporlanmalıdır.

Bu şekilde raporlanan sonuçlar deneyler arasında karşılaştırılabilir kalır ve GEO ölçüm panosu ve KPI'lar ile yapay zeka aramasında ses payı yazılarında anlatılan görünümleri besleyebilir. Bu disiplini ölçülmüş veriler üzerinde uygulamak isterseniz bir Rocketly hesabı açıp Rocketly GEO Suite'i deneyebilirsiniz; ayrı bir eklenti olan paket, Google AI Overview'u standart olarak haftalık ölçer, ChatGPT ve Perplexity ölçümünü kontrollü açılışla sunar ve önce-sonra ile varyant karşılaştırmalarını nedensel değil gözlemsel olarak etiketler.

Sıkça sorulan sorular

Yapay zeka cevapları üzerinde gerçek bir A/B testi yapabilir miyim?

Kullanıcı bölmesi anlamında hayır; çünkü bir sayfanın farklı versiyonlarını motorun farklı "kullanıcılarına" gösteremezsiniz ve Googlebot'a insanların gördüğünden farklı bir URL kümesi göstermek, Google'ın test rehberine göre gizleme (cloaking) sayılır. Rastgele sayfa bölmesi ancak çok sayıda karşılaştırılabilir şablon sayfa ve birbirinden ayrışan sorular varsa mümkündür. Bu yüzden çoğu ekip için gerçekçi seçenekler kontrol soruları ve kademeli yayılımdır.

Kaç kontrol sorusuna ihtiyacım var?

Kabaca müdahale edilen soru sayısı kadar; bu sorular niyet, dil ve pazar açısından eşleştirilmiş olmalıdır, çünkü bir farkın kesinliğini daha gürültülü olan tarafı sınırlar. Çok az kontrol sorusu kontrol oranının kendisini kararsız kılar ve tahmin bu kararsızlığı devralır.

Etki yalnızca tek bir motorda görülürse ne olur?

Etkiyi yalnızca o motor için raporlayın. Motorlar model, bilgi getirme ve arayüz açısından farklıdır; bu yüzden birinde görülen etki meşru bir bulgudur, ama kendiliğinden genellenemez. Diğer motorlar sonraki bir test için ayrı hipotezler olarak ele alınmalıdır.