Yapay zeka cevapları neden her seferinde değişir? Oynak sonuçlarda görünürlüğü doğru ölçmek

Aynı satın alma sorusunu üretken bir yapay zeka motoruna iki kez sorduğunuzda iki farklı kısa liste alabilirsiniz: sabah anılan bir marka öğleden sonra listeden düşer, bir kaynak yer değiştirir, sıralama karışır. Yapay zeka görünürlüğünü ölçmekten sorumlu olan herkes için bu, ilginç bir ayrıntı değil temel bir yöntem sorunudur; çünkü tek bir ekran görüntüsü, motorun markanıza bakışındaki gerçek bir değişimi ölçüm aracının olağan rastlantısallığından ayıramaz. Cevap oynaklığı, görünüşte aynı koşullarda aynı soruya verilen cevaplarda motorun söylediği, andığı ve kaynak gösterdiği şeylerin bir koşumdan diğerine değişmesidir. Bu oynaklık kabul edildiği anda görünürlük tek bir cevabın özelliği olmaktan çıkar ve tekrarlanan, birbiriyle karşılaştırılabilir koşumlardan tahmin edilen bir orana dönüşür.

Aşağıdaki bölümler önce bu değişkenliğin belgelenmiş kaynaklarını birbirinden ayırıyor, ardından ampirik çalışmaların neyi ölçtüğünü inceliyor ve son olarak oranın tanımını, örneklem büyüklüğünü, Wilson aralığının okunuşunu ve gürültüyü gerçek değişimden ayırmanın yolunu ortaya koyuyor. Soru ve rakip seçimi yapay zeka görünürlüğünü ölçmeye neden bugün başlamalısınız yazısında, metrik seçimi ise GEO ölçüm panosu ve görünürlük KPI'ları yazısında ele alındı. Burada sorulan soru ikisinden de önce gelir: ölçüm aracının kendisi gürültülüyken bu sayılardan herhangi birine ne ölçüde güvenilebilir?

Aynı soru neden farklı bir cevap üretir?

Bir dil modeli cevabını tek hamlede değil, belirteç (token) belirteç yazar: her adımda olası sonraki belirteçler üzerinde bir olasılık dağılımı hesaplar ve bunlardan birini seçer. Bu seçimin kuralına kod çözme (decoding) denir. OpenAI'nin API başvuru belgesi sıcaklık (temperature) parametresini örnekleme sıcaklığı olarak tanımlar; 0,8 gibi yüksek değerler çıktıyı daha rastgele, 0,2 gibi düşük değerler ise daha odaklı ve deterministik hale getirir. Cevabın başında seçilen farklı bir belirteç kendisinden sonraki her şeyi değiştirdiği için iki koşum daha ilk cümleden itibaren ayrışabilir; bununla birlikte cevabın andığı markaların listesi de değişebilir.

Sıcaklığı düşürmek sorunu ortadan kaldırmaz. OpenAI, Chat Completions çıktılarının varsayılan olarak deterministik olmadığını ve seed parametresi kullanılsa bile determinizmin garanti edilmediğini belirtir. Horace He ve Thinking Machines Lab'deki çalışma arkadaşları, Eylül 2025'te açık ağırlıklı bir Qwen3 modelinden aynı soruya sıfır sıcaklıkta alınan 1.000 cevap arasında 80 farklı metin çıktığını raporladı ve bu ayrışmanın temel nedenini, sonuçları toplu işlem (batch) büyüklüğüne, dolayısıyla sunucu yüküne bağlı olan çıkarım çekirdeklerinde (kernel) buldu. Üstelik ChatGPT ya da Google AI Overviews gibi tüketici arayüzlerinde bu ayarları ölçüm yapan kişi değil, hizmet sağlayıcı belirler.

Bilgi getirme adımı ikinci bir değişkenlik katmanını nasıl ekler?

ChatGPT araması ve Google'ın yapay zeka özellikleri gibi kaynak göstererek cevap veren motorlar, cevaplamadan önce web sonuçlarını getirir ve bu bilgi getirme (retrieval) adımı da kendi içinde değişkendir. OpenAI Yardım Merkezi, ChatGPT aramasının kullanıcının sorusunu çoğu zaman bir veya daha fazla hedefli sorguya dönüştürüp arama sağlayıcılarına gönderdiğini açıklar; Google'ın belgeleri de AI Overviews ve AI Mode'un alt konular ve veri kaynakları genelinde birden çok ilişkili arama yapan "query fan-out" tekniğini kullanabileceğini söyler. Yeniden yazılan sorgular koşumdan koşuma değişirse aday sayfalar, dolayısıyla cevabın anabileceği markalar da değişir. Dizin de yerinde durmaz: Google, taramanın birkaç günden birkaç haftaya kadar sürebileceğini belirtir.

Bir yapay zeka cevabının görünüp görünmemesi bile değişkendir. Google, AI Overviews'un yalnızca sistemleri klasik aramaya bir katkı sağlayacağına karar verdiğinde gösterildiğini ve bu nedenle çoğu zaman tetiklenmediğini belirtir. Bu katmanın sonuç sayfasını nasıl dönüştürdüğünü Google AI Overviews ve sıfır tıklamalı arama yazısında tartıştık; ölçüm açısından çıkarılacak ders şudur: "yapay zeka cevabı gösterilmedi" kendi başına bir sonuçtur ve "cevap bizi anmadı" ile aynı kutuya konmamalıdır.

Soranın kim olduğu, nereden sorduğu ve geçmişi önemli mi?

Önemli ve belgeler bu kanalları tek tek adlandırıyor. ChatGPT araması, yerel sonuçlar sunmak için IP adresinden türetilen yaklaşık konumu, bellek açıksa da arama sorgusunu yeniden yazarken ilgili kayıtlı anıları kullanabilir. Google ise Ocak 2026'da, AI Mode'un Gmail ve Google Fotoğraflar bağlamından yararlanmasını sağlayan isteğe bağlı Personal Intelligence özelliğini önce ABD'deki ücretli aboneler için duyurdu ve Mart 2026'da özelliğin ABD'deki erişimini genişletti. Dolayısıyla bir pazarlama yöneticisinin kendi hesabında gördüğü cevap, tipik bir alıcının karşılaştığı dağılımdan değil, kişiselleştirilmiş bir dağılımdan çekilmiş bir örnektir. Dil ve pazar aynı etkiyi daha büyük ölçekte yaratır. Bu yüzden takip edilen her sorunun sabit bir pazarı ve dili olmalı, her bileşim ayrı bir seri olarak raporlanmalıdır; dillerin neden ayrıştığını çok dilli GEO yazısında inceledik.

Değişim ne zaman sizden değil, motorun kendisinden gelir?

Örnekleme ve bilgi getirme, sonuçları sabit bir ortalamanın çevresine saçar; ürün güncellemeleri ise ortalamanın kendisini kaydırır. Google, 27 Ocak 2026'da Gemini 3'ün dünya genelinde AI Overviews'un varsayılan modeli olduğunu duyurdu; OpenAI de ChatGPT'deki model değişikliklerini kaydeden, herkese açık bir Model Release Notes sayfası yayımlıyor. Böyle bir tarihi kesen seri aslında iki ayrı rejim barındırır ve yanında tarihli bir dış olaylar kaydı ister. Motorlar arasındaki farklar ise bambaşka bir eksendir ve her motorun markanızı neden farklı gördüğünü anlattığımız yazının konusudur.

Değişkenlik kaynağı	Neyi değiştirir	Zaman ölçeği	Nasıl kontrol edilir ya da kaydedilir
Örnekleme ve kod çözme	İfade, sıralama, ilk anılan markalar	Her koşum	Koşumu tekrarlayın, oran tahmin edin
Soru ifadesi	İhtiyacın nasıl yorumlandığı	Metin değiştiğinde	Metni sabitleyin; alternatif ifadeleri ayrı izleyin
Sorgu yeniden yazımı, fan-out	Getirilen ve kaynak gösterilen belgeler	Her koşum	Tekrarlayın; kaynakları da kaydedin
Dizin ve tarama durumu	Motorun bulabildiği sayfalar	Günler, haftalar	İçerik değişikliklerini tarihleyin; tarama gecikmesini hesaba katın
Konum, hesap, bellek	Cevabın kişisel bağlamı	Kullanıcı ve oturum	Sabit pazar ve dil; kişisel geçmiş olmadan ölçüm
Cevabın tetiklenmesi	Yapay zeka cevabının çıkıp çıkmadığı	Sorguya göre, zamanla	"Cevap yok" durumunu ayrı kaydedin
Model ve ürün güncellemeleri	Cevap dağılımının tamamı	Düzensiz sıçramalar	Tarihi not edin; seriyi bölün
Ölçüm hatası	Sonucun var olup olmadığı	Öngörülemez	"Ölçülmedi" olarak işaretleyin; asla sıfır saymayın

Ampirik çalışmalar cevapların ne kadar değiştiği hakkında ne söylüyor?

SparkToro bu değişkenliği doğrudan ölçen bir sektör araştırması yayımladı. Ocak 2026'da yayımlanan çalışmada Rand Fishkin, Gumshoe.ai'den Patrick O'Donnell ile birlikte yaklaşık 600 gönüllüye 12 soruyu ChatGPT, Claude ve Google'ın yapay zeka sonuçlarında çalıştırttı ve 2.961 cevabı sıralı marka listelerine dönüştürdü. Yazarlar ChatGPT ve Google'ın yapay zekası için aynı listenin iki kez gelme olasılığını yüzde birin altında, aynı sırayla gelme olasılığını ise yaklaşık binde bir olarak raporluyor; "yapay zekada sıralama pozisyonu" ölçütünü neredeyse işe yaramaz bulurken onlarca ile yüzlerce sorunun her birinin birkaç kez çalıştırılmasıyla elde edilen görünürlük yüzdesini makul bir metrik sayıyorlar. Yazarlar profesyonel araştırmacı olmadıklarını belirtiyor; çalışma hakem denetiminden geçmeden SparkToro'nun blogunda yayımlandı, katılımcılar varsayılan ayarlarını korudu ve konum kontrol edilmedi.

Ronald Sielinski'nin 2026 tarihli arXiv ön baskısı, Perplexity, OpenAI'nin SearchGPT'si ve Google Gemini'den üç tüketici ürünü konusunda dokuz gün boyunca kaynak gösterme örnekleri topladı. Çalışmaya göre kaynak gösterme sayıları tekrarlanan örnekler arasında belirgin biçimde değişiyor, alan adları arasındaki görünür farkların önemli bir kısmı bootstrap güven aralıklarının içinde kalıyor ve sıralamalar kararsız; yazar bu yüzden görünürlük metriklerinin altta yatan bir dağılımın örneklem tahminleri olarak ele alınması gerektiğini savunuyor. Sclar ve arkadaşları (ICLR 2024) ise anlamı koruyan biçim değişikliklerinin açık bir modelin doğruluğunu 76 puana kadar oynattığını gösterdi. Buradan iki tasarım kuralı çıkar: sırayı değil varlığı ölçün ve soru metnini sabitleyin, çünkü yeniden ifade edilmiş bir soru başka bir ölçüm aracıdır.

Görünürlük oranı tam olarak nedir?

Bir oran ancak tanımı eksiksiz olduğunda anlam taşır: belirli bir soru, pazar, dil, motor ve zaman penceresi için markanın anıldığı ölçülmüş cevapların payı. Kaynak gösterilme oranı da aynı biçimde kurulur, yalnızca pay kısmında markanın alan adını kaynak gösteren cevaplar sayılır; iki oran farklı çalışmaları ödüllendirdiği için ayrı tutulur. Tanımın her öğesi aynı zamanda bir kontroldür: soru metni dondurulur (doğru soruyu seçmek prompt araştırması yazısının konusudur), pazar ve dil sabittir, ölçüm ritmi düzenlidir ve marka adı bir cevapta kaç kez geçerse geçsin o cevap bir kez sayılır.

Soruları birleştirerek bir kategori rakamı üretmek, raporda neyin birleştirildiği açıkça yazıldığı sürece meşrudur. Üretken motor optimizasyonu (GEO) nihayetinde tam da bu tür oranları yükseltmeyi amaçladığı için tanım ilk rapordan önce yazıya geçirilmelidir. Paydada cevaplar yerine markaların bulunduğu rekabetçi versiyonunu ise yapay zeka aramasında ses payı yazısında geliştirdik.

Bir oran için kaç koşum gerekir?

Kesinlik, koşum sayısının kareköküyle artar. Gerçek oran yüzde 50 civarındayken yüzde 95'lik Wilson aralığının yarı genişliği 10 ölçülmüş cevapta yaklaşık 26 yüzde puan, 30 cevapta 17, 100 cevapta 10 ve 400 cevapta 5 puandır; yani belirsizliği yarıya indirmek dört kat ölçüm gerektirir. Bu yüzden tek bir sorunun haftalık rakamı ancak büyük hareketleri gösterebilir, otuz soru üzerinden birleştirilmiş bir rakam ise çok daha küçük değişimleri yakalayabilir.

Bu formüller koşumların birbirinden bağımsız olduğunu varsayar. Birkaç dakika arayla alınan koşumlar aynı arama sonuçlarını paylaşabilir ve günlere yayılmış koşumlardan daha az bilgi taşıyabilir. Birleştirme de benzer bir sorun doğurur: birleştirilmiş rakam sabit soru kümesi için değil de genel olarak alıcı soruları için konuşacaksa, koşumlar gerçek oranları birbirinden farklı sorular içinde kümelenir ve etkin örneklem büyüklüğü ham cevap sayısının altına düşer. Koşumları pencere boyunca yaymak ve soru bazındaki rakamlarla birleştirilmiş rakamları yan yana raporlamak bu çarpıklıkları görünür kılar. Örneklem büyüklüğü de önceden sabitlenmelidir: Sielinski'nin ön baskısı, örnekler biriktikçe bir aralığın önce daralıp sonra yeniden genişleyebildiğini gözlemledi; bu yüzden aralık ilk kez yeterince dar göründüğünde ölçümü durdurmak belirsizliği olduğundan küçük gösterir.

Wilson aralığı size aslında ne söyler?

Yüzde 95'lik bir güven aralığı, çok sayıda tekrarlanan örneklemde gerçek oranı yaklaşık yüzde 95 sıklıkla kapsayacak bir yöntemin çıktısıdır; tek bir aralık hakkında söz vermez, yöntemin güvenilirliğini anlatır. Ders kitaplarındaki Wald aralığı, yani gözlenen payın 1,96 standart hata eksiği ve fazlası, GEO ölçümünün tam da içinde bulunduğu koşullarda bozulur: on cevapta hiç anılma yoksa genişliği sıfıra iner ve on koşumun veremeyeceği bir kesinlik ima eder.

Edwin B. Wilson'ın 1927'de tanıttığı Wilson skor aralığı ise skor testini tersine çevirerek elde edilir; merkezi bir miktar yüzde 50'ye doğru çekilir ve sıfır ile bir arasındaki sınırların dışına asla taşmaz. Brown, Cai ve DasGupta, Statistical Science dergisinde (2001) alternatifleri incelerken Wald aralığının kapsama davranışını düzensiz buldu ve küçük örneklemler için Wilson ya da Jeffreys aralığını önerdi. Pratikte on cevapta sıfır anılma yaklaşık yüzde 0 ile 28 arasında bir aralık verir; bu sonuç "hiç" değil, "nadiren, belki hiç" diye okunmalıdır. Yirmi cevapta 12 anılma yaklaşık yüzde 39 ile 78, yüz cevapta 60 anılma ise yaklaşık yüzde 50 ile 69 arasına denk gelir. Aynı gözlenen yüzde 60, arkasında kaç koşum durduğuna göre çok farklı bir kanıt ağırlığı taşır.

Tek bir yapay zeka cevabı yalnızca bir gözlemdir; görünürlük bir orandır ve bir oran, örneklem büyüklüğü, güven aralığı ve ölçülemeyen koşumları yanında verilmeden raporlanamaz.

Gürültüyü gerçek değişimden nasıl ayırırsınız?

Varsayımsal bir örnek düşünelim: bir soru kümesinde marka bir hafta 20 ölçülmüş cevabın 8'inde, ertesi hafta 12'sinde anılıyor. Yüzde 40'tan 60'a çıkış kesin görünür, ancak iki oranlı standart bir test yaklaşık 1,3'lük bir z değeri verir ve bu değer alışılmış 1,96 eşiğinin altında kalır; aynı oranlar dönem başına 60 cevapta gözlenseydi z yaklaşık 2,2'ye çıkardı. Aralıkların örtüşüp örtüşmediğine bakmak ise yüzde 5'lik bir testten çok daha katı bir ölçüttür: Knol, Pestman ve Grobbee (European Journal of Epidemiology, 2011), bağımsız ve varyansları eşit tahminler için, sıfır hipotezi altında yüzde 95'lik aralıkların örtüşmeme olasılığının yalnızca yaklaşık 0,006 olduğunu not eder. Yani örtüşen aralıklar da gerçek bir farkı gizleyebilir.

Üç alışkanlık tabloyu tamamlar. Süreklilik: tek koşumda görülen fark bir gözlemdir; ancak art arda gelen pencerelerde korunan fark kalıcı sayılabilir. Çoklu karşılaştırma: elli soru her hafta yüzde 5 düzeyinde test edilirse, hiçbir şeyin değişmediği bir haftada bile ortalama iki üç tanesinin yalnızca şans eseri eşiği aşması beklenir. Bağlam: herhangi bir hareketi yorumlamadan önce olay kaydına bakın. Değişimin sizin içeriğinizden kaynaklandığını göstermek ise bir kontrol grubu gerektirir; bunun tasarımlarını GEO deneyleri yazısında anlattık.

"Ölçülmedi" neden sıfırdan ayrı tutulmalı?

Planlanan her koşum üç durumdan biriyle biter: ölçülmüş bir cevap, yapay zeka cevabının hiç gösterilmediğinin ölçülmesi ya da bir sağlayıcı hata verdiği veya istek sınırına ulaşıldığı için hiç ölçüm yapılamaması. Anılma oranının paydasına yalnızca birincisi girer; ikincisi motor hakkında bir bulgudur, üçüncüsü ise ölçüm aracındaki bir boşluktur ve onu sıfır saymak hiç yaşanmamış bir düşüş üretir. Soru kümesi, marka yazımları ya da ayrıştırma kuralları değiştiğinde serinin yeni bir yöntem sürümüne geçmesi de aynı disiplinin parçasıdır. Sayının mı, verinin mi bozulduğunu ayırt etmeyi rapor anomali uyarıları yazısında ele aldık.

Rocketly'nin GEO Görünürlüğü modülü bu ayrımları açıkça kaydeder. Her koşum ölçüldü, cevap yok ya da ölçülmedi olarak saklanır ve "ölçülmedi" hiçbir zaman sıfır sayılmaz; en az iki ölçülmüş koşum olduğunda yüzde 95'lik Wilson güven aralığı gösterilir; haftalık değişimler ayırt edilebilir ya da ayırt edilemez olarak etiketlenir; cevap farkları tek koşumdan geliyorsa gözlenen, devam ediyorsa kalıcı olarak işaretlenir; sürümlenen yöntem de "Ölçüm yöntemi" sayfasında belgelenir. Google AI Overview standart olarak haftalık ölçülür, ChatGPT ve Perplexity ölçümü kontrollü açılış aşamasındadır, Gemini, Claude ve Grok ise ölçülmez.

Görünürlüğünüzü bir ekran görüntüsüyle değil, belirsizliği ve boşluklarıyla birlikte bir oran olarak raporlamak istiyorsanız bir Rocketly hesabı oluşturup ayrı bir eklenti olarak sunulan Rocketly GEO Suite'i kendi soru kümeniz üzerinde değerlendirebilirsiniz.

Sıkça sorulan sorular

Sıcaklığı sıfıra çekerek yapay zeka cevapları sabitlenebilir mi?

Alıcıların kullandığı ürünlerde hayır, çünkü orada kod çözme ayarlarını kullanıcı değil hizmet sağlayıcı belirler. API üzerinden bile OpenAI determinizmin garanti edilmediğini belirtir ve yayımlanmış deneyler sıfır sıcaklıkta da farklı çıktılar bulmuştur. Bilgi getirme, kişiselleştirme ve model güncellemeleri ise her durumda devrede kalır.

Yapay zeka görünürlüğü ne sıklıkla ölçülmeli?

Tutarlılık sıklıktan daha önemlidir: örneğin haftalık gibi sabit bir ritim, raporlama pencerelerini karşılaştırılabilir kılar. Güven aralığının genişliğini belirleyen, her raporlama penceresindeki ölçülmüş cevap sayısıdır. Pencereye yayılmış koşumlar da aynı sayıda ama tek seferde alınmış koşumlardan daha fazla bilgi taşır.

Her görünürlük raporunda hangi bilgiler bulunmalı?

Motor, pazar, dil, soru kümesi ve zaman penceresi; ölçülmüş cevap sayısı ve güven aralığı; ölçülemeyen koşum sayısı ve geçerli yöntem sürümü. Model güncellemesi gibi tarihli dış olaylar da rakamların yanında durmalıdır, çünkü bunlar olmadan iki rapor aynı sayıyı gösterse bile karşılaştırılamaz.