Özgün veri ve araştırma: yapay zekanın alıntılamayı seçtiği içeriği üretmek

Bir yapay zeka asistanına küçük B2B ekiplerinin gelen potansiyel müşterilere ne kadar sürede döndüğünü sorduğunuzu düşünün. Konuyla ilgili her sayfa aynı ikincil iddiaları tekrarlıyorsa motor cevabını bunlardan herhangi biriyle destekleyebilir ve hiçbirine özel olarak ihtiyaç duymaz. Ölçülmüş bir cevabı örneklemi, dönemi ve yöntemiyle birlikte sunan bir sayfa ise diğerlerinin veremeyeceği bir şey verir: tek ve atfedilebilir bir kaynağı olan somut bir bilgi. Üretken motor optimizasyonunda (GEO) özgün veri ve araştırma lehine temel gerekçe budur. Bu bağlamda özgün araştırma, temel bulguları yayıncının kendi topladığı ya da ürettiği verilerden, yani operasyon kayıtlarından, bir anketten, bir kıyaslama testinden veya bir deneyden gelen ve bu nedenle aynı biçimiyle başka hiçbir yerde bulunmayan içerik demektir.

Yazının ilk yarısı kanıtları inceliyor: üretken motor optimizasyonu kavramını ortaya koyan akademik çalışmanın neyi test ettiği, sonuçlarının nerede sınırlandığı ve "bilgi kazancı" kavramının ne anlama gelip ne anlama gelmediği. İkinci yarı ise soruyu seçmekten tasarıma, yöntemin açıklanmasından yayına ve etiğe uzanan bir üretim yöntemi ortaya koyuyor.

Motor neden ilk elden veri içeren bir sayfayı tercih etsin?

Google'ın AI Overviews ve AI Mode belgeleri, bu alanlarda görünmek için dizine eklenmiş ve snippet gösterimine uygun olmanın ötesinde ek bir gereklilik ya da özel bir optimizasyon olmadığını belirtiyor; bu tespit, AI Overviews'un sonuç sayfasını nasıl değiştirdiğini değerlendirirken de akılda tutulmalı. Aynı belgeler site sahiplerini Google'ın yararlı ve insan odaklı içerik rehberine yönlendiriyor; bu rehberin öz değerlendirme soruları arasında içeriğin "özgün bilgi, haber, araştırma veya analiz" sunup sunmadığı ve arama sonuçlarındaki diğer sayfalara kıyasla kayda değer bir değer katıp katmadığı da var. Bu ifadelerin hiçbiri bir motorun kaynakları nasıl tarttığını açıklamaz, ama ikisi de tekrar üzerine kurulu basit bir akıl yürütmeyle aynı yönü gösterir.

Elli sayfa aynı iddiayı farklı kelimelerle dile getiriyorsa her biri ikame edilebilirdir ve hiçbiri vazgeçilmez değildir. Kimsenin yayımlamadığı bir ölçüm içeren sayfa ise o ölçümün tek olası kaynağıdır; ölçüm soruyla ilgiliyse onu atfetmenin doğal yolu o sayfayı kaynak göstermektir. Özgün veri, bir sayfayı pek çok aday arasından biri olmaktan çıkarıp belirli bir iddianın kökeni haline getirir. Bir motorun böyle bir kaynağa güvenmesini sağlayan daha geniş sinyalleri güven ve otorite sinyallerini ele alan yazımızda, disiplinin temellerini ise GEO'ya giriş rehberimizde anlattık.

GEO çalışması tam olarak neyi test etti?

Kavramı ortaya koyan makale, Aggarwal, Murahari, Rajpurohit, Kalyan, Narasimhan ve Deshpande'nin "GEO: Generative Engine Optimization" başlıklı çalışmasıdır; makale Kasım 2023'te arXiv'de yayımlandı ve KDD 2024 bildiri kitabında yer aldı. Yazarlar dokuz kaynaktan derlenen ve 25 alanı kapsayan 10.000 soruluk GEO-bench adlı bir test kümesi ile kendi üretken motorlarını kurdu: motor her soru için Google'daki ilk beş sonucu getiriyor ve gpt-3.5-turbo'ya satır içi kaynak gösterimli bir cevap yazdırıyordu. Her soruda kaynaklardan biri rastgele seçildi ve bir dil modeli tarafından dokuz yöntemin her biriyle ayrı ayrı yeniden yazıldı; yöntemler "Authoritative" (otoriter ton) ve "Keyword Stuffing" (anahtar kelime doldurma) ile "Statistics Addition" (istatistik ekleme), "Quotation Addition" (alıntı ekleme) ve "Cite Sources" (kaynak gösterme) arasında değişiyordu. Görünürlük iki biçimde ölçüldü: cevapta kaynağa atfedilen kelimelerin konuma göre ağırlıklandırılmış sayısı ve bir dil modelinin verdiği "Subjective Impression" (öznel izlenim) puanı.

En iyi sonucu kanıt odaklı yöntemler verdi: makaleye göre 1.000 soruluk test bölümünde Cite Sources, Quotation Addition ve Statistics Addition, kelime sayısı ölçütünde yüzde 30-40, öznel ölçütte ise yüzde 15-30 oranında göreli iyileşme sağladı. Anahtar kelime doldurma yok denecek kadar az ya da hiç iyileşme sağlamadı; daha ikna edici, otoriter bir ton da anlamlı bir kazanç getirmedi. Etkiler alana göre değişti: kategori bazlı dökümde Statistics Addition'ın en iyi sonuç verdiği ilk üç kategori hukuk ve kamu yönetimi, tartışma ve görüş soruları; Quotation Addition'ınki ise insan ve toplum, açıklama ve tarih oldu. Beş kaynağın hepsinin aynı anda yeniden yazıldığı ek bir deneyde kanıt odaklı yöntemler görünürlüğü Google sonuçlarında alt sıralarda yer alan kaynaklara kaydırdı: Cite Sources ile beşinci sıradaki kaynağın görünürlüğü yüzde 115,1 artarken birinci sıradakinin görünürlüğü ortalama yüzde 30,3 azaldı. Perplexity üzerinde, kaynak metinlerin dosya olarak yüklendiği 200 soruluk bir alt kümede Quotation Addition kelime sayısı ölçütünü yüzde 22, Statistics Addition öznel ölçütü yüzde 37 iyileştirdi; anahtar kelime doldurma ise kelime sayısı ölçütünde değiştirilmemiş temel duruma göre yaklaşık yüzde 10 geride kaldı.

Çalışmanın sonuçları nerede sınırlanıyor?

Yazarlar kendi sınırlılıklarını şöyle sıralıyor: motorlar geliştikçe yöntemlerin de uyarlanması gerekebilir, gerçek sorular zamanla değişir, değişikliklerin arama sıralamalarına etkisi değerlendirilmedi ve test kümesindeki bazı soru etiketleri hatalı olabilir. Uygulamada önemli olan üç sınır daha var. Ana motor, kendisine verilen beş metinden cevap üreten 2023 dönemi bir modeldi; Perplexity testi de yalnızca yüklenen dosyalardan cevap ürettiği için iki durumda da ticari bir ürünün kendi arama altyapısı devrede değildi. Ölçütler bir cevabın ne kadarının kaynağa dayandığını ölçüyor, cevabın doğru olup olmadığını değil. En önemlisi, yeniden yazımları bir model üretti: çalışmanın herkese açık kod deposunda yayımlanan istemler, eklenen istatistiklerin "varsayımsal" olabileceğine ve eklenen alıntıların ve kaynakların uydurulabileceğine izin veriyor.

Bu son ayrıntı sonucun nasıl okunması gerektiğini değiştirir. Çalışma, kontrollü bir motorda kanıtın biçimini eklemenin, yani sayıların, alıntıların ve atıfların, bir kaynağın cevaptaki payını artırdığını gösteriyor. Her türlü kanıtın işe yarayacağını göstermiyor ve kanıt uydurmayı hiçbir şekilde meşrulaştırmıyor: ticari motorlar iddiaları başka kaynaklarla karşılaştırabilir, gazeteciler ve müşteriler de karşılaştırabilir; markanıza iliştirilmiş uydurma bir istatistik, tekrarlandığı anda bir yüke dönüşür. Savunulabilir ders daha dar ve daha kullanışlıdır: motorlara gerçek sayılar, gerçek alıntılar ve gerçek kaynaklar sunun; kendi nişinizdeki iddialar için gerçek sayıların en güvenilir kaynağı ise çoğu zaman kendi yürüttüğünüz araştırmadır.

Özgün araştırmanın kaynak gösterilmesinin nedeni, güvenilmesinin nedeniyle aynıdır: başka hiçbir sayfanın söyleyemeyeceği, doğrulanabilir bir şey söyler.

Bilgi kazancı nedir ve Google'ın patenti ne söylüyor?

Bilgi kuramında ve makine öğrenmesinde bilgi kazancı, bir değişkeni gözlemlemenin başka bir değişkene ilişkin belirsizlikte yarattığı azalmadır; biçimsel olarak entropideki beklenen azalma olarak tanımlanır. İçerik stratejistleri ise terimi daha gevşek biçimde, bir sayfanın okurun zaten gördüklerinin ötesinde kattığı şey için kullanır. Google'ın bu fikre yakın bir patenti var: 2018'de başvurusu yapılan ve Haziran 2022'de Google LLC adına tescil edilen "Contextual estimation of link information gain" başlıklı 11.354.342 sayılı ABD patenti, belgeleri kullanıcının daha önce görüntülediği belgelerin ötesinde ne kadar bilgi kattıklarına göre puanlamayı otomatik asistanlar ve arama sonuçları bağlamında tarif ediyor. Bir patent, sahibinin korumayı seçtiği bir buluşu kayda geçirir; patentin içinde yöntemin Google ürünlerinde kullanılıp kullanılmadığını ya da nasıl kullanıldığını gösteren hiçbir şey yoktur, dolayısıyla sıralama davranışının kanıtı olarak sunulamaz.

Yine de kavram, herhangi bir sistemin neyi hesapladığından bağımsız olarak, kullanışlı bir editoryal testtir. Hedef sorularınızda halihazırda kaynak gösterilen sayfaları listeleyin; bunu bir kaynak boşluğu analizi size verir. Sonra sayfanızın bunların hiçbirinde bulunmayan neyi söyleyeceğini sorun. Dürüst cevap "hiçbir şey" ise sayfa, var olan bilgilerin yeniden anlatımından ibarettir.

Hangi soruyu yalnızca siz cevaplayabilirsiniz?

Güçlü bir araştırma sorusu üç koşulu birlikte karşılar: hedef kitlenizin bir karar vermek için cevaba ihtiyacı vardır, güvenilir bir cevap henüz yayımlanmamıştır ve siz o soruyu cevaplayabilecek verilere ayrıcalıklı biçimde erişebilirsiniz. Yazılım ve hizmet şirketleri bu tür verilere çoğu zaman operasyonlarının yan ürünü olarak sahiptir; müşteri tabanı genelinde toplulaştırılmış yanıt süreleri ya da mevsimsel örüntüler buna örnektir ve bunlar her zaman sözleşmelerin ve veri koruma mevzuatının izin verdiği ölçüde kullanılabilir. Operasyon verisi soruyu cevaplayamıyorsa bir anket, kontrollü bir kıyaslama testi ya da küçük bir deney cevaplayabilir. Yöntemi seçmeden önce soruyu, içerik brief'i şablonumuzda anlatılan açı kadar kesin biçimde yazın; belirsiz bir soru belirsiz bir veri seti üretir.

Hangi araştırma tasarımı hangi soruya uyar?

Her tasarım belirli bir gücü belirli bir riskle takas eder; güvenilir bir yöntem bölümü bu riski gizlemez, adını koyar.

Araştırma türü	Veri kaynağı	Temel gücü	Başlıca geçerlilik riski
Operasyon verisi analizi	Ürününüzden veya hizmetinizden toplulaştırılmış kayıtlar	Beyan edilen niyet değil, gerçek davranışa dayalı büyük örneklem	Müşterileriniz pazarın tamamı değildir; tanımlar zamanla kayar
Müşteri veya pazar anketi	Tanımlı bir kitleye gönderilen soru formu	Kayıt bırakmayan tutum ve uygulamaları ölçer	Temsil gücü düşük örneklem, yanıtsızlık, yönlendirici ifade
Kıyaslama testi	Ürün veya süreçlerin standart testleri	Aynı koşullarda karşılaştırılabilir rakamlar	Bir seçeneği kayıran test tasarımı; hızla eskiyen sonuçlar
Kontrollü deney	Bir değişikliğin kontrol grubuyla rastgele karşılaştırılması	Nedensellik iddiası için en sağlam zemin	Küçük örneklem; sınırlı genellenebilirlik
Kamu verisinin yeniden analizi	Resmi istatistikler veya açık veri setleri	Herkesin doğrulayabileceği girdiler	Tanımların yanlış okunması; yorumun yeni veri gibi sunulması
Uzman görüşmeleri	Uygulayıcılarla yapılandırılmış görüşmeler	Rakamların ardındaki mekanizmayı açıklar	Seçici görüşmeci seçimi; anekdotun yaygınlık gibi sunulması

İncelemeye dayanıklı bir anket nasıl tasarlanır?

Önce bulguların tanımlaması gereken kitleyi rol, şirket büyüklüğü, pazar ve dönem üzerinden belirleyin; ardından katılımcıların fiilen seçildiği listeyi, yani örnekleme çerçevesini adlandırın. Bülten abonelerinize yaptığınız bir anket sektörü değil, abonelerinizi tanımlar. Amerikan Kamuoyu Araştırmaları Derneği (AAPOR), araştırmacıların örneklemin olasılık temelli olup olmadığını açıkça belirtmesini şart koşar ve meslek kurallarına göre olasılığa dayalı olmayan örneklemlere dayanan raporlar, kesinlik ölçülerini ancak dayandıkları modelin ve varsayımların ayrıntılı bir açıklamasıyla birlikte verebilir. Gönüllü katılımlı bir çevrim içi örneklem bu nedenle klasik bir hata payıyla sunulmamalıdır.

Olasılıklı örneklemlerde de hata payı göründüğünden daha dar bir şeyi anlatır. Pew Research Center'ın bir yöntem uzmanının açıkladığı gibi, hata payı yalnızca örnekleme hatasını yansıtır, kapsam, yanıtsızlık ya da soru ifadesinden doğan hataları değil; alt gruplarda daha büyüktür ve aynı ankette iki adayın oy oranları gibi iki rakam arasındaki farkın hata payı, tek bir rakamınkinin kabaca iki katıdır. 400 kişilik basit rastgele bir örneklemde, yüzde 50 civarındaki bir oran için yüzde 95 güven düzeyindeki hata payı yaklaşık artı eksi 4,9 puandır; bu, manşetlere taşınan pek çok "farkı" anlamsız kılmaya yeter. İşin diğer yarısı soruların ifadesidir; yönlendirici, çift namlulu ve belleği zorlayan soruları ölçen anket soruları yazmayı anlatan rehberimizde ele aldık. Her soru formunu sahaya çıkmadan önce hedef kitleden birkaç kişiyle ön teste tabi tutun.

Yöntem bölümü neleri açıklamalı?

Yöntem bölümü bir iddiayı kaynak gösterilebilir bir bulguya dönüştürür, çünkü okurun, gazetecinin ya da bir modelin bir rakamın ne anlama geldiğini kontrol etmesini sağlar. AAPOR'un açıklama standartları kamuoyu araştırmaları dışında da sağlam bir şablondur: araştırmayı kimin finanse ettiği ve kimin yürüttüğü; soruların ve cevap seçeneklerinin birebir ifadesi; kitle ve teşvikler dahil örneklemin nasıl oluşturulduğu; veri toplama yöntemi ve dilleri; veri toplama tarihleri; örneklem büyüklükleri; ağırlıklandırma; veri kalitesi kontrolleri ve dışlamalar; ve sınırlılıklara dair bir açıklama. Operasyon verisi için karşılıkları zaman aralığı, dahil etme ölçütleri, hesap veya olay sayısı, ölçütlerin kesin tanımları ve uç değerlerin nasıl ele alındığıdır. Bölümü bulgularla aynı sayfada tutun, sürüm numarası ve tarih verin, güncellemelerden sonra eski sürümleri erişilebilir bırakın.

Bulgular doğru alıntılanmak için nasıl yazılmalı ve yayımlanmalı?

Her temel bulguyu, sayfadan koparıldığında da anlamını koruyan ve sayıyı, kitleyi, dönemi ve örneklemi tek cümlede taşıyan bağımsız bir ifade olarak yazın. Varsayımsal bir örnek: "Eylül 2026'da Türkiye'deki 412 operasyon yöneticisiyle yapılan ankette katılımcıların yüzde 38'i tedarikçi sözleşmelerini üç ayda bir gözden geçirdiğini söyledi." Her cümlede tek bulgu verin, göreli değişimlerin yanına mutlak rakamları koyun ve verinin desteklemediği hiçbir sıfatı kullanmayın; yapay zeka için SSS sayfalarını anlatan yazımızdaki "önce cevap" yapısı araştırma özetleri için de geçerlidir.

Rakamları yalnızca görsel olarak değil, metin olarak da yayımlayın. W3C'nin erişilebilirlik eğitim içeriği, bir tablonun erişilebilir olması için başlık hücrelerinin başlık, veri hücrelerinin veri olarak işaretlenmesi gerektiğini söyler; metin olarak yayımlanan bir tablo, grafik görselinin aksine yazılımlar tarafından da ayrıştırılabilir. Veri setini indirmeye sunuyorsanız Google, veri setlerinin Dataset Search'te görünmesine yardımcı olan schema.org Dataset işaretlemesini belgeliyor; ad ve açıklama zorunlu, lisans, oluşturucu, zaman kapsamı ve dağıtım gibi özellikler önerilen alanlar arasında. Uygulamayı yapısal veri işaretlemesi rehberimizde anlattık. İlk yayından önce bir güncelleme takvimi belirleyin ve trendlerin karşılaştırılabilir kalması için yöntemi ve soruları sürümler arasında sabit tutun; güncellik, bir AI hazırlık denetiminin kontrol ettiği ölçütlerden biridir.

Hangi etik sınırlar aşılamaz?

Verilerini kullandığınız kişiler amacı bilmelidir. 6698 sayılı Kişisel Verilerin Korunması Kanunu (KVKK), veri sorumlusunun veriler elde edilirken ilgili kişileri kendi kimliği, işleme amaçları, verilerin kimlere ve hangi amaçla aktarılabileceği, toplamanın yöntemi ile hukuki sebebi ve 11. maddede sayılan hakları hakkında aydınlatmasını şart koşar. Yalnızca gerektiği gibi anonim hale getirilmiş toplu verileri yayımlayın. KVKK anonim hale getirmeyi, verilerin başka verilerle eşleştirilse dahi kimliği belirli veya belirlenebilir bir gerçek kişiyle ilişkilendirilemeyecek hale getirilmesi olarak tanımlar; GDPR'ın 26 numaralı gerekçe maddesi (Recital 26) de takma adlandırılmış verilerin kişisel veri olmaya devam ettiğini, gerçekten anonim bilgilerin ise istatistiksel veya araştırma amaçlı kullanımlar dahil düzenlemenin kapsamı dışında kaldığını belirtir. Tek bir şirketin tanınabileceği kadar küçük kategorileri yayımlamayın; hukuki çerçevenin genelini yapay zeka ve müşteri verisi rehberimizde bulabilirsiniz, kendi durumunuz için ise hukuki görüş alın.

Dürüstlük en az mahremiyet kadar önemlidir. Soruları ve analiz planını sonuçları görmeden önce sabitleyin, sizi iyi göstermeyen bulguları da diğerleriyle birlikte yayımlayın ve hikayeyi güzelleştirmek için asla yuvarlama, yeniden ağırlıklandırma ya da çıkarma yapmayın. Yeniden yazılmış metinlerle yapılan bir test etkileri hakkında ne söylerse söylesin istatistik ya da alıntı uydurmayın ve içeriği zayıf "araştırma" sayfalarını seri üretmeyin: Google'ın spam politikaları, esas olarak sıralamaları manipüle etmek için çok sayıda sayfa üretmeyi ölçeklenmiş içerik kötüye kullanımı olarak sınıflandırır.

Emeğin karşılık bulup bulmadığını görmek için Rocketly GEO Suite'in Kaynak İstihbaratı, izlediğiniz sorularda motorların hangi alan adlarını ve URL'leri kaynak gösterdiğini her kaynağın geçmişiyle birlikte gösterir; böylece bir araştırma sayfasının kaynak listesine girip girmediğini görebilirsiniz. Google AI Overview standart olarak haftalık ölçülür, ChatGPT ve Perplexity ölçümü kontrollü açılış aşamasındadır; Gemini, Claude ve Grok ise ölçülmez. Üründe hazırlanan içerik taslakları taslak, inceleme ve başka bir kişinin onayı aşamalarından geçer ve hiçbir zaman otomatik olarak yayımlanmaz; araştırmanın kendisi ise ekibinizin işidir. Araştırmanızın cevaplamayı hedeflediği soruları izlemek için Rocketly hesabı oluşturun.

Sıkça sorulan sorular

Özgün araştırma, yapay zeka motorlarının sayfamı kaynak göstermesini garanti eder mi?

Hayır. Hiçbir motor kaynak seçim ölçütlerini ayrıntılı olarak yayımlamaz ve yayımlanmış deneysel kanıtların çoğu ticari sistemlerden değil, kontrollü bir test kümesinden gelir. Özgün veri, sayfanızı belirli bir iddianın tek kaynağı yapar ve böylece motorun o iddia için başkasını kaynak göstermesinin başlıca gerekçesini ortadan kaldırır; sonucu varsaymak yerine kendi sorularınızda ölçün.

Anket örneklemi ne kadar büyük olmalı?

Bu, ihtiyaç duyduğunuz kesinliğe ve raporlamayı planladığınız alt gruplara bağlıdır. Basit rastgele bir örneklemde yaklaşık 400 cevap, yüzde 50 civarındaki bir oran için kabaca artı eksi 5 puanlık bir hata payı verir ve ayrıca raporladığınız her alt grubun hata payı daha geniştir. Gönüllü katılımlı örneklemlerde hata payı yerine örneklem büyüklüğünü ve katılımcıların nasıl bulunduğunu açıklayın.

Bir çalışma ne sıklıkla güncellenmeli?

Takvimi konunun ne kadar hızlı değiştiğine göre belirleyin; örneğin tutum anketleri için yılda bir, operasyonel bir ölçüt için üç ayda bir. Bu takvimi ilk sürümle birlikte duyurun, her sürümü tarihleyin ve eski sürümleri erişilebilir bırakın; böylece eski bir rakamı kaynak gösteren herkes o rakamın kaynağını bulmaya devam edebilir.