Bir asistanın bir markayı cevabına alıp almaması, o markanın hakkında nerede, ne kadar ve ne güvenilirlikte bilgi bulunduğuna bağlı görünüyor; ama bu ilişki tam bilinmiyor. Bu modül hangi kaynakların alıntılandığı üzerine bilinenleri, içerik değişikliğinin görünürlüğe etkisini inceleyen ilk çalışmayı, uydurmayı, cevabın değişkenliğini ve ne bilinmediğini anlatır.
Bu modülün sonunda
- Kendi sektöründe bir asistanın cevaplarında alıntılanan kaynak türlerini bir soru setiyle gözlemler.
- Üretken arama görünürlüğü üzerine bir iddianın hangi kanıta dayandığını ve genellenip genellenemeyeceğini değerlendirir.
Dersler
- M02-D01Hangi kaynaklarProgramda
Asistan cevaplarında hangi tür kaynakların, örneğin resmî site, haber, karşılaştırma sitesi ve forumun alıntılandığını kendi soru setiyle gözlemlemeyi gösterir.
Dayanak: Ölçülebilir: soru setinde alıntılanan kaynak türlerinin dağılımı
- M02-D02İçerik değişikliğinin etkisiProgramda
İçeriğe kaynak, alıntı ve istatistik eklemenin üretken arama cevabındaki görünürlüğe etkisini deneysel bir ortamda ölçen çalışmayı ve bulgunun sınırlı bir test ortamına ait olduğunu tanıtır.
Dayanak: Araştırma bulgusu: Aggarwal ve diğerleri, «GEO: Generative Engine Optimization», KDD (2024)
- M02-D03UydurmaProgramda
Asistanın bir marka hakkında var olmayan bir ürün, fiyat ya da özellik uydurabileceğini ve bunun nedenini gösterir.
Dayanak: Araştırma bulgusu: Ji ve diğerleri, «Survey of Hallucination in Natural Language Generation», ACM Computing Surveys (2023)
- M02-D04DeğişkenlikProgramda
Aynı sorunun farklı zamanlarda, farklı kullanıcılarda ve küçük ifade farklarıyla farklı cevaplar üretebileceğini ve tek bir denemenin bir şey kanıtlamadığını gösterir.
Dayanak: Ölçülebilir: aynı soruda tekrarlar arası cevap farkı
- M02-D05Ne bilinmiyorProgramda
Asistanların kaynak seçme ağırlıklarının, eğitim verisinin ve güncelleme takviminin çoğunun kamuya açık olmadığını ve bu yüzden nedensel iddia kurmanın zor olduğunu tartışır.
Dayanak: Meslek pratiği: bilinmeyeni ayırmak