ChatGPT gibi sohbet robotları halihazırda geleneksel arama motorlarının rolünü tamamlıyor ve bazıları için yerini alıyor. Son zamanlarda yapılan bir çalışma, verimlilik ve kalite açısından nasıl karşılaştırıldıkları hakkında daha fazla bilgi bulmaya çalıştı.
Yakın zamanda yapılan bir araştırma, ChatGPT ile Google aramanın arama performansını ve kullanıcı deneyimini karşılaştırıyor. ABD ve Hong Kong’dan araştırmacılar tarafından yürütülen çalışma, ChatGPT kullanıcılarının görevlere daha az zaman ayırdıklarını ve aldıkları bilgilerin kalitesini daha yüksek derecelendirdiklerini gösteriyor. Çalışma ayrıca ChatGPT’nin doğruluk kontrolü görevlerindeki zayıflıklarına da işaret ediyor.
Çalışma bilimsel standartları karşılamasına rağmen, geçerliliği nispeten az sayıda katılımcı (95) ile sınırlıdır. Katılımcılar rastgele iki gruptan birine, ChatGPT veya Google’a atandı ve ardından kullanım kolaylığı, yararlılık, keyif ve araçla ilgili memnuniyet hakkında bir anket doldurdu. Anket tamamen internet üzerinden gerçekleştirilmiştir.
- Görev 1’de katılımcılardan uzaya çıkan ilk kadının adını ve yaşını bulmaları istendi.
- Görev 2’de, katılımcılardan ABD’de Phoenix ve Cincinnati arasında bir uçuş rezervasyonu yapmak için kullanılabilecek beş URL’yi listelemeleri istendi.
- Görev 3’te, katılımcılardan bir haber makalesinden bir alıntı okumaları ve vurgulanan üç ifadeyi kontrol etmeleri istendi.
ChatGPT kullanıcıları grubunun üç görevi tamamlaması ortalama 11:21 dakika sürerken, Google arama yapanlar grubu 18:45 dakika ile önemli ölçüde daha uzun sürdü. Katılımcılar, görev başına sürelerini kendileri bildirdiler.
reklam
Araştırmacılar bu farkı, Google Arama’nın kullanıcıların sorgularını birden çok kez formüle etmesini gerektirmesine bağlıyor. Sonuçları almak bir deneme yanılma süreciydi. ChatGPT ise kullanıcıların doğal dilde soru sormasına olanak tanır. Özetlenmiş cevap, daha fazla okuma ihtiyacını ortadan kaldırır.
Buna karşılık, her iki gruptaki katılımcılar üç görev için benzer sayıda girdiye ihtiyaç duydu, ancak girdiler ChatGPT için daha uzundu. ChatGPT, belirli bilgileri bulmayı içeren ilk görevde (uzaydaki ilk kadının adı ve yaşı) en büyük hız avantajına sahipti.
Arama performansı, yani cevapların doğruluğu açısından, araştırmacılar görev başına on puana kadar ödüllendirdi. Burada 8.55 ile ChatGPT ve 8.77 ile Google birbirinden çok uzak değil, bu nedenle fark istatistiksel olarak önemsiz. Ancak bu aynı zamanda, Google kullanıcılarının benzer kaliteye ulaşmasının önemli ölçüde daha uzun sürdüğü anlamına gelir.
Bazen görevden göreve önemli farklılıklar vardı. Örneğin, araştırmacılar, Görev 1’de tüm katılımcıların ChatGPT ile tam puan almasını dikkate değer buldular, bu da ChatGPT’nin gerçekleri bulmada çok etkili olduğunu gösteriyor. Google kullanıcıları, ortalama yalnızca 8,19 puanla burada birkaç hata yaptı.
İkinci görev için (uçak rezervasyon siteleri), her iki grup da maksimuma yakın puan aldı. Google, kullanıcıları Cincinnati ve Phoenix arasındaki uçuşlar için sayfalara yönlendirerek biraz daha yardımcı göründü, ChatGPT ise grubu yalnızca genel rezervasyon sayfalarına yönlendirdi.
Öneri
Buna karşılık, Deneklerin Görev 3’teki performansı (bir haberin doğruluğunu kontrol etme), ChatGPT grubunda (5,83) Google arama grubundan (8,37) önemli ölçüde daha kötüydü. ChatGPT isteminin ifadesi bir fark yarattı: Bir ifadenin doğruluğunu yargılamanız istendiğinde, ChatGPT kapalıydı. Ancak, özellikle bilginin kendisinin doğruluğu sorulduğunda cevap doğruydu.
Elbette, örneklem boyutu çok küçük olduğu için, bunun temsil gücü çok azdır veya hiç yoktur ve araştırmacılar, kullanıcıların ChatGPT’ye olan güveninin gerçek sorun olabileceğini öne sürüyorlar: “Katılımcılar, ChatGPT kullanırken genellikle özen göstermezler ve daha fazlasını yapmak için daha az motive olurlar. Yanıtlarındaki yanlış bilgileri doğrulayın ve düzeltin. Gözlemlerimize göre, ChatGPT grubundaki katılımcıların %70,8’i ilk ifade için “Doğru” yanıtını vererek ChatGPT yanıtlarına aşırı güvendiğini gösteriyor.”
ChatGPT’nin kalite avantajı vardır, her iki araca da güven eşittir
ChatGPT grubu, yanıtların kalitesine Google arama grubundan daha yüksek puan verdi (5,90’a karşı 4,62). Bunun nedeni büyük olasılıkla ChatGPT’nin eksiksiz ifadelerde daha erişilebilir bilgiler sağlamasıdır. Her iki teknolojideki güven düzeyi temelde aynıdır.
Eğitim geçmişi açısından, araştırmacılar ChatGPT katılımcıları arasında herhangi bir fark bulamadılar, ancak daha yüksek eğitime sahip kullanıcılar Google’ı kullanma konusunda daha fazla yeterlilik gösterdi.
Eğitim düzeylerinin karşılaştırılması
Katılımcılar, verilen yanıtları olduğu gibi kabul etme eğilimindedir ve her iki araçtan da bilgi kaynaklarını sorgulama eğilimi göstermezler. Katılımcılar her iki aracı kullanma konusunda benzer bir güven düzeyi sergilese de, Google Arama kullanıcılarının alakalı bilgileri bulmak için web sayfalarında gezinmek için daha fazla çaba sarf etmesi ve ek zaman harcaması gerekebilir. Bu nedenle, algılanan bilgi kalitesi daha düşüktür.
Buna karşılık, ChatGPT’nin rahatlığı, katılımcıları yanıtlarındaki bilgileri daha fazla keşfetme ve doğrulama konusunda caydırabilir ve bu da durum kontrolü görevlerinde vasatın altında bir performansla sonuçlanabilir. Ayrıca ChatGPT grubundaki katılımcılar, Google Arama grubundaki katılımcılara kıyasla aracı daha faydalı ve eğlenceli buluyor ve araçtan daha fazla memnuniyet ifade ediyor.
Algılanan kullanım kolaylığı, ChatGPT grubunda Google Arama grubuna göre nispeten daha yüksektir ancak aradaki fark %5 düzeyinde anlamlı değildir. Bu, insanların Google’a olan mevcut aşinalıklarına bağlanabilir ve denemelerimizdeki görevler onlar için önemli bir zorluk teşkil etmeyebilir.
kağıttan
Google’ın Arama Üretken Deneyimi, her iki dünyanın da en iyisini sunabilir
Araştırmanın sonuçları şaşırtıcı değil. Belirli bilgiler söz konusu olduğunda (Görev 1), ChatGPT bunu daha derli toplu bir şekilde özetler. Bu, tek tek sayfaları açmaktan daha hızlıdır.
Öte yandan, uçuş rezervasyonu (Görev 2) gibi gerçek zamanlı hizmetler için Google, belirli tekliflere derin bağlantılar aracılığıyla daha kesin sonuçlar sağlar.
OpenAI, kullanıcıların ChatGPT’nin doğruluk kontrolüne güvenmemesi gerektiğini defalarca vurguluyor ve Görev 3’ün sonuçları bu tezi destekliyor gibi görünüyor. Bununla birlikte, yalnızca bir vaka kontrol edildi ve aynı zamanda hızlı duyarlıydı, bu nedenle sonuç yalnızca anekdot niteliğindedir ve hiçbir şekilde temsili değildir.
Büyük dil modelleri, geleneksel web aramasına olası bir alternatif olarak tartışılmaktadır. Google, yapay zeka tabanlı arama prototipi Arama Üretken Deneyimi ile şu anda üretken yapay zekanın bazı arama görevlerini web’deki diğer sayfalara bağlantı vermekten daha iyi çözebileceğini gösteriyor.
Google zaten sohbet aramasının (sorulara, sorgulara doğrudan, bireysel yanıtlar) ve klasik aramanın (hizmetlerin AI yanıtlarına gerçek zamanlı entegrasyonu, güncel bilgiler) avantajlarını birleştiriyor. OpenAI, ChatGPT eklentileriyle benzer bir hizmet sağlamaya çalışıyor ancak teknik uygulama ve genel kullanıcı deneyimi açısından hala geride.