İnsan verileri gerçekten insan mı? Bir çalışma farklı bir sonuca varıyor. Sözde insan metin özetlerinin neredeyse yarısı bir yapay zekadan geldi.
École Polytechnique Fédérale de Lausanne (EPFL) tarafından yakın zamanda yapılan bir araştırma, büyük dil modellerine dayanan ChatGPT gibi yapay zeka araçlarının insanlar tarafından gerçekleştiriliyormuş gibi görünen işlerdeki rolünü inceledi.
Çalışma, kullanıcıların metin özetleme gibi görevleri sunabilecekleri ve gerçekleştirebilecekleri Amazon’un Mechanical Turk (MTurk) kitle kaynak kullanımı platformuna odaklandı.
Özetlerin yaklaşık yarısı yapay zekadan geldi
Araştırmacılar, çalışmada sunulan özetlerin yüzde 33 ila 46’sının yapay zeka dil modelleri kullanılarak oluşturulduğunu buldu. Kalabalıktan yaklaşık 400 kelimelik tıbbi metinleri özetlemeleri istendi. Araştırmacıların talimatları aslında bir metin AI istemi gibi okunuyor:
reklam
Size ilaçla ilgili bilgiler içeren kısa bir metin (yaklaşık 400 kelime) verilecektir. Göreviniz:
- Metni dikkatlice okuyun.
- Metnin bir özetini yazın. Özetiniz:
- Metindeki en önemli bilgileri sanki başka birini bilgilendirmeye çalışıyormuş gibi iletin.
az önce okudukların hakkında- En az 100 kelime içerir.
Yüksek kaliteli özetler bekliyoruz ve bazılarını manuel olarak inceleyeceğiz.
Çalışmanın sonuçları, insan verilerinin gerçekliği hakkında ciddi soruları gündeme getiriyor. Araştırmacılar, AI dil modellerinin kullanımını tespit etmek için tuş vuruşu tanıma ve sentetik metin sınıflandırmasının bir kombinasyonunu kullandılar.
Yüksek doğrulukla eğitilmiş tescilli tanıma modeli
GPTZero gibi yapay zeka metin algılayıcıları güvenilir sonuçlar sağlamadı. GPTZero, AI tarafından oluşturulan on özetten yalnızca altı tanesini böyle tanıdı. Bunun yerine, araştırmacılar hem insan tarafından yazılan hem de yapay zeka tarafından oluşturulan özetleri kullanarak kendi modellerini eğittiler. Araştırmacılara göre bu model, AI metnini doğru bir şekilde tanımada yüzde 99’a varan doğruluk elde etti.
Makalede, “Bu yüksek puanlar, en azından eldeki görev için, gerçek ve sentetik metinler arasında ayrım yapmak için evrensel özellikleri öğrenmesini sağlayan soyut özetleme görevlerinde tanımlanabilir bir ChatGPT parmak izi olduğunu gösteriyor.”
AI tarafından oluşturulan metinler genellikle orijinal özetlere çok az benzerlik gösteriyordu, bu da AI modellerinin orijinal özetlerin bazı kısımlarını kopyalayıp yapıştırmak yerine yeni metinler ürettiğini gösteriyor.
İnsan emeğinin değeri hala ne kadar?
İsviçreli araştırmacılara göre, bu bulguların geniş kapsamlı etkileri var. Metin oluşturmaya artan insan katılımı eğiliminin azaldığının ve yerini yapay zekanın aldığının altını çiziyorlar. İnsan verileri altın standart olarak kabul edildiğinden, bunun kitle kaynaklı platformlarda bulunan verilerin kalitesi ve çeşitliliği üzerinde olumsuz bir etkisi olabilir.
Öneri
Araştırmacılar, “Bütün bunlar söyleniyor, bunun kitle çalışmasının sonu anlamına geleceğine inanmıyoruz, ancak kitle işçilerinin sağladığı değerde radikal bir değişime yol açabilir” dedi. Bunun yerine, kalabalık çalışanlar, bu modellerin ne zaman başarılı ve ne zaman başarısız olduklarını belirlemek için önemli bir insan filtresi görevi görebilir. Yapay zeka kısmen insan emeğinin yerini alıyor gibi görünse de, eğitim dili modellerinin önemli bir parçası olmaya devam ediyor.
Güvenilir AI metin tanıma çerçevesi
Araştırmacılar, bu görevler için yapay zekanın yaygınlığına ilişkin içgörülere ek olarak, belirli kullanım durumlarında yapay zeka metnini güvenilir bir şekilde tanımak için sağlam görünen bir çerçeve geliştirdiler. Bununla birlikte, bu yöntemde tuş vuruşlarının (habersiz) izlenmesinin etik açıdan tamamen kritik olmayacağını ve bu nedenle daha geniş bir ölçekte uygulanamaz olma eğiliminde olacağını da belirtiyorlar.
Ayrıca, yapay zekanın kalabalık çalışanlar tarafından kullanılması mahremiyet sorunlarına yol açabilir. Örneğin, OpenAI yönergeleri rakip ürünleri eğitmek için model çıktısının kullanılmasını yasakladığından, ChatGPT’yi kullanırken kalabalık çalışanların çalışmalarının daha fazla yapay zeka eğitimi için kullanılmasını açıkça yasaklaması gerekir. Bu nedenle, yapay zeka müşterilerin bilgisi olmadan kalabalık çalışanlar tarafından kullanılırsa yasal sonuçlar doğabilir.