Açık kaynak dil modellerinin ilerlemesi tartışılmaz. Ancak OpenAI, Google ve diğerlerinden çok daha pahalı, yoğun şekilde eğitilmiş dil modelleriyle gerçekten rekabet edebilirler mi?
Kulağa gerçek olamayacak kadar iyi geliyor: Alpaca Formula kullanılarak eğitilen açık kaynaklı dil modelleri, çok az eğitim çabası ve neredeyse sıfır maliyetle ChatGPT benzeri seviyelere ulaşarak son zamanlarda yeni ölçütler belirledi.
Alpaka Formülü, geliştiricilerin Meta tarafından yarı sızdırılmış ve yarı yayınlanmış dil modeli LLaMA’da ince ayar yapmak için ChatGPT ile oluşturulan eğitim verilerini kullandıkları anlamına gelir. Bu verileri kullanan LLaMA modeli, ChatGPT’ye benzer çıktıları çok kısa sürede ve çok az hesaplama çabasıyla üretmeyi öğrenir.
Hatta bir Google mühendisi, açık kaynak modellerin büyüyen yetenekleri hakkında dahili olarak alarm verdi. Açık kaynak sahnesinin Google gibi ticari modelcileri geride bırakabileceğini öne sürdü.
reklam
Ancak Berkeley Üniversitesi’ndeki araştırmacılar yakın tarihli bir çalışmada farklı bir sonuca vardılar: Alpaka formülünü LLaMA ve GPT-2’den bazı temel modellere uyguladılar, ardından bu sonuçları insanlar tarafından değerlendirip GPT-4 tarafından otomatik hale getirdiler.
Başlangıçta, kendilerinden önceki geliştiricilerle aynı sonuca vardılar: Araştırmacıların “taklit modeller” olarak adlandırdığı, talimatlarla rafine edilen modellerin performansı, temel modelin performansını çok aştı ve ChatGPT ile aynı seviyedeydi.
Başlangıçta taklit modellerin temel modellere göre ne kadar geliştiğine şaşırdık: talimatları takip etmede çok daha iyiler ve çıktıları ChatGPT’lerinkine benzer görünüyor. Bu, en iyi taklit modelimizin çıktılarının ChatGPT ile rekabet edebilir olarak derecelendirildiği hem insan hem de GPT-4 değerlendirmeleriyle daha da desteklendi.
kağıttan
Model taklidinin “yanlış vaadi” veya: kısayol yok
Bununla birlikte, “daha hedefli otomatik değerlendirmeler”, taklit modellerin aslında yalnızca taklit verilerini gördükleri görevlerde iyi performans gösterdiğini gösterdi. Diğer tüm alanlarda, GPT-4 ve co ile net bir performans farkı kaldı. çünkü bu temel modeller, yeteneklerinin çoğunu ince ayar sırasında değil, kapsamlı ön eğitim sırasında kazanır.
Taklit modeller ChatGPT’nin kendine güvenen stilini kopyalamaya devam ettiğinden, gerçekliğini ve akla yatkınlığını değil, insan değerlendiriciler bu tutarsızlığı gözden kaçırabilir. Basitçe söylemek gerekirse, taklit modeller içerikten çok stili öğrenir ve içeriğe aşina olmayan insanlar bunu fark etmez.
Araştırmacılar, AI içeriğini genellikle uzmanlık olmadan ve kısa bir süre içinde değerlendiren bu sözde kalabalık çalışanların kolayca kandırıldığını öne sürüyor. “İnsan değerlendirmesinin geleceği belirsizliğini koruyor” diye yazıyorlar. GPT-4, bazı alanlarda insan eleştirmenleri taklit edebilir, ancak insan benzeri bilişsel önyargılar gösterdi. Daha fazla araştırmaya ihtiyaç olduğunu söylüyorlar.
Öneri
Araştırmacıların vardığı sonuç: Taklit modellerin zayıflıklarını telafi etmek için taklit verilerinin “hantal miktarda taklit verileri” – veya daha iyi temel modellere – ihtiyaç duyulacaktır.
AI model hendek gerçek
Araştırmaya göre, en iyi konumdaki şirketler, modellerinin yeteneklerini büyük miktarda veri, bilgi işlem gücü ve algoritmik uç ile öğretebilen şirketler olacak.
Buna karşılık, veri kümeleriyle “hazır” dil modellerini iyileştiren şirketler hendek inşa etmekte zorlanırlar. Ayrıca, öğretmen modelinin tasarım kararlarına hiçbir katkıları olmayacak ve yetenekleri tarafından yukarı doğru sınırlandırılacaklardı.
Taklit öğrenmenin olumlu bir yönünün, stil benimsendiğinde, güvenli ve toksik tepkilerle ilişkili davranışın da eğitmen modeli tarafından benimsenmesi olduğunu söylediler. Sonuç olarak, güçlü bir temel modele sahipseniz ve ince ayar yapmak için ucuz verilere ihtiyacınız varsa, taklit öğrenme özellikle etkili olacaktır.
OpenAI araştırmacısı John Schulman da yakın zamanda ChatGPT verilerinin açık kaynaklı temel dil modellerinde ince ayar yapmak için kullanılmasını eleştirdi ve ince ayar veri kümeleri orijinal modelde bulunmayan bilgiler içeriyorsa daha yanlış içerik üretebileceklerini söyledi.
Açık kaynaklı OpenAssistant projesi burada öne çıkıyor; burada veri kümeleri yapay zeka tarafından oluşturulmak yerine insan gönüllüler tarafından toplanıyor. Meta’nın yapay zeka şefi Yann LeCun, gidilecek yolun bu olduğuna inanıyor“insan geri bildiriminin *kitle kaynaklı, Wikipeda tarzı olması gerektiğini” söyleyerek, açık kaynaklı temel modellerin “insan bilgisinin ortak deposu” gibi bir şey haline gelebilmesi için.