Stable Diffusion şirketi Stability AI, CarperAI ile birlikte iki yeni büyük dil modeli yayınladı. Bunlardan biri Meta’nın Llama v2’sini temel alıyor, performansını artırıyor ve açık kaynak geliştirmenin ne kadar hızlı olabileceğini gösteriyor.
Her iki FreeWilly modeli de Meta’nın Llama modellerine dayanmaktadır ve FreeWilly2 halihazırda 70 milyar parametreli daha yeni Llama-2 modelini kullanmaktadır. FreeWilly ekibinin kendi çabası, “yüksek kaliteli talimatlarla” oluşturulan yeni bir sentetik veri kümesiyle “dikkatli ince ayar” yapmaktır.
Büyükten küçüğe
Kullanılan takım Microsoft’un “Orca yöntemi” çıktı stilini basitçe taklit etmek yerine, küçük bir modele büyük bir dil modelinin adım adım akıl yürütme sürecini öğretmeyi içerir. Bunu yapmak için, Microsoft araştırmacıları daha büyük modelle, bu durumda GPT-4 ile adım adım muhakeme süreçlerini içeren bir eğitim veri seti oluşturdu.
Bu tür deneylerin amacı, bir tür öğretmen-öğrenci ilkesi olan, büyük olanlara benzer şekilde performans gösteren küçük yapay zeka modelleri geliştirmektir. Orca, bazı testlerde benzer boyuttaki modellerden daha iyi performans gösteriyor ancak orijinal modellerle boy ölçüşemiyor.
reklam
FreeWilly ekibi, Orca ekibi tarafından kullanılan veri kümesinin yalnızca yaklaşık yüzde onu olan, seçtikleri istemler ve dil modelleriyle 600.000 veri noktasından oluşan bir veri kümesi oluşturduklarını söylüyor. Ekip, bunun gerekli eğitim miktarını önemli ölçüde azalttığını ve modelin çevresel ayak izini iyileştirdiğini söylüyor.
VanillaLlama v2 zaten daha iyi performans gösterdi
Genel kıyaslamalarda, bu şekilde eğitilen FreeWilly modeli, bazı mantıksal görevlerde ChatGPT ile eşit sonuçlar elde ediyor ve Llama 2’ye dayalı FreeWilly 2 modeli, FreeWilly 1’den açıkça daha iyi performans gösteriyor.
Tüm kıyaslamalarda ortalama olarak FreeWilly 2, Llama v2’nin yaklaşık dört puan önündedir; bu, Meta’nın yeni standart modelinin iyileştirmeye açık olduğunu ve açık kaynak topluluğunun bu modelden yararlanmaya yardımcı olabileceğinin ilk göstergesidir.
Genel olarak, FreeWilly 2 şu anda listenin başında en iyi performans gösteren açık kaynak modelleriorijinal Llama 2 ile önemli genel dil anlama ölçütü MMLU’da hala biraz önde.
FreeWilly1 ve FreeWilly2, açık erişim Büyük Dil Modelleri alanında yeni bir standart belirliyor. Her ikisi de araştırmayı önemli ölçüde ilerletir, doğal dil anlayışını geliştirir ve karmaşık görevleri etkinleştirir.
Carper AI, Stabilite AI
FreeWilly modelleri yalnızca araştırma amacıyla geliştirilmiştir ve ticari olmayan bir lisans altında yayınlanmıştır. Onlar yapabilir HuggingFace’ten indirildi Burada.
Öneri
