19 Haziran 2023 Güncellemesi:
OpenLLaMA ekibi, 13 milyar parametreli OpenLLaMA modelini yayınladı. Github’da mevcuttur. Ekip, OpenLLaMA için kullanılan tokenizer’ın kod için uygun olmadığını belirtiyor. Koda uygun bir model izlenecektir.
5 Mayıs 2023 tarihli orijinal makale:
OpenLLaMA, Meta’nın LLaMA dil modelinin açık kaynaklı bir kopyasıdır ve ticari olarak kullanılabilir.
reklam
Meta’nın LLaMA büyük dil modelleri ailesinin ortaya çıkışından ve ardından gelen sızıntıdan bu yana, açık kaynaklı sohbet robotlarının gelişimi patladı. Alpaca, Vicuna ve OpenAssistant gibi modeller, çeşitli talimat ayarlama biçimlerinin temeli olarak Meta’nın modellerini kullanır.
Ancak LLaMA modelleri, yalnızca araştırma amaçlı kullanım için lisanslanır ve bu, bu modellerin ticari kullanımını engeller.
OpenLLaMA, Meta’nın dil modellerini yeniden üretir
LLaMA, Deepmind’in Chinchilla ölçeklendirme yasalarını takip ettiğinden ve özellikle büyük miktarda veri üzerinde eğitildiğinden, ücretsiz olarak mevcut diğer modellere dayalı alternatifler Meta’nın modellerinin kalitesiyle eşleşmez.
Berkeley AI Research’teki araştırmacılar, OpenLLaMA projesinde Meta’nın LLaMA modellerini kopyalamak istiyor. Ekip, proje için Together’ın RedPajama veri kümesini kullanıyor. Açık kaynak platformu ayrıca Nisan ayında LLaMA modellerini yeniden üretme niyetini duyurdu ve ilk adım olarak 1,2 trilyon parametre veri setini yayınladı.
Berkeley ekibi, şu ana kadar 300 milyar 1,2 trilyon token üzerinde eğitilmiş olan 7 milyar parametreli OpenLLaMA modelinin erken bir sürümünü yayınlıyor. Performansın zaten LLaMA seviyesine yaklaştığı söyleniyor ve ekip, tamamen eğitilmiş OpenLLaMA’nın Meta’nın orijinaliyle rekabet edeceğinden emin.
Öneri
LLaMA’yı açık kaynak olarak çoğaltma çabamızın bir parçası olarak, RedPajama veri setinde 200 milyar jetonla eğitilmiş 7B OpenLLaMA modelinin ön izlemesinin yayınlandığını duyurmaktan memnuniyet duyuyoruz.
— Hao Liu (@haoliuhl) 2 Mayıs 2023
OpenLLaMA ayrıca 3 milyar parametreli versiyonda gelir
7 milyar parametreli modele ek olarak OpenLLaMA ekibi, sınırlı kaynaklara sahip kullanım durumlarında güçlü dil modellerinin kullanılmasını sağlamak için 3 milyar parametreli bir sürümü de eğitiyor.
Ekibin şu anda daha büyük modeller için bir planı yok. Together’ın LLaMA kopyası RedPajma da şimdilik 7 milyar parametre değişkeniyle sınırlıdır. AI modeli de şu anda eğitimde ve şimdiye kadar 500 milyar jeton sınırını geçmiş olmalıydı.
Alpaca formülü veya OpenAssistant yakında piyasaya çıkacak, tamamen eğitilmiş OpenLLaMA veya RedPajama modellerine geçebilir ve bunları ticari amaçlar için de kullanılabilir hale getirebilir ve işletmelere ilk kez OpenAI gibi hizmetlere gerçek bir açık kaynak alternatifi sunabilir. ChatGPT.
İlk OpenLLaMA modeli şu adreste mevcuttur: SarılmaYüzüdaha fazla bilgi ve kod ile Github.