Açık kaynak dil modeli FalconLM, Meta’nın LLaMA’sından daha iyi performans sunar ve ticari olarak da kullanılabilir. Ancak ticari kullanım, gelir 1 milyon doları aşarsa telif ücretine tabidir.
FalconLM, Birleşik Arap Emirlikleri’nin Abu Dabi kentindeki Teknoloji İnovasyon Enstitüsü (TII) tarafından geliştirilmektedir. Kuruluş, FalconLM’nin bugüne kadarki en güçlü açık kaynaklı dil modeli olduğunu iddia ediyor, ancak 40 milyar parametreli en büyük varyant Meta’nın 65 milyar parametreli LLaMA’sından önemli ölçüde daha küçük.
Üzerinde Sarılma Yüz OpenLLM Skor TablosuÇeşitli kıyaslamaların sonuçlarını özetleyen, biri talimatlarla rafine edilmiş en büyük iki FalconLM modeli şu anda önemli bir farkla ilk iki pozisyonu elinde tutuyor. TII ayrıca 7 milyarlık bir model sunuyor.
FalconLM, GPT-3’ten daha verimli antrenman yapar
Geliştirme ekibine göre FalconLM’nin rekabet avantajının önemli bir yönü, eğitim için veri seçimidir. Dil modelleri, eğitim sırasında veri kalitesine duyarlıdır.
reklam
Araştırma ekibi, iyi bilinen ortak tarama veri kümesinden yüksek kaliteli verileri ayıklamak ve kopyaları kaldırmak için bir süreç geliştirdi. Bu kapsamlı temizliğe rağmen, güçlü dil modellerini eğitmek için yeterli olan beş trilyon parça metin (belirteç) kaldı.
FalconLM bir trilyon jeton üzerinde eğitildi. RafinedWeb veri setinden alınan veriler, bilimsel makalelerden ve sosyal medya tartışmalarından derlenen “birkaç” veri seti ile zenginleştirildi. En iyi performans gösteren öğretim sürümü olan chatbot sürümü, Baize veri kümesi.
TII ayrıca performans ve verimlilik için optimize edilmiş bir mimariden bahseder, ancak ayrıntı vermez. Kağıt henüz mevcut değil.
Ekibe göre, yüksek kaliteli veri kümesiyle birleştirilen optimize edilmiş mimari, FalconLM’nin eğitim sırasında GPT-3’ün hesaplama çabasının yalnızca yüzde 75’ini gerektirmesine, ancak eski OpenAI modelinden önemli ölçüde daha iyi performans göstermesine neden oldu. Çıkarım maliyetlerinin GPT-3’ün beşte biri olduğu söyleniyor.
Açık kaynak olarak mevcuttur, ancak ticari kullanım pahalı olabilir
TII’nin FalconLM için kullanım örnekleri arasında metin oluşturma, karmaşık sorunları çözme, modeli kişisel sohbet robotu olarak kullanma veya müşteri hizmetleri veya çeviri gibi ticari alanlar yer alır.
Öneri
Ancak ticari uygulamalarda TSEV, dil modeline atfedilebilecek bir milyon dolarlık gelirden kar etmek istiyor: Gelirlerin yüzde onu telif ücreti olarak ödeniyor. Ticari kullanımla ilgilenen herkes TSEV’in satış departmanıyla iletişime geçmelidir. Kişisel kullanım ve araştırma için FalconLM ücretsizdir.
FalconLM modellerinin tüm sürümleri aşağıdakiler için mevcuttur: Huggingface’ten ücretsiz indirme. Ekip, modellerin yanı sıra modellerin de bir bölümünü yayınlıyor. 600 milyar metin belirtecinden oluşan “RafineWeb” veri kümesi Apache 2.0 lisansı altında açık kaynak olarak. Örnekler zaten resimler için bağlantılar ve alternatif metin içerdiğinden, veri setinin çok modlu genişletme için hazır olduğu da söyleniyor.