Starcoder is a performant open-source model for copyright-compliant code



özet
Özet

Hugging Face ve ServiceNow’un ortak girişimi olan BigCode, iki büyük açık kaynak kod dili modeli olan Starcoder ve StarcoderBase’i sunar. Araştırmacılar, şeffaf ve telif hakkıyla uyumlu veri seçimine özel önem vermektedir.

15,5 milyar parametreli Starcoder modelleri, 86 programlama dilinde kod üretebilir. Araştırmacılar, yeni bir yaklaşımla, Starcoder modellerinin sırayla her bir belirteci işlemek yerine kodun birden çok parçasına aynı anda odaklanmasını sağlayan “çoklu sorgu dikkati” adlı bir yöntem kullandı. Bu, her iki Starcoder modelinin de daha büyük miktarlarda kodu (8K bağlam pencereleri) daha hızlı ve daha verimli okumasını sağlayarak kodun anlaşılmasını ve kod oluşturulmasını hızlandırır.

Katılımcı araştırmacı Lubna Ben Allal’a göre, Starcoder modelleri yoğun bir şekilde seçilmiş veriler üzerinde eğitildi, bu da çok fazla insan çabası anlamına geliyordu: “Seçilen programlama dillerindeki tüm uzantılar için 50-100 dosyayı manuel olarak inceledik ve uygun filtreleri seçtik,” Ben Allal dedi.

Çalışma meyvesini vermiş gibi görünüyor: Her iki model de kıyaslamalarda birden çok programlama dilini destekleyen diğer tüm açık modellerden daha iyi performans gösteriyor ve hatta OpenAI “code-cushman-001” modeline eşit veya ondan daha iyi performans gösteriyor.

reklam

Bu, Starcoder’ı tescilli endüstriyel yapay zeka modelleriyle rekabet edebilecek büyüyen açık kaynaklı yapay zeka modelleri listesine ekler, ancak Starcoder’ın kod performansı yine de GPT-4’ün gerisinde kalabilir.

Starcoder ekibi gizliliğe ve telif haklarına saygı duyar

Her iki model de veri yönetişiminde yeni bir standart belirlemeyi hedefliyor. Ekip, veri eğitimi için kişisel referanslar olmadan yalnızca izin verilen verileri kullandığını ve ayrıca, kodunuzun The Stack veritabanından kullanılan verilere dahil edilip edilmediğini kontrol etmek istemeniz durumunda bir devre dışı bırakma mekanizması ve bir kod parçacığı arama motoru uyguladığını söylüyor. .

Ekip, Starcoder modelini altında yayınlar. Açık Sorumlu Yapay Zeka Modeli lisansı, ticari kullanımı destekler. Model, kutudan çıktığı haliyle talimat için optimize edilmiş değildir, ancak bazı ek talimatlarla bir teknik asistan olarak optimize edilebilir. İlgili tüm diğer bilgiler ve bağlantılar şu adreste bulunabilir: HuggingFace Starcoder.



Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top