LIMA ile Meta’nın yapay zeka araştırmacıları, görece az sayıda örnekle ince ayar yapılmış olsa da test senaryolarında GPT-4 ve Bard düzeyinde performans sağlayan yeni bir dil modeli sunuyor.
LIMA, “Less is More for Alignment” anlamına gelir ve bu ad, modelin işlevini ima eder: Kapsamlı bir şekilde önceden eğitilmiş bir AI modeliyle, yüksek kaliteli sonuçlar elde etmek için birkaç örneğin yeterli olduğunu göstermeyi amaçlar.
Bu durumda birkaç örnek, Meta’nın 1.000 farklı istemi ve bunların diğer araştırma makaleleri, WikiHow, StackExchange ve Reddit gibi kaynaklardan elde ettiği çıktıları manuel olarak seçtiği anlamına gelir.
Ekip daha sonra bu örnekleri, açık kaynak dil modeli hareketini ateşleyen sızdırılmış dil modeli olan kendi 65 milyar parametreli LLaMA modelini iyileştirmek için kullandı. Meta, OpenAI’nin modellerini ayarlamak için kullandığı ve yapay zekanın geleceğinin önemli bir parçası olarak gördüğü pahalı RLHF’den kaçındı.
reklam
İçerik yerine stil
Meta, insanlara LIMA ve GPT-4, text-davinci-003 ve Google Bard gibi diğer modellerin sonuçlarını karşılaştırdı. Meta’ya göre, insan değerlendiriciler, 200 örnekte zamanın yüzde 43’ünde LIMA’nın yanıtlarını tercih etti; LIMA, yüzde 58 oranında Google Bard’dan ve yüzde 65 oranında text-davinci-003’ten daha iyi performans gösterdi. LIMA hariç tüm bu modeller, insan geri bildirimleriyle geliştirildi.
Meta araştırma ekibi, bu sonuçların, bir dil modelinin bilgisinin çoğunu ön eğitim yoluyla edindiğini ve birkaç örnekle oldukça sınırlı ince ayarın, modellere yüksek kaliteli içerik üretmeyi öğretmek için yeterli olduğunu gösterdiğini öne sürüyor.
Sonuç olarak, OpenAI tarafından kullanılan kapsamlı insan geri bildirim eğitimi, daha önce düşünüldüğü kadar önemli olmayabilir. Meta’nın araştırma makalesinde açıkça belirttiği bir nokta.
“Yüzeysel Hizalanma Hipotezi”
Meta bu bulguyu “yüzeysel hizalanma hipotezi” olarak tanımlıyor. Ön eğitimden sonraki sözde hizalama aşamasının, öncelikle modele, kullanıcılarla etkileşim kurarken hatırlayabileceği belirli bir stil veya format öğretmekle ilgili olduğunu söylüyor.
Böylece, ince ayar içerikten çok tarzla ilgilidir. Bu, OpenAI’nin RLHF’si gibi özellikle kapsamlı ve karmaşık ince ayar süreçlerine ilişkin yaygın uygulamanın tersi olacaktır.
Öneri
Meta’nın araştırma ekibi, LIMA’nın iki sınırlaması görüyor: Birincisi, yüksek kaliteli örneklerle veri kümeleri oluşturmak, ölçeklendirilmesi zor olan zorlu bir yaklaşımdır. İkincisi, LIMA, GPT-4 gibi halihazırda ürün olarak mevcut olan modeller kadar sağlam değildir.
Ekip, LIMA’nın çoğunlukla iyi yanıtlar ürettiğini, ancak “düşmanca bir istem” veya “şanssız bir örnek”in zayıf yanıtlara yol açabileceğini söylüyor. Yine de Meta’nın ekibi, Lima’nın bir yapay zeka modelini hizalama ve ince ayar yapma karmaşık sorununun basit bir yaklaşımla çözülebileceğini gösterdiğini söylüyor.
Meta’nın AI araştırma başkanı Yann LeCun, pragmatik bir görüş alır GPT-4 ve benzeri modellerin ardındaki çabanın bu göreli devalüasyonu: Büyük dil modellerini, en azından “önemli değişiklikler olmadan” orta vadede rol oynamayacak yakın geleceğin bir unsuru olarak görüyor.