“System 2”-inspired method enhances GPT-4’s logic capability



özet
Özet

“Düşünce Ağacı” çerçevesi, dil modelinin problem çözme yeteneklerini önemli ölçüde geliştirmek için ağaç arama ile GPT-4’ü birleştirir.

“Düşünceler Ağacı”, Princeton Üniversitesi ve Google DeepMind’daki araştırmacıların GPT-4 gibi çıkarım yapan dil modelleri için, Düşünce Zinciri gibi hızlı mühendislik yöntemlerinden ilham alan yeni bir çerçevedir. Bununla birlikte, bunlardan farklı olarak, ToT yalnızca yönlendirmeye dayalı değildir ve problem çözme için ara adımlar olarak ekibin “düşünceler” olarak adlandırdığı metin birimlerini kullanmak için harici bir modül kullanır.

Düşünce Ağacı, tanıdık yönlendirme stratejilerinden öğeler alır, ancak eksiksiz bir çerçevedir. | Resim: Yao ve ark.

Ekibe göre ToT, GPT-4’ün “birden fazla farklı muhakeme yolunu göz önünde bulundurarak ve bir sonraki eylem planına karar vermek için kendi kendini değerlendirerek ve ayrıca küresel seçimler yapmak için gerektiğinde ileriye veya geriye bakarak” karar vermesini sağlıyor.

Deneylerde ekip, ToT çerçevesinin GPT-4’ün problem çözme yeteneğini bazen önemli ölçüde iyileştirdiğini gösteriyor. Örneğin, GPT-4, “Game of 24”teki görevlerin sadece yüzde 4’ünü düşünce zinciri yönlendirme ile çözebilirken, ToT’li dil modeli yüzde 74’lük bir başarı oranı elde ediyor. ToT ayrıca GPT-4’ün mini çapraz bulmacalar ve yaratıcı yazma görevlerindeki performansını önemli ölçüde artırır.

reklam

GPT-4 ve AlphaZero bir araya geliyor

Bu şekilde ToT, AlphaZero gibi yapay zeka sistemlerinde kullanılanlara benzer arama buluşsal yöntemleriyle GPT-4 gibi büyük dil modellerinin temel muhakeme yeteneklerini artırır. DeepMind’in AI sisteminin aksine, ToT öğrenmez, GPT-4’ün kendi kendini değerlendirmesi ve üzerinde düşünmesi yoluyla sezgisel arama yöntemini uygular. Ekibe göre, ToT aynı zamanda Daniel Kahneman’ın Sistem 1 ve Sistem 2.

Düşünce Ağacı çerçevesi, problem çözme hakkındaki klasik içgörüleri çağdaş LM’ler için eyleme geçirilebilir yöntemlere çevirmenin bir yolunu sunar. Aynı zamanda, LM’ler, yaratıcı yazma gibi kolayca resmileştirilemeyen karmaşık sorunları çözmek için bir yol sağlayarak, bu klasik yöntemlerin bir zayıflığını ele alır.

Yao ve ark.

Başka bir ön baskıda, Theta Labs’tan bir araştırmacı ayrıca bir “Düşünce Ağacı” yöntemini ve Sudoku bulmacalarındaki önemli gelişmeleri gösteriyor. Yazar, AlphaZero’dan bilinen kendi kendine oynama tekniklerini ilginç bir araştırma yönü olarak gösteriyor. Benzer bir yöntem, ToT sisteminin dil modellerinin eğitim metni külliyatında bulunmayan yeni problem çözme stratejileri geliştirmesine izin verebilir.

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top