Yeni bir OpenAI ekibi, insanlardan çok daha akıllı olan gelecekteki yapay zeka sistemlerinin insan niyetini takip etmesini sağlamak için süper zeka uyumlaştırma zorluğunun üstesinden geliyor.
Ilya Sutskever ve Jan Leike tarafından yönetilen ekip, yapay zeka sistemlerinin güvenli kontrolünü sağlamak için bilimsel ve teknik atılımlar bulmaya kendini adamıştır.
Bu yeni ekibin iddialı hedefi, insan düzeyinde yeteneklere sahip “ilk otomatik hizalama araştırmacısını” yaratmaktır. Ekip, “büyük miktarda bilgi işlem” kullanarak “süper zekayı yinelemeli olarak hizalamayı” ve yalnızca dört yıl içinde süper zeka uyumlaştırmanın temel teknik zorluklarını çözmeyi umuyor. OpenAI, günümüzün güvenli bilgi işlem gücünün %20’sini bu amaca ayırıyor.
Süper zeka hizalaması temelde bir makine öğrenimi sorunudur ve harika makine öğrenimi uzmanlarının – halihazırda hizalama üzerinde çalışmıyor olsalar bile – bunu çözmede kritik öneme sahip olacağını düşünüyoruz.
OpenAI
Son zamanlarda, oldu büyüyen eleştiri bir süper yapay zeka tarafından yok olmanın distopyalarının, dikkati yapay zekanın mevcut tehlikelerinden uzaklaştırmak için tasarlandığını.
reklam
“İnanılmaz iddialı bir hedef”
Ekip, bu “inanılmaz derecede iddialı hedefe” ulaşmak için ölçeklenebilir bir eğitim yöntemi geliştirmeyi, ortaya çıkan modeli doğrulamayı ve hizalama boru hattını stres testi yapmayı planlıyor.
İnsanların değerlendirmesi zor olan görevler için bir eğitim sinyali sağlamaya yardımcı olabilecek ölçeklenebilir izleme ve genelleştirmeye odaklanmayı planlıyorlar. Buna ek olarak, sistem uyumunu doğrulamak için sorunlu davranış ve sorunlu iç süreçleri aramayı otomatikleştirmeyi ve rakip testi kullanarak tüm boru hattını değerlendirmeyi planlıyorlar.
Ekip, araştırma önceliklerinin değişebileceğini kabul ederken, sorun hakkında daha fazla şey öğrenmeyi ve potansiyel olarak yeni araştırma alanlarını yaklaşımlarına dahil etmeyi amaçlıyor. OpenAI, “bu çabanın meyvelerini geniş çapta paylaşma” sözü veriyor ve bu çabaya katılacak araştırmacılar ve mühendisler arıyor.
Yeni ekibin çalışmaları, mevcut modellerin güvenliğini artırmayı ve yanlış kullanım, ekonomik bozulma, dezenformasyon, önyargı ve ayrımcılık, bağımlılık ve bağımlılık gibi yapay zeka ile ilgili diğer riskleri anlamayı ve azaltmayı amaçlayan OpenAI’de devam eden projeleri tamamlayacak.