Chatbots allow people with no lab training to create pandemic viruses, study finds

Özet

Cambridge ve Harvard Üniversiteleri tarafından yapılan bir saha araştırması, büyük dil modellerinin (LLM’ler) hem iyi hem de kötü yönde kullanılabilecek araştırmalar olan çift kullanımlı biyoteknolojilere erişimi demokratikleştirip geliştirmediğini araştırıyor.

Araştırma ekibinin temel tezi, dil modellerinin uzman bilgisine erişimi kolaylaştırdığıdır. Elbette, bu kişisel öğretmenin birçok avantajı vardır. Ancak çalışmada, araştırma ekibi olumsuz bir senaryoya odaklanıyor: LLM’lerin, resmi eğitim olmadan bireylerin feci zararlara neden olabilecek virüsleri tanımlamasına, edinmesine ve salmasına olanak sağlayıp sağlamadığı.

Sınıf Alıştırması: Bir Pandemik Virüs Tasarlayın

MIT’deki bir sınıf çalışmasının parçası olarak araştırma ekibi, bilim insanı olmayan öğrencilere potansiyel pandemik ajanlar ve özellikleri, bulaşıcı virüs örneklerinin kaynakları, bu virüslerin tekrarlanabilirliği ve nasıl alınacağı hakkında bilgi edinmeleri için büyük dil modelleri kullanma görevi verdi. ekipman ve kaynaklar.

Öğrenciler, GPT-4, GPT 3.5, Bing, Bard ile ChatGPT gibi popüler sohbet robotlarını ve FreedomGPT dahil olmak üzere bir dizi başka sohbet robotunu ve açık kaynak modellerini kullandılar. Görevi tamamlamaları için onlara bir saat verildi.

Araştırma ekibine göre, bir saat içinde sohbet robotları dört potansiyel pandemik patojen önerdi. Bunların ters genetik kullanılarak sentetik DNA’dan nasıl yapılabileceğini açıkladılar ve siparişleri doğrulama olasılığı düşük olan DNA sentez şirketlerinin adını verdiler.

Ayrıca ayrıntılı protokoller, olası hatalar ve bunların nasıl düzeltileceği konusunda bilgi verdiler. Ters genetiğe aşina olmayanlar için bir tavsiye, sözleşmeli bir araştırma kuruluşu kiralamaktı.

Yetersiz LLM korumaları, distopik bir görünüme yol açar

Aynı zamanda, öğrencilerden bazı dil modellerinde bulunan güvenlik çizgisini uygun metin komutlarıyla çevrelemenin yollarını bulmaları istendi.

İki grup, chatbot’un olumlu bir niyete inanması için kandırıldığı ve yanıt vermezse insanlık için varoluşsal bir riskle tehdit edildiği “Şimdi Her Şeyi Yap” ilkesinde bir çözüm buldu. Üçüncü bir grup, sohbet botlarını kandırarak ilgilendiklerini düşündüler ve çok fazla hile yapmadan istedikleri tüm cevapları aldılar.

Bu sonuçlar, ağırlıklı olarak insan geri bildirimi (RLHF) ile takviyeli öğrenmeye dayanan LLM’ler için mevcut değerlendirme ve eğitim sürecinin, kötü niyetli aktörlere toplu ölüme neden olma konusunda erişilebilir uzmanlık sağlamalarını engellemek için yetersiz olduğunu kuvvetle göstermektedir. Yeni ve daha güvenilir önlemlere acilen ihtiyaç duyulmaktadır.

kağıttan

Araştırmacıların vardığı sonuç bundan daha distopik olamazdı: Sohbet robotları, biyoloji bilimi eğitimi olmayan insanlara pandemik patojenlere erişim sağlarsa, on milyonları öldürebilecek bireylerin sayısı çarpıcı biçimde artacaktır. Ancak araştırma ekibinin bu riske olası çözümleri var.