Resim: Song ve ark.
Artikel, JavaScript’in etkinleştirilmesiyle sınırlı olabilir. Tarayıcıyı etkinleştirin ve JavaScript’i etkinleştirin.
NeRF’ler, bir sinir ağındaki 3B sahneleri temsil eder. Yeni bir çalışma, AI teknolojisini dinamik sahnelere açıyor. Araştırmacılar, teknolojinin kullanımının özellikle VR için ilginç olabileceğini yazıyor.
Nöral Parlaklık Alanları (NeRF’ler), görüntülerden 3B temsilleri öğrenir ve ardından daha önce görülmemiş açılardan 3B sahneler oluşturabilir. Bu, örneğin bir nesnenin etrafında 360 derecelik bir kamera turu, drone görüntüleri aracılığıyla bir uçuş turu veya bir restoranın içinde bir yürüyüş sağlar. Teknoloji ayrıca fotogerçekçi 3B nesneler de oluşturabilir.
NeRF’ler, 2B görüntülere dayalı olarak 3B temsilleri öğrenebilir. | Bild: Song ve ark.
Bununla birlikte, hemen hemen tüm durumlarda, NeRF sahneleri veya nesneleri statiktir, çünkü hareket, eğitim sürecine çözülmesi zor olan zamansal bir boyut getirir. Yeni bir süreç bu sorunu çözebilir.
Dinamik sahneler için NeRF’ler
Buffalo Üniversitesi, ETH Zürih, InnoPeak Technology ve Tübingen Üniversitesi’nden bir ekip, yeni bir araştırma makalesinde, NeRF’lerin dinamik sahneleri nasıl temsil edebildiğini ve böylece 2B görüntülerden 4B gösterimi nasıl öğrendiğini gösteriyor.
Farklı kameralardan veya tek bir hareketli kameradan alınan RGB görüntüler girdi görevi görür. Görüntülerde örneğin bir kişi hareket ediyor veya biri bir bardağa kahve dolduruyor.
NeRF’ler dinamik sahneleri öğrenebilir. Bunu başarmak için ayrışma alanı adı verilen bir alan sahneyi farklı alanlara ayırır. | Resim: Song ve ark.
Ekip, dinamik bir sahneyi uyarlanabilir hale getirmek için onu üç zamansal kalıba ayırır: statik, deforme olan ve yeni alanlar.
Kahve örneğinde bardağın yerleştirildiği tahta tahta statik kalmaktadır. Camın içeriği yeni ve görünen el deforme olmuş olarak sınıflandırılır. Ayrışma alanı, sahnenin üç kategoriye ayrılmasını sağlar. Her alan kendi nöral alanıyla temsil edilir.
Araştırmacılar yaklaşımlarında, temsili geliştirmek için zamansal ve uzamsal boyutları da ayrıştırıyorlar.
NeRFPlayer, NeRF akışını etkinleştirir
Dinamik sahnenin ayrıştırıcı temsili, diğer yaklaşımlara kıyasla görsel artefaktları önemli ölçüde azaltır. Ekip ayrıca, öğrenilen temsilleri sınırlı bit hızlarıyla gerçek zamanlı olarak yayınlamanın bir yolu olan NeRFPlayer’ı da gösteriyor.
Nvidia’nın InstantNGP’si Bir sinir ağının gigapiksel görüntülerin, 3B nesnelerin ve NeRF’lerin temsillerini saniyeler içinde öğrenmesini sağlayan çerçeve, sunulan yöntemi de hızlı hale getirir.
Hem çoklu hem de tek kamerayla çekilen görüntülerden dinamik sahneleri temsil etmek için bir çerçeve sunuyoruz. Çerçevemizin temel bileşenleri ayrıştırma modülü ve özellik akışı modülüdür. Ayrıştırma modülü, sahneyi statik, deforme olan ve yeni alanlara ayrıştırır. Daha sonra, ayrıştırılan nöral alanların verimli bir şekilde modellenmesi için kayan pencere tabanlı bir hibrit temsil tasarlanmıştır. Çoklu ve tek kameralı veri kümeleri üzerindeki deneyler, yöntemimizin verimliliğini ve etkililiğini doğrulamaktadır.
kağıttan alıntı
Makalede ekip, gerçek bir 4D uzay-zaman ortamının sanal gerçeklikte görsel olarak keşfedilmesini bir vizyon olarak adlandırıyor ve çalışmasını muhtemelen bu amaca katkıda bulunuyor olarak görüyor. Araştırmacılar, “Gerçek dünyadaki bir 4D uzay-zamansal uzayda VR’de özgürce görsel olarak keşif yapmak uzun vadeli bir arayış oldu. Görev, dinamik sahneyi yakalamak için yalnızca birkaç hatta tek RGB kamera kullanıldığında özellikle çekici” diyor.
NeRF gösterilerinde gösterilen 3B sahneler, 2020’de ortaya çıktı Uzamsal olarak filme alınmış ışık alanı videoları hakkında Google araştırma makalesi.
Not: Makalelerdeki çevrimiçi mağazalara olan bağlantılar, bağlı kuruluş bağlantıları olarak adlandırılabilir. Bu bağlantı üzerinden satın alırsanız, KARIŞIK sağlayıcıdan bir komisyon alır. Sizin için fiyat değişmez.