HumanRF, NeRF’lere yüksek çözünürlüklü 3D avatarlar getiriyor. Arkasında sentetik medya için bir AI girişimi var.
Neural Radiance Fields (NeRF’ler), fotoğraflardan veya videolardan 3B temsilleri öğrenir ve tek tek nesneleri veya tüm sahneleri işleyebilir. Bazı varyantlar hareketli sahneler veya nesnelerde uzmanlaşır, diğerleri düzenleme yetenekleriyle deneyler yapar ve diğerleri insanları fotogerçekçi olarak işlemeye çalışır. NeRF’ler, 3D grafiklerde, video konferansta veya gelecekte metaverse’de önemli bir rol oynayacak yapay zeka teknolojilerinden biri olarak kabul edilir.
Sentetik medya yapay zeka kuruluşu Sytnhesia, UCL London ve TU Münih’ten araştırmacılar şimdi hareket halindeki insanlardan yüksek çözünürlüklü NeRF’leri öğrenmek için bir yöntem olan HumanRF’yi sunuyor.
ActorsHQ, hareket halindeki insanların 12 MP çözünürlüklü veri setidir.
Ekip, HumanRF’yi kendi veri kümelerinde eğitiyor. ActorsHQ, çoklu görüntülü video kullanılarak yakalanan 39.765 kare dinamik insan hareketinden oluşur. Ekip, küresel aydınlatma için bir LED dizisiyle birleştirilmiş tescilli bir çok kameralı çekim sistemi kullandı. Kamera sistemi, saniyede 25 kare hızında çalışan 160 Ximea 12 MP kamera ve 420 LED aydınlatma dizisinden oluşmaktadır.
reklam
Sonuç olarak ActorsHQ, maksimum 4 MP çözünürlüğe ulaşan eski veri kümelerinden çok daha yüksek çözünürlüklü veriler sağlar. Veri seti, rastgele seçilen 20 hareketi gerçekleştiren dört kadın ve dört erkek içerir.
HumanRF, uzun hareket dizilerini yüksek kalitede öğrenebilir
Ekip, HumanRF ile bu yüksek çözünürlüklü verileri yakalayan ve uzun sekanslar için bile insan aktörlerin geçici olarak tutarlı rekonstrüksiyonlarını elde ederken yüksek çözünürlüklü ayrıntıları görüntüleyebilen bir NeRF yöntemi sunuyor. Ekip, Nvidia’nın Instant-NGP’sinden ilham alıyor, ancak burada kullanılan kodlamalara bir zaman boyutu ekliyor.
Sonuçlar etkileyici ve ekip, yine piyasaya sürülen HumanRF ve AtorsHQ veri setinin, sanal insanların fotogerçekçi yeniden inşasında daha fazla ilerleme sağlamasını umuyor. Gelecekte ekip, eğitimli aktörlerin artikülasyonunu kontrol etmek için yöntemler keşfetmeyi planlıyor. Bu, Synthesia’nın kendi ürünlerini basit 2D kayıtlardan dinamik 3D avatarlara dönüştürmesine izin verebilir.
Ekip, kodu ve veri kümesini şu adreste kullanıma sunmayı planlıyor: HumanRF proje web sitesi. Daha fazla bilgi ve örnekler orada bulunabilir.