Nvidia’nın Neuralangelo’su, nöral ağları kullanarak 2D video kliplerin 3D rekonstrüksiyonu için yeni bir standart belirliyor.
Neuralangelo, Nvidia ve Johns Hopkins Üniversitesi’nin video çekimlerinden 3B yeniden yapılandırmayı öğrenen ve bunları 3B nesneler olarak çıkarabilen ve işleyebilen yeni bir yapay zeka modelidir. Önceki yöntemlerle karşılaştırıldığında, Neuralangelo çok daha fazla yüzey ayrıntısı yakalar ve basit nesneleri, ev cephelerini veya tüm binaları çevreleriyle birlikte işleyebilir.
Nvidia’ya göre, Neuralangelo tarafından üretilen 3D yapılar tasarım uygulamalarına aktarılabilir ve daha sonra sanat, video oyunları, robotik veya endüstriyel dijital ikizler için işlenebilir.
Neuralangelo, diğer yöntemlerden daha fazla ayrıntı yakalıyor”
“Neuralangelo’nun çatı kiremitleri, cam levhalar ve pürüzsüz mermer dahil olmak üzere karmaşık malzemelerin dokularını 2D videolardan 3D varlıklara çevirme yeteneği, önceki yöntemleri önemli ölçüde geride bırakıyor. Yüksek doğruluk, geliştiricilerin ve yaratıcı profesyonellerin akıllı telefonlar tarafından çekilen görüntüleri kullanarak projeleri için kullanılabilir sanal nesneleri hızla oluşturmaları için 3D rekonstrüksiyonlarını kolaylaştırıyor” dedi.
reklam
Nvidia tarafından yayınlanan görüntülerde ekip, Neuralangelo’nun Michelangelo’nun mermer heykelinden meyve sepetine ve Nvidia Bay Area Kampüs parkına kadar her şeyi nasıl yeniden inşa edebileceğini gösteriyor.
AI modeli, bazı optimizasyonlarla önceki yaklaşımların sınırlamalarının üstesinden gelir ve daha ince ayrıntıları yakalamak için Nvidia’nın Instant-NGP yöntemini kullanır. Sonuç olarak, nesneler çok daha yüksek bir çözünürlüğe sahiptir ve düz duvarlardaki hatalar gibi diğer yöntemlerle oluşan eserler görünmez.
Nvidia, Neuralangelo’yu daha da optimize etmek istiyor
Ekip, tüm deneyleri bir Nvidia V100 GPU üzerinde gerçekleştirdi ve 500.000 yineleme için eğitim aldı. Bununla, bir sahneyi eğitmek yaklaşık 16 saat sürer.
Yöntemimiz şu anda, istatistiklerini ve hatalarını izlemeden görüntülerden pikselleri rastgele örnekler. Bu nedenle, stokastikleri azaltmak ve yeterli ayrıntı örneklemesi sağlamak için uzun eğitim yinelemeleri kullanıyoruz.
Kağıttan.
Ekip, gelecekte Neuralangelo’nun eğitim sürecini hızlandırmak için daha verimli örnekleme stratejileri geliştirmeyi umuyor. Nvidia’nın InstantNeRF’i bunun mümkün olduğunu zaten gösterdi.
Daha fazla bilgi şu adreste mevcuttur: Neuralangelo proje sayfası.
Öneri
