4DHumans, videolarda insan pozunu izler ve şekillerini 3 boyutlu olarak yeniden oluşturabilir. Arkasındaki ekip birçok uygulamayı görür ve modeli yayınlar.
4DHumans’ın kalbinde, bilgisayar görüşü için transformatör mimarilerini kullanma eğilimini izleyen eski bir yöntemin (HMR / İnsan Ağ Kurtarma) geliştirilmiş hali olan HMR 2.0 yer alır. HMR 2.0, görüntülerdeki insan pozlarını izlemek için görüntü dönüştürücüler ve MLP’ler kullanır ve bu bilgiyi 3D insan pozu ve şekli yeniden yapılandırması için kullanan tüm 4DHumans sisteminin temelini oluşturur.
Video: Goel ve ark.
Berkeley ekibine göre, yöntem, eski yaklaşımlara kıyasla video izlemede yeni zirvelere ulaşıyor ve özellikle spor gibi daha önce yeniden oluşturulması zor olan sıra dışı pozların yeniden oluşturulmasında etkileyici bir performans gösteriyor. 4DHumans ayrıca Olimpik güreşte olduğu gibi üst üste bindiklerinde bile birden fazla kişiyi izleyebilir.
reklam
4DHumans’ın robotik ve biyomekanik alanlarında uygulamaları vardır
Ekip, HMR 2.0b’nin daha uzun süre ve daha fazla veri içeren iki varyantını eğitti. Bu değişken en iyi sonuçları verdi ve ekip modelleri yakında piyasaya sürmeyi planlıyor.
Bilgisayar görüşünde, doğal dil işlemede olduğu gibi, yaygın aşağı akış uygulamaları bulan ve böylece ölçeklendirme çabasını haklı çıkaran büyük önceden eğitilmiş modellere (bazen “temel modeller” olarak da adlandırılır) yönelik yükselen bir eğilim var. HMR 2.0 çok büyük, önceden eğitilmiş bir model,”
Kağıttan.
Ekip, insanları videoda izlemeye ek olarak, potansiyel bir uygulama olarak eylem tanımanın yanı sıra robotik, bilgisayar grafikleri, biyomekanik ve “insan figürünün ve onun hareketinin görüntü veya videolardan analizinin gerekli olduğu” diğer alanlardaki uygulamaları belirtiyor. ”
Model boyutu veya kullanılan işlemle ilgili ayrıntılar henüz mevcut değil. Projenin finansmanının bir kısmı, Stable Diffusion’ın arkasındaki şirket olan StablityAI’den geldi.
Daha fazla detay şu adreste mevcuttur: 4DHumans proje sayfası. Kod ve – mümkün olan en kısa sürede – modeller şu adreste mevcuttur: GitHub.