Maryland Üniversitesi, College Park’taki araştırmacılar, “Dünyayı Gözlerinden Görmek” projesinde, insan gözünün yansımalarının 3 boyutlu sahneleri yeniden oluşturmak için kullanılabileceğini gösteriyor. Bunun “çevremizdeki dünyanın neye benzediği hakkında yeterince takdir edilmeyen bir bilgi kaynağı” olduğunu söylüyorlar.
Makale, gözdeki bir yansımadan 3 boyutlu bir sahneyi yeniden oluşturmak için NeRF tabanlı bir yöntem kullanıyor. Araştırmacılar, bunun basit gibi görünse de aslında bakış yönünü doğru bir şekilde belirlemek ve yansımaları iristeki modellerden ayırt etmek de dahil olmak üzere çeşitli faktörleri içeren karmaşık bir süreç olduğunu söylüyor.
Kornea aracılığıyla dış dünyayı hesaplamak
Ekip, dış dünyayı hesaplamak için sağlıklı yetişkinlerde oldukça tekdüze olan kornea geometrisini kullanıyor. Bir görüntüdeki korneanın boyutuna bağlı olarak gözün konumunu ve yönünü tahmin edebilirler.
Önemli bir husus, her görüntü için başlangıç konum tahminini iyileştirmek için kullanılan kornea konumunun saptanmasını optimize etmektir. Bu tekniğin, yöntemin sağlamlığı için kritik olduğu kanıtlanmıştır.
reklam
Ekip, dış dünyanın yansımasını iris modelinden ayırmak için Nerfstudio’dan değiştirilmiş bir eğitim çerçevesi kullandı. NeRF’e hem yansıyan 3B sahneyi hem de iris modelini öğrettiler ve aynı anda sistemi iki öğeyi ayırmak için eğittiler.
İris tespiti için, sisteme varsayılan olarak genel radyal simetrik şekil verildi ve yansımanın farklı perspektiflerden değiştiği ancak irisin dokusunun aynı kaldığı varsayımı verildi.
Bir portre fotoğrafının gözündeki yansımadan 3 boyutlu bir sahneyi yeniden oluşturma. | Video: Alzayer, Zhang ve ark.
Bir portre fotoğrafının gözündeki yansımadan 3 boyutlu bir sahnenin yeniden oluşturulması. | Video: Alzayer, Zhang ve ark.
Tek kamera ile 3D nerf
Tipik NeRF rekonstrüksiyonları, yeniden yapılandırılan nesnenin birden çok kamera görüntüsünü gerektirse de, araştırmacılar kişiyi kameranın görüş alanından geçirdiler. Gözdeki minimum hareketle bile değişen yansımalar, kişiyi yalnızca bir kamera görmesine rağmen 3 boyutlu sahneyi yeniden oluşturmak için gereken farklı perspektifleri sağladı.
Öneri
Yöntemlerini doğrulamak için ekip, Blender ile oluşturulan sentetik göz görüntülerini ve kameranın görüş alanında hareket eden bir kişinin gerçek fotoğraflarını kullandı. Korneanın yerini belirleme ve geometrisini tahmin etmedeki yanlışlıklar ve görüntülerin doğası gereği düşük çözünürlüğü gibi zorluklara rağmen, yöntemlerinin umut verici olduğunu söylüyorlar. Ekip, sentetik göz modelleriyle yapılan testlerde yalnızca göz yansımalarını kullanarak tam sahne rekonstrüksiyonları gerçekleştirmeyi başardı.
Optimum koşullar altında sentetik bir göz modeli kullanılarak 3 boyutlu bir sahnenin son derece ayrıntılı yeniden yapılandırılması. | Video: Alzayer, Zhang ve ark.
Ancak testler sadece laboratuvarda yapıldı; gerçekte, başka birçok faktör işin içindedir ve irisin dokusu gibi makalede yapılan varsayımlar çok basit olabilir. Araştırmacılar, daha parlak iris dokularının veya güçlü göz rotasyonunu içeren durumların ek zorluklar oluşturabileceğini yazıyor.
Ekip, çalışmanın beklenmedik, rastgele görsel sinyallerin çevredeki dünya hakkında bilgi ortaya çıkarmak için nasıl kullanılabileceğine dair daha fazla araştırmayı teşvik edeceğini umuyor.