DragGAN, fotogerçekçi görüntülerin kullanıcı tarafından sürükle ve bırak yoluyla özelleştirildiği yepyeni bir görüntü düzenleme kategorisi açar. Ayrıntılar bir GAN tarafından işlenir.
Günümüzün Photoshop gibi araçlarla olduğu gibi görüntü işleme yöntemleri, tek tek nesnelerin konumunu, şeklini, ifadesini veya düzenini esnek ve hassas bir şekilde kontrol etmek için yüksek derecede beceri gerektirir. Diğer bir seçenek de, Stable Diffusion veya GAN’lar gibi üretken AI kullanarak tamamen yeni görüntüler oluşturmaktır, ancak bunlar çok az kontrol sunar.
Max Planck Bilgisayar Bilimleri Enstitüsü, Saarbrücken Görsel Hesaplama Araştırma Merkezi, MIT CSAIL ve Google’dan araştırmacılar, DragGAN ile görüntü işleme için GAN’ları kontrol etmenin yeni bir yolunu gösteriyor.
DragGAN: Görüntü işlemeyi sürükleyip bırakın
Gösterimler GAN eğitim veri kümesinin kategorileriyle eşleştiği sürece, DragGAN fotogerçekçi görüntüleri işleyebilir. Bunlar hayvanları, arabaları, insanları, hücreleri ve manzaraları içerir. Basit bir arayüzde, kullanıcılar daha sonra bir görselde tanımladıkları noktaları, örneğin bir kedinin gözlerini kapatmak, bir aslanın kafasını çevirip ağzını açmak veya bir arabayı başka bir modele dönüştürmek için sürükleyerek istedikleri konumlara getiriyorlar.
reklam
Video: Pan ve ark.
DragGAN bu noktaları takip eder ve istenen değişikliklere karşılık gelen görüntüler üretir.
DragGAN, zorlu senaryolar için gerçekçi çıktılar üretir
Ekip, “DragGAN aracılığıyla, piksellerin nereye gittiği konusunda hassas kontrole sahip olan herkes bir görüntüyü deforme edebilir, böylece çeşitli kategorilerin pozunu, şeklini, ifadesini ve düzenini manipüle edebilir” dedi. “Bu manipülasyonlar, bir GAN’ın öğrenilmiş üretken görüntü manifoldu üzerinde gerçekleştirildiğinden, sanrılı tıkalı içerik ve sürekli olarak nesnenin sertliğini takip eden deforme edici şekiller gibi zorlu senaryolar için bile gerçekçi çıktılar üretme eğilimindedir.”
Bir karşılaştırmada ekip, DragGAN’ın diğer yaklaşımlardan açıkça üstün olduğunu gösteriyor. Ancak, eğitim dağılımının dışında kalan bazı değişikliklere yine de yapıtlar eşlik ediyor.
Daha fazla bilgi gazetede mevcuttur, Sarılma Yüzveya üzerinde SürükleGAN proje sayfası. (Şu anda çevrimdışı.)
Öneri
