“Drag Your GAN” ile resimler üzerinede oynayın.
3 min readÜretken Görüntü Manifoldunda Etkileşimli Nokta Tabanlı Manipülasyon
“Drag Your GAN” adlı araştırma, bilgisayar bilimindeki GAN (Generative Adversarial Networks – Üretken Çekişmeli Ağlar) ile ilgilidir ve interaktif nokta tabanlı manipülasyonun nasıl gerçekleştirilebileceğini araştıran bir çalışmadır. Bu çalışma, GAN’ların ürettiği görüntülerin manifoldunu, kullanıcıların görüntüleri doğrudan ve etkileşimli olarak manipüle etmelerine izin verecek şekilde keşfetmeyi amaçlar. “Drag Your GAN” (DYGGAN), bir GAN’ın öğrendiği görüntü manifoldunu tanımlamak için etkileşimli bir arayüz sağlar. Bu arayüz, kullanıcıların GAN tarafından üretilen görüntüleri belirli bir yönde sürüklemelerine olanak tanır. Bu sürükleme işlemi, GAN’ın öğrendiği manifold boyunca bir noktanın hareketini temsil eder. Kullanıcı, bu sürüklemeyi gerçek zamanlı olarak görüntüler üzerinde gözlemleyebilir ve görsel sonuçları anında görebilir. DYGGAN, kullanıcıların GAN tarafından üretilen görüntüleri istedikleri şekilde manipüle etmelerini sağlar. Bu, özellikle sanat, tasarım veya veri analizi gibi alanlarda yaratıcı keşiflerde bulunmak isteyen kullanıcılar için potansiyel olarak çok değerli olabilir. Ayrıca, GAN’ların öğrendiği manifoldın daha iyi anlaşılmasına ve GAN tabanlı görüntü sentezi tekniklerinin geliştirilmesine de katkıda bulunabilir.CUDA grafik kartınız varsa lütfen NVlabs/stylegan3 gereksinimlerini takip edin .
Her zamanki kurulum adımları aşağıdaki komutları içerir; doğru CUDA sürümünü ve tüm python paketlerini kurmaları gerekir.
conda env create -f environment.yml
conda activate stylegan3
Daha sonra ek gereksinimleri yükleyin
pip install -r requirements.txt
Aksi takdirde (Silicon Mac M1/M2 veya yalnızca CPU'lu MacOS'ta GPU hızlandırma için) aşağıdakileri deneyin:
cat environment.yml | \ grep -v -E 'nvidia|cuda' > environment-no-nvidia.yml && \ conda env create -f environment-no-nvidia.yml conda activate stylegan3 # On MacOS export PYTORCH_ENABLE_MPS_FALLBACK=1
Docker’da Gradio görselleştiricisini çalıştırın
Sağlanan liman işçisi görüntüsü NGC PyTorch deposunu temel alır. Görselleştiriciyi Docker’da hızlı bir şekilde denemek için aşağıdakileri çalıştırın:
# before you build the docker container, make sure you have cloned this repo, and downloaded the pretrained model by `python scripts/download_model.py`. docker build . -t draggan:latest docker run -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash # (Use GPU)if you want to utilize your Nvidia gpu to accelerate in docker, please add command tag `--gpus all`, like: # docker run --gpus all -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash cd src && python visualizer_drag_gradio.py --listen Artık Gradio'dan (terminal konsolunda yazdırılan) paylaşılan bir bağlantıyı açabilirsiniz. Docker görüntüsünün yaklaşık 25 GB disk alanı kapladığını unutmayın!
Önceden eğitilmiş StyleGAN2 ağırlıklarını indirin
python scripts/download_model.py
StyleGAN-Human and the Landscapes HQ (LHQ) veri kümesini denemek istiyorsanız lütfen şu bağlantılardan ağırlıkları indirin: StyleGAN-Human , LHQ ve bunları altına koyun ./checkpoints
.
Diğer önceden eğitilmiş StyleGAN’ı denemekten çekinmeyin.
DragGAN GUI’yi çalıştırın
DragGAN GUI’yi başlatmak için şunu çalıştırmanız yeterlidir:
sh scripts/gui.sh
sitesinden daha fazla şey keşfedin
Subscribe to get the latest posts sent to your email.