Üretken Görüntü Manifoldunda Etkileşimli Nokta Tabanlı Manipülasyon

“Drag Your GAN” adlı araştırma, bilgisayar bilimindeki GAN (Generative Adversarial Networks – Üretken Çekişmeli Ağlar) ile ilgilidir ve interaktif nokta tabanlı manipülasyonun nasıl gerçekleştirilebileceğini araştıran bir çalışmadır. Bu çalışma, GAN’ların ürettiği görüntülerin manifoldunu, kullanıcıların görüntüleri doğrudan ve etkileşimli olarak manipüle etmelerine izin verecek şekilde keşfetmeyi amaçlar.

“Drag Your GAN” (DYGGAN), bir GAN’ın öğrendiği görüntü manifoldunu tanımlamak için etkileşimli bir arayüz sağlar. Bu arayüz, kullanıcıların GAN tarafından üretilen görüntüleri belirli bir yönde sürüklemelerine olanak tanır. Bu sürükleme işlemi, GAN’ın öğrendiği manifold boyunca bir noktanın hareketini temsil eder. Kullanıcı, bu sürüklemeyi gerçek zamanlı olarak görüntüler üzerinde gözlemleyebilir ve görsel sonuçları anında görebilir.

DYGGAN, kullanıcıların GAN tarafından üretilen görüntüleri istedikleri şekilde manipüle etmelerini sağlar. Bu, özellikle sanat, tasarım veya veri analizi gibi alanlarda yaratıcı keşiflerde bulunmak isteyen kullanıcılar için potansiyel olarak çok değerli olabilir. Ayrıca, GAN’ların öğrendiği manifoldın daha iyi anlaşılmasına ve GAN tabanlı görüntü sentezi tekniklerinin geliştirilmesine de katkıda bulunabilir.

CUDA grafik kartınız varsa lütfen NVlabs/stylegan3 gereksinimlerini takip edin .

Her zamanki kurulum adımları aşağıdaki komutları içerir; doğru CUDA sürümünü ve tüm python paketlerini kurmaları gerekir.

conda env create -f environment.yml
conda activate stylegan3 Daha sonra ek gereksinimleri yükleyin

pip install -r requirements.txt Aksi takdirde (Silicon Mac M1/M2 veya yalnızca CPU'lu MacOS'ta GPU hızlandırma için) aşağıdakileri deneyin:

cat environment.yml | \
  grep -v -E 'nvidia|cuda' > environment-no-nvidia.yml && \
    conda env create -f environment-no-nvidia.yml
conda activate stylegan3

# On MacOS
export PYTORCH_ENABLE_MPS_FALLBACK=1

Docker’da Gradio görselleştiricisini çalıştırın

Sağlanan liman işçisi görüntüsü NGC PyTorch deposunu temel alır. Görselleştiriciyi Docker’da hızlı bir şekilde denemek için aşağıdakileri çalıştırın:

# before you build the docker container, make sure you have cloned this repo, and downloaded the pretrained model by `python scripts/download_model.py`.
docker build . -t draggan:latest  
docker run -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash
# (Use GPU)if you want to utilize your Nvidia gpu to accelerate in docker, please add command tag `--gpus all`, like:
#   docker run --gpus all  -p 7860:7860 -v "$PWD":/workspace/src -it draggan:latest bash

cd src && python visualizer_drag_gradio.py --listen

Artık Gradio'dan (terminal konsolunda yazdırılan) paylaşılan bir bağlantıyı açabilirsiniz.
Docker görüntüsünün yaklaşık 25 GB disk alanı kapladığını unutmayın!

Önceden eğitilmiş ağırlıkları indirmek için şunu çalıştırmanız yeterlidir:

python scripts/download_model.py

sh scripts/gui.sh