Rehber Framepack nedir ve nasıl kullanılır?

Bu rehberde Framepack nedir, nasıl kullanılır, nasıl kurulur ve nasıl hızlandırılır hakkında bir rehberdir.

Orijinal GitHub Reposunu incelemek isterseniz buradan bakabilirsiniz: lllyasviel - FramePack

Framepack nedir?​

Framepack, resimden video üreten bir programdır. Temelde önceki karelerle sonraki kareleri tutarlı bir şekilde tahmin ettirip video haline getirmeyi amaçlar. Video üretmesi için bir resim vermeniz gerekir. Resmi, yazdığınız prompt (metin istemi) doğrultusunda video haline dönüştürür.

Sistem Gereksinimleri​

Ben RTX 3060 6 GB laptop bir sisteme sahibim ve program düzgün bir şekilde çalışıyor. Kısacası 6 GB VRAM ve RTX 30XX serisi ve sonrasında çalışıyor. RTX 2000 ve GTX 1000 serisi için GitHub'da forklanmış repolara göz atabilirsiniz ancak genel akışı değiştirdiğinden normal üreteceğiniz hıza erişemeyebilirsiniz.

Not: 5 Mayıs itibarıyla diskte kapladığı alan ~70 GB civarındadır. Bunu da göz önüne almanızı tavsiye ederim. Bu boyut, yeni çıkan F1 sürümü ile standart sürümünün toplam boyutudur. (F1 sürümünden de rehberin devamından bahsedeceğim). F1 versiyonu olmadan da ~40GB civarında bir alan kaplamaktadır.

Genişletmek için tıkla...

Repoya göre RTX 4090 ile saniyede 2.5 kare, eğer tea cache özelliği açıksa da saniyede 1.5 kare üretiyor demektir. Bu da yaklaşık 5 saniyelik bir video için yaklaşık 7 dakika yapıyor. Eğer sizde RTX4090 yoksa, benim gibi RTX3060 6 GB (laptop) bir sisteme sahipseniz, 5 saniyelik bir video yaklaşık 1 saat sürmektedir.
Önemli: Video üretimi yaparken bilgisayarda başka şeyler açmak süreyi çok fazla uzatır.

Kurulum​

Windows için kurulum basittir, tek tuşla kurmak mümkündür. İndirmek için buraya tıklayabilirsiniz.



Kurulum sırasında 30GB'dan fazla dosya indireceği için internet bağlantınızı kontrol edip öyle indirmenizde fayda var.

İndirdikten sonra önce update.bat dosyasını çalıştırın. Gerekli güncellemeleri yaptıktan sonra run.bat dosyasını çalıştırabilirsiniz. Sürekli güncel sürümü kullanmakta fayda var bu yüzden çalıştırmadan önce güncellemeniz sizin adınıza daha iyi olacaktır.

Nasıl kullanılır?​

Resminizi ilgili alana yükleyip altına çok uzun olmayan ve net bir şekilde ne istediğinizi İngilizce bir şekilde yazınız (prompt).

Buradaki en önemli ayarlardan birisi olan TeaCache, video üretim hızında bariz artış sağlar fakat görüntü kalitesinden taviz verirsiniz. Özellikle hızlı hareket eden eller ve kollarda bozulmalar daha fazla belli olur. Duruma göre açıp kapatmakta fayda var; eğer vaktiniz varsa kapatmanızı tavsiye ederim. Başlarda programı test ederken açık tutabilirsiniz (hızlı sonuç almak için).

• Total video length: Üretmek istediğiniz videonun süresini buraya saniye cinsinden yazıyoruz. (Öneri: Kesinlikle 5 veya 10 saniye ile önce deneyin ve ne kadar uzun sürdüğüne bakın, sonrasında arttırırsınız)
• Steps: Her bir bölümün (section) üretilirken kaç adımda üretileceğini gösteriyor. 15 ile 25 arasında kalmanızda fayda var. Üretim süresini doğrudan etkiler. Ne kadar fazla adım o kadar fazla zaman.
• Distilled CFG Scale: Promptunuza ne kadar bağlı kalacağını belirler. Değiştirmeden (varsayılan ayarda) kullanmanızda fayda var.
• GPU Inference Preserved Memory: Bunu da standart ayarında (6 GB VRAM için varsayılan genellikle uygundur) bırakabiliriz. Yetersiz bellek hatası (OOM) alırsanız bu değeri artırabilirsiniz, ancak hız düşecektir.

Genel olarak ayarlarınız bu şekilde olabilir:

Nasıl hızlandırılır?​

Video üretim hızını arttırmak mümkün. Bunun için xformers, flash-attn ya da Sage attention kurmamız gerekiyor. Eğer run.bat dosyasını çalıştırdığınızda açılan komut istemcisinde (CMD) bu eklentilerin yanında "not installed" yazdığını görebilirsiniz. Ben Sage Attn kullandığım için sadece onu yükledim.



Tabii bu hızlanma karşısında kalite kaybı oluyor.

• Kalite kaybı: En az xformers <---> En fazla Sage Attn
• Hız: En yavaş xformers <---> En hızlı Sage Attn

Ben Sage attn kullanıyorum ve TeaCache kapalıyken tatmin edici sonuçlar alıyorum.

Kendim Sage Attn kurduğum için size de nasıl kurulabileceğinden bahsedeyim.

Sage Attn nasıl kurulur? (Windows)​

1. CMD'yi (Komut İstemi) açın ve
   Kod:

   nvcc --version

   yazarak CUDA sürümünüzü öğrenin (örneğin benimki v12.8).
   
2. Buradan (https://github.com/woct0rdho/SageAttention/releases) CUDA versiyonunuzla uyumlu Python 3.10 (cp310) sürümünü indirin. Örneğin, benim CUDA sürümüm v12.8 olduğundan ben cu128 olan cp310 dosyasını indireceğim (sageattention-XXX+cu128torchXXX-cp310-cp310-win_amd64.whl). Eğer sizinki CUDA 12.6 ise o zaman cu126 sürümünden cp310 olanı indirmelisiniz.
   
3. Buradan (https://github.com/woct0rdho/triton-windows/releases/v3.0.0-windows.post1/) direkt python_3.10.11_include_libs.zip sürümünü indirin.
4. Bu yüklediğiniz 2 dosyayı (.whl dosyası ve .zip dosyası) Framepack'i kurduğunuz klasör içerisindeki system\python klasörüne yapıştırın/kopyalayın.
5. system\python klasörünün içerisindeyken, pencerenin üst kısmındaki adres çubuğuna cmd yazıp Enter'a basın. Bu, komut istemcisini doğrudan bu klasörde açacaktır.
   
6. Açılan CMD'de sırasıyla aşağıdaki komutları çalıştırın (Not: İkinci komuttaki dosya adını kendi indirdiğiniz .whl dosyasının adıyla değiştirmeyi unutmayın!):
   
   Kod:

   python.exe -s -m pip install triton-windows

   Kod:

   python.exe -s -m pip install sageattention-2.1.1+cu128torch2.7.0-cp310-cp310-win_amd64.whl

   Örnek (benim sürümüm için):
   
   Kod:

   python.exe -s -m pip install sageattention-2.1.1+cu128torch2.7.0-cp310-cp310-win_amd64.whl

7. Başarılı bir şekilde Sage Attn yüklemiş olduk. Şimdi önce update.bat çalıştırın (varsa yeni güncellemeleri almak için), sonra da run.bat dosyasını açın.
   run.bat dosyasını çalıştırdıktan sonra açılan CMD penceresinde artık şöyle bir satır görmelisiniz:
   
   Kod:

   Sage Attn is installed

FramePack-F1 Sürümü​

FramePack'in F1 adında yeni bir sürümü de bulunmaktadır. Bu sürüm, standart modelden farklı bir çalışma mantığına sahiptir.

FramePack-F1 versiyonu nasıl çalıştırılır?​

1. Mevcut run.bat dosyasının bir kopyasını oluşturun ve adını örneğin run-F1.bat olarak değiştirin.
2. Yeni oluşturduğunuz run-F1.bat dosyasını bir metin düzenleyici (Notepad gibi) ile açın ve içerisindeki komut satırını şu şekilde değiştirin:
   
   Kod:

   "%DIR%\python\python.exe" demo_gradio_f1.py --server 127.0.0.1 --inbrowser

   (Dikkat: demo_gradio.py kısmını demo_gradio_f1.py olarak değiştirdiğinizden emin olun)
3. Dosyayı kaydedin. run-F1.bat dosyasını ilk kez çalıştırdığınızda, F1 için gerekli ek modeller indirilecektir (Bu da ek disk alanı gerektirebilir).
4. FramePack'in F1 sürümünü kullanmak istediğinizde bu yeni oluşturduğunuz run-F1.bat dosyasını çalıştırmanız yeterlidir. Standart sürüm için orijinal run.bat dosyasını kullanmaya devam edebilirsiniz.

Farkları nedir? (Standart vs F1)​

Peki, FramePack-F1'in standart FramePack'ten temel farkları nelerdir? Detaylara buradan ulaşabilirsiniz.

• Tahmin Yönü:
  • Standart FramePack: Muhtemelen çift yönlüdür (bi-directional), yani bir kareyi oluştururken hem geçmiş hem de gelecek bağlamını (veya genel tutarlılığı) dikkate alır.
  • FramePack-F1: Yalnızca ileriye dönük tahmin yapar (forward-only). Yani sadece geçmiş karelere bakarak sonraki kareyi üretir. "F1" ismi de buradan gelir (Forward v1).
• Kısıtlamalar ve Dinamikler:
  • Standart FramePack: Çift yönlü doğası nedeniyle daha kısıtlıdır, bu da genellikle daha tutarlı videolar üretir ancak ani değişiklikleri sınırlayabilir.
  • FramePack-F1: Tek yönlü olduğu için "daha az kısıtlıdır" (less constrained). Bu sayede videolarda "daha büyük değişkenlikler ve daha fazla dinamizm" (larger variances and more dynamics) gözlemlenebilir. Daha hareketli, beklenmedik sonuçlar verebilir.
• Sapma (Drifting) Riski:
  • Standart FramePack: Daha kısıtlı olduğu için zamanla konudan sapma riski daha düşüktür.
  • FramePack-F1: Daha serbest doğası nedeniyle zamanla başlangıç noktasından veya prompt'tan uzaklaşma (drifting veya hata birikimi) riski daha yüksektir. Ancak geliştiriciler, F1 modelini bu sapmayı önlemek için özel bir "sapma önleyici düzenleme" (anti-drifting regulation) ile eğittiklerini belirtiyorlar.
• Potansiyel Kullanım Alanları:
  • FramePack-F1: Daha dinamik yapısı nedeniyle, videonun ortasında prompt'un değiştiği "prompt travelling" gibi senaryolar veya daha fazla hareket ve değişkenlik istenen durumlar için daha uygun olabilir.