Animeler için geliştirdiğim upscale modeli: Fallin

Herkese Merhaba,

Uzun süredir OpenAnime'deki 4K Anime'lerde kullandığımız ve üzerinde fazlasıyla çalıştığım görüntü iyileştirme modeli Fallin'i, bugün itibariyle açık kaynak olarak paylaşıyorum!

Mevcut görüntü iyileştirme modellerinin aksine Fallin; animelerin orijinal sanat yönetimine sadık kalacak şekilde, yüzlerce saat özel olarak eğitilmiştir.

Temel Özellikler:

• Estetik Koruma: Klasik modellerin yaptığı gibi arka planı düzleştirip yapaylaştırmaz. "Alan Derinliği" (Depth of Field) efektini koruyarak sadece odak noktasını netleştirir, sinematik atmosferi bozmaz.
• Yüksek Performans : RTX 3070 ve üzeri ekran kartlarında, 1080p videoyu gerçek zamanlı olarak 4K çözünürlüğe yükseltebilir. (AMD/Intel kartlarda da çalışır ancak hızlandırma desteği farklılık gösterebilir).
• Görsel Restorasyon: Animelerdeki bozulmuş, okunaksız yazıları orijinaline sadık kalarak okunabilir hale getirir. (Örnek ektedir.)
• Model Tescil Koruması: Projenin özgünlüğünü korumak ve modelin bana ait olduğunu tescillemek adına, model seyir zevkini etkilemeyecek minimal dijital imzalar üretir.

Kullanıcı deneyimini etkilemeyecek düzeyde nadir görsel sapmalar yaşanabilir; bu durumlar geliştirilmekte olan "Fallin RE" modeli ile tamamen çözülecektir.

*GitHub / İndirme: *
Edit: Modeli kullanmak isteyen arkadaşlar aşağıdaki araçları kullanabilirler:

After Effects Scripti ve CLI olarak çalışıyor. Win/Linux desteği var

Sadece Gerçek zamanlı upscale ve frame interpolation. Sadece windows

GUI ile upscale, son sürümlerinin sorunlu olduğunu duydum ancak basit ve kullanışlı. Sadece windows

Yılların programı, içerisinde birçok filtre ve oldukça fazla fonksiyon var her zaman işinize yarayacaktır.

stormhawks47 dedi:

Sitenizde upscale açmadan anime izlemiyorum artık GTX 1650 ile sorunsuz çalışıyor. GPU kullanımı biraz artıyor ama yapacak bir şey yok sanırım ona da.

Genişletmek için tıkla...

Küçültmek için tıkla...

Bizim 4k yayınladığımız animeleri sorunsuz bir şekilde kullanabilirsiniz. Tabii ki arşivimiz küçük ancak elimizden geldiği kadarıyla büyütmeye çalışıyoruz. 4K Yayınladığımız animelerde de bu Fallin'i kullanıyoruz.

Legendnoobe dedi:

Lossless Scaling'e ulaşıp modeli upscaler olarak ekletebilirseniz mükemmel bir hizmet olur gibi geldi.

Genişletmek için tıkla...

Küçültmek için tıkla...

Lossless Scaling'de muhtemelen çalışmayacaktır, Anime4K Shader olduğu için çalıştırılabiliyor, modelimin sistemi ise biraz farklı. Belirli araçların kullanılması gerekiyor, tabii ki ilerde Anime4k alternatifi olabilecek bir shader yapmayı planlıyorum, o zaman gelince başvurabilirim.

stormhawks47 dedi:

Biraz eski nesil bir işlemciye sahip olduğum için 4K olanları izlerken işlemci ( %100 ) darboğaz yapıp PC kasıyor o yüzden şimdilik upscale benim için daha iyi. Ama önerin içinde teşekkür ederim ve başarılarınızın devamını dilerim.

Genişletmek için tıkla...

Küçültmek için tıkla...

Muhtemelen kullandığımız video codeci ile ilgilidir, en kısa zamanda gerçek zamanlı 4k için yeni bir model eğitmeye çalışacağım. Bu sayede seyir zevkiniz daha da artacaktır. Model projemi desteklediğin için teşekkür ederim.