AI training için RTX 5060 Ti 16 GB vs RTX 5070 12 GB

Yakuza dedi:

İkisi de önemli, CUDA+VRAM istiyor bunlar. Eğitim esnasında CUDA düşük diye zaman maliyeti yükselir ama iş bitince VRAM'den hızlı hızlı çalışır.

RAM'e ne kadar çok taşarsa o kadar çok az tokenle iş yapıyor. En vahim kısmı burada eğittin mesela iyi hoş 12 GB'den taşması var bir de 16 GB'den taşması var.

Yanıt alma süresi bu işte önemli.

5080 16 GB VRAM qwen 3.6 27b 4bıt'e yetmiyor %75 kadarı GPU'da %25 kadarı RAM'e taşıyor, bir soru soruyorum ortalama yanıt süresi 2 dakika. Bunu 5070'e koysan bir soru 4 dakika bekle babam bekle. 2 dakika en azından tolere edilebilir ağır soru soruyorsun diye, iyice düşünüyor thinking modunda vs görüyorsun İngilizce ne düşündüğünü de, güzel yapmışlar vesselam.

Genişletmek için tıkla...

Utku92 dedi:

4 bit de çöp bu arada sonra da bilmeyenler modeli kötülüyor. 5 ve üzeri fena değil 8 bit çok iyi ama. Yani en az 24 GB VRAM olmalı.

Genişletmek için tıkla...

Yakuza dedi:

F/P4 16 GB'ye sığmıyor işte 20GB civarı VRAM istiyor, 8bite 24 GB de yetmeyebilir.

Genişletmek için tıkla...

Utku92 dedi:

Evet yetmiyor zaten 8 bit için. 48 GB gibi VRAM gerekir 2 ekran kartı ile ama çok iyi yatırım olur.

Genişletmek için tıkla...

Yakuza dedi:

Şirkette yazılımcı çalıştıracak veya finansal analiz için güzel, pazarlama alanında nasıldır bilemem de bizim ülkede pek ihtiyaç yok ona kafa-kol ilişkisi ile yürüyor hiç işte.

Genişletmek için tıkla...