İkisi de önemli, CUDA+VRAM istiyor bunlar. Eğitim esnasında CUDA düşük diye zaman maliyeti yükselir ama iş bitince VRAM'den hızlı hızlı çalışır.
RAM'e ne kadar çok taşarsa o kadar çok az tokenle iş yapıyor. En vahim kısmı burada eğittin mesela iyi hoş 12 GB'den taşması var bir de 16 GB'den taşması var.
Yanıt alma süresi bu işte önemli.
5080 16 GB VRAM qwen 3.6 27b 4bıt'e yetmiyor %75 kadarı GPU'da %25 kadarı RAM'e taşıyor, bir soru soruyorum ortalama yanıt süresi 2 dakika. Bunu 5070'e koysan bir soru 4 dakika bekle babam bekle. 2 dakika en azından tolere edilebilir ağır soru soruyorsun diye, iyice düşünüyor thinking modunda vs görüyorsun İngilizce ne düşündüğünü de, güzel yapmışlar vesselam.