ISTA-DASLab özel sıkıştırma yöntemi olan GSQ-RCO’yu denedim

Önce Qwen 3.8-Flash-Next-GSQ-RCO-IQ3_S ve Abliterated modelini denedim. Sonrasında DeepSeek-V4.1-Flash-1017-GSQ-RCO-IQ2_XS ve Unsencered olan modelini denedim. İnanılmaz sonuçlar veriyor. Zaten yerelde 1. sırada DeepSeek olan modeli. Qwen'de 1M context ile 55 t/s aldım, hatta daha fazla da gördüm. DeepSeek'te yaklaşık 17 t/s gördüm. Bu 2 bit veya 3 bit olması kısmına takılmayın, adamların yaptığı sıkıştırma teknolojisi inanılmaz iyi koruyor. Modeli baya denedim, çok iyi sonuç aldım. Görselde de DeepSeek performansı görülüyor:


Anakartımın 2. slotu daha iyi olsa herhalde uçururdu tokenları.
Burada da Opencode'a bağladığım kısım:

Yakuza dedi:

Anakartın ikinci slotu daha iyi olsa derken PCI Express hızından mı bahsediyorsun?

4.0 X8+X8 olduğu için mi?

Genişletmek için tıkla...

Küçültmek için tıkla...

PCIe hızından bahsettim; 3.0 ve chipset'ten geliyor, oldukça kısıtlı. Tabii riser da var.