ISTA-DASLab özel sıkıştırma yöntemi olan GSQ-RCO’yu denedim

Utku92 dedi:

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF · Hugging Face

Image-Text-to-Text model with 27B parameters. Download, explore files and run it on Hugging Face.

huggingface.co

IQ3_S iyi gider.

Genişletmek için tıkla...

Utku92 dedi:

MTP olanı indirin ama ayar ile daha çok token verir.

RAM'e atılmaz, ciddi düşer performansı ve kullanılamaz. ISTA sıkıştırmayı iyi yapıyor, bence denenebilir.

Genişletmek için tıkla...

Utku92 dedi:

Eki Görüntüle 289739
Bir de en alttaki mmproj

Gguf modeli Vision ile birlikte ollamada kod ile aktarmayı biliyor musunuz?

Genişletmek için tıkla...