ISTA-DASLab özel sıkıştırma yöntemi olan GSQ-RCO’yu denedim

Utku92

Bilgin

Katılım

8 Şubat 2024

Mesajlar

4.174

Makaleler

1

Çözümler

8

Beğeniler

2.445

• Bugün 03:02

• #1

Önce Qwen 3.8-Flash-Next-GSQ-RCO-IQ3_S ve Abliterated modelini denedim. Sonrasında DeepSeek-V4.1-Flash-1017-GSQ-RCO-IQ2_XS ve Unsencered olan modelini denedim. İnanılmaz sonuçlar veriyor. Zaten yerelde 1. sırada DeepSeek olan modeli. Qwen'de 1M context ile 55 t/s aldım, hatta daha fazla da gördüm. DeepSeek'te yaklaşık 17 t/s gördüm. Bu 2 bit veya 3 bit olması kısmına takılmayın, adamların yaptığı sıkıştırma teknolojisi inanılmaz iyi koruyor. Modeli baya denedim, çok iyi sonuç aldım. Görselde de DeepSeek performansı görülüyor:

Anakartımın 2. slotu daha iyi olsa herhalde uçururdu tokenları.
Burada da Opencode'a bağladığım kısım:

 

Son düzenleyen: Moderatör: Bugün 05:20

Yakuza

Üstün

Katılım

23 Nisan 2026

Mesajlar

1.951

Çözümler

8

Beğeniler

1.676

• Bugün 08:01

• #2

Anakartın ikinci slotu daha iyi olsa derken PCI Express hızından mı bahsediyorsun?

4.0 X8+X8 olduğu için mi?

 

KS

KS

Utku92

Bilgin

Katılım

8 Şubat 2024

Mesajlar

4.174

Makaleler

1

Çözümler

8

Beğeniler

2.445

• Bugün 10:51

• #3

Yakuza dedi:

Anakartın ikinci slotu daha iyi olsa derken PCI Express hızından mı bahsediyorsun?

4.0 X8+X8 olduğu için mi?

Genişletmek için tıkla...

Küçültmek için tıkla...

PCIe hızından bahsettim; 3.0 ve chipset'ten geliyor, oldukça kısıtlı. Tabii riser da var.

@Yakuza

 

Son düzenleme: Bugün 11:44

Yakuza

Üstün

Katılım

23 Nisan 2026

Mesajlar

1.951

Çözümler

8

Beğeniler

1.676

• Bugün 12:07

• #4

Utku92 dedi:

PCI-e hızından bahsettim; 3.0 ve Chipset'ten geliyor, oldukça kısıtlı. Tabii riser da var.

@Yakuza
Eki Görüntüle 289733

Genişletmek için tıkla...

Küçültmek için tıkla...

Ben hala qwen 27b Q6 RAM'e taştırıp çalıştıramadım. Çöküyor, yanıt vermiyor, sesin ss gibi ilk kelime sonrası yok.

 

KS

KS

Utku92

Bilgin

Katılım

8 Şubat 2024

Mesajlar

4.174

Makaleler

1

Çözümler

8

Beğeniler

2.445

• Bugün 12:29

• #5

Yakuza dedi:

Ben hala qwen 27b Q6 RAM'e taştırıp çalıştıramadım. Çöküyor, yanıt vermiyor, sesin ss gibi ilk kelime sonrası yok.

Genişletmek için tıkla...

Küçültmek için tıkla...

Llama CPP'de mi çalıştıramadınız? VRAM kaç GB sizde? ISTA'nın Qwen 3.8 27B olanı da var, kullanılabilir.

 

Yakuza

Üstün

Katılım

23 Nisan 2026

Mesajlar

1.951

Çözümler

8

Beğeniler

1.676

• Bugün 12:34

• #6

Utku92 dedi:

Llama CPP'de mi çalıştıramadınız? VRAM kaç GB sizde? ISTA'nın Qwen 3.8 27B olanı da var, kullanılabilir.

Genişletmek için tıkla...

Küçültmek için tıkla...

Normal 5080 işte 2x32 de RAM var. RAM'e taşınca 9950X3D 16 çekirdeği ile birlikte %50 civarı kullanıma yükseliyor arka planda bir şeyler çalışıyor belli ama yanıt takılı kalıyor devamı gelmiyor, bu arada işlemci de çalışmaya devam ediyor. 1 token saniye bile değil yani çıktı sıfır. Mecburen görevi sonlandırıyorum.

 

KS

KS

Utku92

Bilgin

Katılım

8 Şubat 2024

Mesajlar

4.174

Makaleler

1

Çözümler

8

Beğeniler

2.445

• 35 dakika önce

• #7

Yakuza dedi:

Normal 5080 işte 2x32 de RAM var. RAM'e taşınca 9950X3D 16 çekirdeği ile birlikte %50 civarı kullanıma yükseliyor arka planda bir şeyler çalışıyor belli ama yanıt takılı kalıyor devamı gelmiyor, bu arada işlemci de çalışmaya devam ediyor. 1 token saniye bile değil yani çıktı sıfır. Mecburen görevi sonlandırıyorum.

Genişletmek için tıkla...

Küçültmek için tıkla...

Hangi sağlayıcıyı kullanıyorsunuz?

 

Yakuza

Üstün

Katılım

23 Nisan 2026

Mesajlar

1.951

Çözümler

8

Beğeniler

1.676

• 31 dakika önce

• #8

Utku92 dedi:

Hangi sağlayıcıyı kullanıyorsunuz?

Genişletmek için tıkla...

Küçültmek için tıkla...

Ollama+docker+openwebui

 

KS

KS

Utku92

Bilgin

Katılım

8 Şubat 2024

Mesajlar

4.174

Makaleler

1

Çözümler

8

Beğeniler

2.445

• 21 dakika önce

• #9

Yakuza dedi:

Ollama+docker+openwebui

Genişletmek için tıkla...

Küçültmek için tıkla...

Modelfile dosyası nasıl yapılandırma yaptınız mı?

16 GB VRAM için 3 bitlik kullanılır. Ista bunun için daha iyi.

Q6 imkansız çalıştırması zaten RAM'e taşar ve token çok düşer.

 

Yakuza

Üstün

Katılım

23 Nisan 2026

Mesajlar

1.951

Çözümler

8

Beğeniler

1.676

• 16 dakika önce

• #10

Utku92 dedi:

Modelfile dosyası nasıl yapılandırma yaptınız mı?

Genişletmek için tıkla...

Küçültmek için tıkla...

Sadece Context'leri ile oynadım sırayla işte 4-8-16-32-64-128 ayrı ayrı hazırladım hepsi gümlüyor. Sonra hepsini komple sildim sadece gemma-4 12b ve GPT-OSS20b kaldı sistemde.