ISTA-DASLab özel sıkıştırma yöntemi olan GSQ-RCO’yu denedim

Utku92 · Bugün 13:27

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF · Hugging Face

Image-Text-to-Text model with 27B parameters. Download, explore files and run it on Hugging Face.

huggingface.co

IQ3_S iyi gider.

Yakuza · 59 dakika önce

Utku92 dedi:
ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF · Hugging Face

Image-Text-to-Text model with 27B parameters. Download, explore files and run it on Hugging Face.

huggingface.co

IQ3_S iyi gider.

Q4 altı da önerilmiyor pek skorlarda ciddi düşüşler var, Q4 bile RAM'e taşıyorken bari Q6 kullanayım dedim en azından %50RAM-%50 VRAM olsun.

Utku92 · 59 dakika önce

MTP olanı indirin ama ayar ile daha çok token verir.

Yakuza dedi:
Q4 altı da önerilmiyor pek skorlarda ciddi düşüşler var, Q4 bile RAM'e taşıyorken bari Q6 kullanayım dedim en azından %50RAM-%50 VRAM olsun.

RAM'e atılmaz, ciddi düşer performansı ve kullanılamaz. ISTA sıkıştırmayı iyi yapıyor, bence denenebilir.

Yakuza · 56 dakika önce

Utku92 dedi:
MTP olanı indirin ama ayar ile daha çok token verir.

RAM'e atılmaz, ciddi düşer performansı ve kullanılamaz. ISTA sıkıştırmayı iyi yapıyor, bence denenebilir.

Hangisini indireyim bunların

Utku92 · 50 dakika önce

Bir de en alttaki mmproj

Gguf modeli Vision ile birlikte ollamada kod ile aktarmayı biliyor musunuz?

Yakuza · 41 dakika önce

Utku92 dedi:
Eki Görüntüle 289739
Bir de en alttaki mmproj

Gguf modeli Vision ile birlikte ollamada kod ile aktarmayı biliyor musunuz?

Ollama arkada çalışır, ben docker açıp openwebui kullanıyorum. Claude'a ya da ChatGPT'ye sora sora nasıl yapıldığını buluruz artık.

Utku92 · 29 dakika önce

Ollamaya atın modeli, model adı ve quantını isimlendirmesini iyi yapın. Sonrasında modelfile dosyasını çekin, masaüstüne parametreleri girin, tam context değerini de yazın. Ayarladıktan sonra geri modelfile dosyasını ollamaya gönderin.

Ollama ayarları için bunları yaptır, fazla token alırsın:

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q4_0

Model ayarı için:

PARAMETER num_gpu 999
PARAMETER num_ctx 262144
PARAMETER num_batch 512
PARAMETER temperature 1.0
PARAMETER top_p 0.95
PARAMETER top_k 20
PARAMETER min_p 0.0
PARAMETER repeat_penalty 1.0
PARAMETER presence_penalty 0.0
PARAMETER use_mmap true
PARAMETER use_mlock false
PARAMETER num_predict -1

ISTA-DASLab özel sıkıştırma yöntemi olan GSQ-RCO’yu denedim

Detaylar

Utku92

Bilgin

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF · Hugging Face

Yakuza

Üstün

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF · Hugging Face

Utku92

Bilgin

Yakuza

Üstün

Utku92

Bilgin

Yakuza

Üstün

Utku92

Bilgin

Benzer konular

Yeni konular

Yeni mesajlar